V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Kirto
V2EX  ›  问与答

Hadoop 开发工程师一般是做什么工作的?是做 Hadoop 的架构还是基于 Hadoop 的开发?求解。

  •  
  •   Kirto · 2017-12-05 09:57:43 +08:00 · 1917 次点击
    这是一个创建于 2306 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,应届生的小疑问。

    6 条回复    2017-12-05 14:17:02 +08:00
    mringg
        1
    mringg  
       2017-12-05 10:51:29 +08:00
    跑跑 hive,写写 mapreduce,spark job
    Kirto
        2
    Kirto  
    OP
       2017-12-05 11:34:44 +08:00
    @mringg 诶,我本来以为是部署集群什么的。
    dabney777
        3
    dabney777  
       2017-12-05 11:36:00 +08:00
    @Kirto 集群部署一次不就够了 天天部署谁受得了 前几年会写 mapreduce 的就可以进 这两年难一点
    hugedata
        4
    hugedata  
       2017-12-05 14:07:22 +08:00
    Hadoop 开发也得懂一点儿运维。得了解体系的运行,包括作业调优。不过现在没啥人写 MR 了,大部分都是 spark sql 或者 Hive SQL,HBase 也大多数都用 Hive 映射后来管理了,不过对业务了解不多的话,前期设计表的时候可能不一定会最优,从而会导致后期使用数据的时候比较麻烦。
    Kirto
        5
    Kirto  
    OP
       2017-12-05 14:15:23 +08:00
    @dabney777 做这方面发展怎么样吖?以后是做架构么?
    paradoxs
        6
    paradoxs  
       2017-12-05 14:17:02 +08:00
    @hugedata sparl sql 也不会天天写吧, 感觉活不多?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3024 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 11:02 · PVG 19:02 · LAX 04:02 · JFK 07:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.