这是一个创建于 2267 天前的主题，其中的信息可能已经有所发展或是发生改变。
架构懂点但是不彻底，长期从事 coding 工作，想转行，但是没有方向
 |
1
MetoYou 2018-10-09 10:03:25 +08:00
大数据不是热门吗
|
 |
2
p2pCoder 2018-10-09 10:08:00 +08:00
大数据开发 这种 种类有点多，楼主具体啥方向
|
 |
3
wqzjk393 2018-10-09 10:14:57 +08:00
hadoop 研发调优方向？
|
 |
4
likuku 2018-10-09 11:31:36 +08:00
难道是所谓的“调参员”？
|
 |
5
qiuqiuer 2018-10-09 13:24:57 +08:00 via Android
国企的遗孀。。。
|
 |
6
HGladIator 2018-10-09 13:47:17 +08:00
大数据架构很吃香的好吧 为啥要转行
|
 |
7
Bean0cean 2018-10-09 15:00:14 +08:00
一直扣丁 也想转行 楼主写转行攻略啊..
|
 |
9
simonqian OP @HGladIator 架構要求比較高，小公司不高興去，大公司不要我
|
 |
10
Magic078 2018-10-09 17:43:02 +08:00
小公司业务量都达不到，我用 MySQL 都能搞定，还用个屁的 HBase,Hive。
|
 |
11
xuanbg 2018-10-09 19:32:14 +08:00  2
大数据就是一阵风。。。小数据都没玩好，哪来的大数据需求。
|
 |
12
MontagePa 2018-10-09 23:13:39 +08:00
来二线啊~
|
 |
13
pmsg863 2018-10-09 23:18:54 +08:00
厦门有兴趣吗？做交通行业方面。
|
 |
15
ren2881971 2018-10-10 09:10:25 +08:00
架构懂点但是不彻底 这句话。。。
|
 |
16
fireapp 2018-10-10 09:42:58 +08:00 via iPhone
我干大数据主要做采集，清洗，存储，把数据合理细分，分而治之，尽量控制原始数据复制份数，然后就是 sql 一顿干，然而还真没多少技术含金量，各种框架工具的操作工🤗
|
|
18
fireapp 2018-10-10 10:28:38 +08:00 via iPhone 1
@simonqian 当然自己管啊，包括机器，然后直接 ambari 一套，自主可控随便玩，挨个尝试一遍😊
采集 flume，fluentd，logstash，filebeat 存储 hdfs，hive，kudu，小强 db，kafka 查询计算 spark，flink，drill |
 |
21
lius931115 2018-10-10 11:22:22 +08:00
@fireapp 重点还是如何分而治之,这个得靠经验吧. 这难道不是个人的积累吗
|
|
23
fireapp 2018-10-10 13:44:03 +08:00 via iPhone
@dcoder es 内存大户没考虑他，上面都是尝试，最后都切到一套，节省资源
filebeat - kafka 然后 kafka stream 细分成多个 topic 以后的不管实时还是离线，直接拉取 Kafka 数据，处理中间结果丢到 kudu，直接提供在线查询 定期把 Kafka，kudu 中老数据卸载压缩，丢到 hdfs |
|
25
fireapp 2018-10-10 14:20:26 +08:00 via iPhone
@simonqian 分布式列式关系数据库啊，各种 sql 我查询啊，olap 用的，提供秒级别查询就行
redis 是做缓存的不一样东西 |
 |
26
dcoder 2018-10-10 15:06:07 +08:00
@fireapp 看来 filebeat -> kafka 是王道, 之后怎么折腾都行.
ES maintain 起来确实麻烦了点 logstash 说实话质量很粗糙, 你们用来 parse log? 有啥代替品没? |
|
29
fireapp 2018-10-10 17:37:59 +08:00 via iPhone
ignite 功能太强大了，能对外提供分布式的关系数据库功能，redis，memcache，kv 数据库，计算平台，微服务平台，还有 ml，野心大了去了🤔
而 kudu 就是一个列式存储，支持二级索引，update，不支持事务，olap 用不上事务 |
|
32
fireapp 2018-10-11 09:37:44 +08:00 via iPhone
@Archerxx 游戏公司做大数据大部分情况是个坑啊，属于比较偏的支撑部门，可有可无，一堆乱七八糟需求，然鹅没几个人用，除了客服方面查明细多点外
|
 |
33
Archerxx 2018-10-11 09:45:44 +08:00
@fireapp 这么坑吗。。。 我感觉网易的游戏数据量应该还是挺大的....纠结。兄弟，你觉得网易、海康、华为该怎么选，都是大数据研发，网易互娱起薪比较高，但是涨薪可能不太乐观
|
Select Language