2023 了后端还可以准转大数据吗？

[suqiuluck]

Java 普本 5 年经验，深圳今年找工作实在是太卷了，面试也比较少，本人技术中规中矩，准备转 Java 大数据开发了，想问下给位前辈大佬，现在转大数据开发有搞头吗？如果不建议转，如何在后端突破一下呢，请求各位大佬指点迷津？感觉到了瓶颈期了。

[mmdsun]

个人理解：现在是面试都少，不是 Java 语言少吧？
大数据一直还行。

Java 后端工作还是有的，就是太卷了，还有不少人受不了卷，转 go 了。
（不过一句话就是不管哪个语言、行业，卷的都是中低端，做到更上层就不会卷了，平台也更大也人少，不过能达到这层人比较少）

[hoodzwh]

怎么 java 都想转大数据，大数据岗位很少吧，已经很卷了

[abcd106]

有什么可以体现出技术好

[smallyu]

1. 大数据已死
2. 岗位少。不是技术不好

[NoOneNoBody]

大数据 /统计是长期工作，单位时间内产出小
所以，两个解读：
1. 有需求的企业会稳定投入，但也不会盲目，想大富大贵那就要找纯数据统计的公司（岗位竞争自然可以预见）
2. 产出不高，那么有需求的企业也不多，毕竟它是一个专业性较强的工作，正态分布肯定不在中间峰值的区间

结合自身能力考虑

[xieren58]

一年一度的 Stack Overflow 开发者大调查又双叒叕来了！
最赚钱的语言是哪个？

Zig 。年薪中位数为 103611 美元（合人民币约 74 万元），今年突然杀出来的。

作为一门现代编程语言，很多人表示它跟 C 很像，如果会 C 就很好学（划重点了！！）。

[xieren58]

转 rust / zig ...

[777777]

很多公司跟们没有大数据

[TArysiyehua]

@xieren58 给个报告的链接？

[pinylin]

@xieren58 开玩笑，是工资高的人选择了 zig, 不是用了 zig 后涨薪。。。

[la2la]

是什么让你有一种错觉大数据就简单了呢？

[TArysiyehua]

@pinylin 也是一种趋势，事实证明就是要跟着大环境跑，比如你啥都不会就扯就是 chatgpt 人家就会过来找你了解。

[8355]

现在还有啥大数据了
之前搞大数据不都是 p2p 查征信那些
现在根本不赚钱

[Cloud9527]

大数据岗位比 java 还少吧

[sadfQED2]

大数据和后端重合度很高啊，并没有需要转这一说啊。你后端去搞前端说”转“还差不多。

[hhjswf]

大数据跟 crud 也差不多吧。。

[leonhao]

大数据==sqlboy

[zhuanggu]

@xieren58 这玩意看看就好，当年我也是看着 perl 的收入最高，入坑了。后来一言难尽啊，不过之后也是转大数据了，现在是一个幸福的 sql boy

[JKeita]

大数据很无聊啊，而且难找工作。

[Betsy]

不建议呐，大数据技术栈忘深里挖是写大数据组件本身，坑位少，只有国内几个大厂招这种人才；往广里说，把大数据组件全摸一遍，然后发现会用，出个问题貌似也不知道咋解决，企业也不需要这种人才；转 SQL boy ，没有数分基础，闭眼写业务，相比较现在有点自断后路。

[di94sh]

[大数据已死]( https://www.ruanyifeng.com/blog/2023/03/weekly-issue-244.html)

[haimianbihdata]

大数据要是二开组件还行。你要是转去 SQL boy 不如留在 Java

[roundgis]

大部分的企業的數據一個 u 盤都可以拷走

[tensorzhang]

这个和 java 后端很相似，但坑位少很多，都被培训班给干烂了。

开发也分为三大方向吧，
1.二开，对开源组件定制化，技术要求很高，普遍五年以上
2. 离线数仓，sql boy ，
3.实时数仓 ，java 技术栈，目前也快走向 sql boy 路线了，原来的时候 2 和 3 分开招聘，现在招聘都要求会，基本就是写 sql + java


尚硅谷 黑马 很多培训班也都培训，坑位原本就少，卷的人还贼多。

[xuanbg]

说个笑话，Java 虽然卷，但毕竟还能大家一起卷。小众语言，不是这些语言不卷，而是门槛超高+坑位稀缺，你又不是大佬，根本就得不到卷的机会。

[dif]

大数据已死，老老实实写 java ，再学个 python 和 go ，再学点前端，自己折腾个东西，说不定以后是你的主业。

[devilweime]

自学过，现在还是在干 java 后端，坑位太少，实时数据处理 java 需求才会多点

[Trello]

@xieren58 这种听都没听说过的语言，国内真的有公司用吗？真要搞得 run 出去了吧。

[noparking188]

Java 开发，划掉 -> Web 后端
大数据，划掉 -> 数据工程（ Data Engineer ？）

学一点 Python, Shell, SQL, Scala, Spark, CI/CD ，熟悉一下各种 OLTP/OLAP/NoSQL 数据库，了解下 Airflow 这类 pipeline 和 schedule 框架，AWS/Azure/阿里云 /腾讯云之类云平台熟悉一两个。

感觉挺杂的，不过比较重要的是 Python 多熟悉一下，干活方便快，Java 熟悉方便直接看框架源码，基本都 Java/Scala 写的。Spark 要学到应付各种底层原理八股文。

[vincent7245]

只说大数据开发相关，因为这是我正在的领域，注意是开发，开发，开发，不是写 SQL 的

1 大厂会基于开源框架做二开，甚至自研框架，如果能进大厂的话还是有搞头的

2 中小公司能上大数据的公司也不少，基本都是基于开源框架开发应用，比如基于 Spakr 的批、基于 Flink 的流，运营系统、用户行为、推荐系统等等，这就类似 java web 的增删改查了，都有现成的解决方案，照着写就行了。

3 专门做数据分析的公司，比如做数据分析平台的神策、友盟、talkingdata 等

大数据现在也很卷，十年前会搭建 hadoop 平台，就能轻松 30+，现在你精通 spark 、flink 源码，也很难 30+

[suqiuluck]

@vincent7245 老哥我目前在做的是个数据平台，基于 springcloud 微服务那一套，目前有用到 flink cdc 做二次开发，所以本人想往数据平台开发方向走，不知道能不能加个 vx 交流下

[suqiuluck]

@noparking188 java 方面没问题，现在是大数据组件没那么熟悉，目前工作中 flink cdc ，doris 有用到

[suqiuluck]

@hoodzwh Java 后端进大厂和大数据进大厂哪个相对容易一些啊

[suqiuluck]

@NoOneNoBody 想走数据平台开发，boss 上搜了一下，中小厂搞大数据平台还有一些

[suqiuluck]

@sadfQED2 也是目前两手准备，找不到大数据平台研发，就继续走 java 后端

[suqiuluck]

@Betsy 想走大数据平台研发

[suqiuluck]

@haimianbihdata 是这么个理，数据平台，二开组件，目前有做 flink cdc 的二开，但是整体还是偏向 java 后端，springcloud 那一套微服务

[suqiuluck]

@tensorzhang 做二开才有搞头，要求高，但是竞争也小

[Betsy]

@suqiuluck 那解决社区的 issue 是个不错的方式，解决的多了就可以考虑进他们背后的公司了