转行大数据，工作了大半年天天写 sql 的我该何去何从！

[fywf555]

坐标上海，进了一家国企外包，过得还挺安逸，每天的工作就是不停的写 sql。之前如此热爱学习的我现在渐渐麻木，本来的 spark 和 scala 都忘得差不多了，现在心里就是慌，很慌。公司转正很困难不打算留下明年就跑，现在危机感越来越强。剩下小半年想改变命运，现在的想法是抱着一本 spark 源码分析的书啃，然后把东西照搬上博客，这样来年找工作会不会好一点

[locoz]

做点深入的、自己平时搞点别的，一定要依靠公司才能成长 /公司钱给不够的话，早点换下一家。

[dawnchen123]

老哥是自学转行吗？

[fywf555]

@dawnchen123 培训的，简历造假写 3 年工作经验。我能隐约感觉你想问啥，关于自学不自学不要听别人胡扯，培训经历不可耻，学的不好才可耻，我学的很 happy，还认识不少人。
大学学的炼钢时候，顺便自学游戏设计，结果出来都骂我是野生程序员。外行转行就应该把假简历砸到人事的脸上，然后互相伤害。我上次找工作被人事揭穿后斗志斗勇一个星期，最后人事都对我的无赖表示钦佩。

在行内就只能自学了。。。

[fywf555]

@locoz 谢老哥，关键怎么是不知道怎么深入啊，下一份工作能不能找到对口的我都不确定。我在网上随便看的，说把 spark 源码背下来就有底气了。我 spark 最多就是写 rdd 代码打包扔进服务器启动的水平，估计没啥竞争力。

[dawnchen123]

@fywf555 老哥不要多想我没别的意思。我本意是想请教下你自学大数据开发的一些经验的呢。😄

[fywf555]

@dawnchen123 先搭集群，搭集群尤其自己搭那是非常难，虚拟机不建议用。简化流程，你可以买百度的云主机，100 多点一台能用 1 年，有钱你买 3 台。

困难路线：
搭 3 台的土豪线路：每个主机安装一 hadoop，然后 3 台主机彼此之间做免密钥。这 3 台 hadoop 主机就可以看做一个整体。然后安装 zookeeper，spark。

然后点开 eclipse 或者其他什么软件，安装依赖，然后自己用代码生成数据集，之后用 scala 写一个脚本 rdd 转化流程。从数据集中读取数据，然后处理后落地 hadoop 文件夹中。rdd 具体写什么可以上网找找有没有相关题目。

测试没错后打包扔进去服务器。使用 spark 命令行进行启动，落地数据。

很有条件再上个 azkaba 调度器。

比较简单的线路：
搭一台线路：安装 hadoop，安 zookeeper，安装 spark，然后点开 sparkshell，把网上找来的代码复制粘贴到里面看看会发生什么。

很简单的线路：
上网找个教程，比如尚硅谷，然后跟着听课跟着做。人家水平不错的。

我推荐最后一种。