@qingfengxm 本质上只是做了一个目录存放文件索引，文件并没有合并起来啊

@qingfengxm 试试能不能用上，还要用 hive 来建外部表，看看能不能读出来 https://ws4.sinaimg.cn/bmiddle/62e721e4gw1et02g5wksrj200k00k3y9.jpg

另外还有两个问题没人回我的，也挂一下嘻嘻嘻
https://www.v2ex.com/t/508511#reply5
https://www.v2ex.com/t/509143#reply2

额。。没人说大数据吗，也是后端的。。现在都上云了，分布式事务和分布式锁那些学了吗，各种搜索引擎学了吗，分布式数据库学了吗，我觉得这些做 web 的后端也得看看吧。。框架那些东西不是看两天就会用的吗，担心什么啊

@Raymon111111 多学门英语日语还是有用的。。。技术语言用到再学就行了

裸辞，玩了一个月，半个月找到理想的工作，现在正努力学习新东西
计划每过一两年就裸一次出去玩，这种心态是不是因为我太年轻=。=

是的，我提问题的帖子基本没人回 QAQ
https://www.v2ex.com/t/509143#reply2

@cyspy 感觉理解很到位，就是这个广播变量，每次任务都要发送一次有点难受。。。如果这个 rdd 转换过那广播变量还能跟过去吗?

顶顶= =

@zealot0630 合并的过程中 map1 和 map2 有重复的 key，这时候++ 右边的 key-value 会覆盖掉左边的 key-value，所以要写个操作，变成 key -> value1,value2

有人吗。。。现在都学 python 去了吗。。。

前面对 rdd 还做了一些过滤和转化的操作，那个 map 每一个里面只有一对 key-value 的，我只是转成 map 好做分组合并。
学了快一周的 spark 和 scala 了，因为公司一直还没给我安排任务，我就看代码写写 demo。。。
感觉 scala 是 java 未来的发展方向啊，spark 以前也没用过，想多认识点小伙伴一起进步 QAQ

@lookforsex 话说楼下说了很多不知道他们说的是什么，java 里面 == 是比较对象的，比较的是两个对象的地址，八成就是返回 false，要判断字符串内容是不是一样要用 equals。恕我直言学 java 的这个应该在学校就知道的

要看加不加班的，刚跳槽完，毕业 1 年，拿到最高的一个 offer 是 11.5K ，算上加班补贴会有 12，但是被告知会经常加班。最后选了个做大数据的国企，9K 左右，但是很少加班

一起来学 python 吧，虽然我是 java 的。。。另外想问怎么可以快速提升英语水平= =

@happyjiang 10 人划水 1 人做，那你为什么不是做的那一人啊。我也是辣鸡 2 本 B 线

还有就是整库备份非常方便，用它自己的插入方式非常快，而单条的 insert 略微慢

数据量大的时候分区有点麻烦，用起来就是关系型数据库，一个样，优势是在他分布式集群上，方便扩展，还可以自动给你处理数据倾斜

话说上平多多买点扫把垃圾铲什么的还是可以的= =