去一线城市，工资翻倍，多出来的钱养她，让她在一线城市随便找个工作玩

@leiuu 是会用 hive，其他我都用了 1 年了，正在学 scala，scala+spark 一周上手开发，全归功于 java 功底= =

另外现在很多 java 也要会一点大数据的组件了，solr，hbase，redis 那些，自己有空得看一下

给你说个实话，大数据的话 hive 只是冰山一角，我最近从 storm 转 spark，hive 花了 1 天就会用了（我是有用过 hdfs 和 hbase 所以比较快上手，算是一年大数据经验吧）

LS 正解，这不是框架的事

@wellking01 HBase 呢直接存进去不好查，这里的是源数据，还有一个天作业会每天 0 点读出来做处理，然后再入 hbase 的

@libook MongoDB 我也用过哈哈哈，这算数据仓库的内容了？我一直对自己的定义都只是一个后台。。。

@cyspy 刚去算了一下，10 分钟也就 144 个文件，好像也能接受。。。因为真实数据得去现场才能试，现在拿测试数据所以搞出来的文件才比较小。。。

@mwiker 这批数据会有程序处理的，我保存起来是作为历史数据保存，并加以压缩

@wysnylc 数据量一天在 2 亿左右，关系型数据库基本放不下。。或者说性能不好。。。

@wleexi 没有，钓鱼 https://ws4.sinaimg.cn/bmiddle/62e721e4gw1et02g5wksrj200k00k3y9.jpg

@lmw2616 为了赚更多的钱 https://ws4.sinaimg.cn/bmiddle/62e721e4gw1et02g5wksrj200k00k3y9.jpg

@sagaxu 是啊，思路是一致的，多出来的就是考虑到分布式上去了，想象成多个 FTP 各自汇总各自的，然后弄成 N 个汇总文件在 N 台机子上

没有在划水，到处找资料，理想状态是能把各块数据尽可能地靠拢，保证每台机有一两块或者多块集合的大文件，这样就可以兼顾存储和方便后续并行计算，现在看看 spark 的 repartation 能不能智能地把新数据往已有的数据块靠拢

@lfzyx 现在已经流行自动化测试了，得用 python 写脚本 https://ws4.sinaimg.cn/bmiddle/62e721e4gw1et02g5wksrj200k00k3y9.jpg

@qingfengxm 就是从 kafka 里面读出来的。。存 orc 是为了方便重新读出来和做 hive 外部表

@yhxx 我前后端都做过啦，虽然是在大学的时候，另外舍友是个专业的前端，还有一个舍友是 PHP，毕业合租到现在，所以都各种都了解一点 https://ws4.sinaimg.cn/bmiddle/62e721e4gw1et02g5wksrj200k00k3y9.jpg

@zander1024 没压力就自己学着玩呗，以后总的转架构吧，总要学一下分布式吧 https://ws4.sinaimg.cn/bmiddle/62e721e4gw1et02g5wksrj200k00k3y9.jpg