20-30 万的数据量，读还是很快的，写我就不知道了

54

@9527ox 获取了 cursor 对象之后不是应该有 fetchAll 之类的方法吗？是 fetchAll 之类的方法慢？

一定是遍历，不能一口气全部读出吗？

@CNAX 大公司据我所知是有配产品化的工程师，但是你的数学要很厉害，纯数据分析的，根据我身边的人来看，基本上都是数学系出身的。哪怕这样他们也是有开发能力的，他们可能指追求正确性，但是他们必然会开发，你若是不会开发，数学又不拔尖，这口饭大概是悬了。

PS ：数据分析真正要能上台面的肯定是要懂数学的，懂数学的，懂数学的，不是算数，不是算数，不是算数。

说一下自己最近的经历吧，基本上每天都跟最少几十万的数据在打交道，有上百万的，我觉得能说明一些问题。

规整的数据很好分析，但是现实数据都是不规整的，有从 excel 文件来的，有数据库的，有 csv ，一个文件有 13 列，数据库却有 30 列，每个列名都只有意思一样，合并数据需要你来做

这个时候你必须要有开发的能力，一般公司是不可能专门配开发来实现你的模型，因为他们根本就不需要建模，不能用的模型都是垃圾。

同时数据量大上去了， excel 2013 也就支持到 100 万行左右的数据，超过这个上线必须开发。
开发能力很重要！
开发能力很重要！
开发能力很重要！

说完开发能力了，那么剩下就是拼线性代数跟概率论了。不过我目前用的也不多，就线性代数可能用得上一点点。

小数据分析大概就是上面这个样子，仅供参考。

你们撕逼直接在生产环节撕逼也是厉害，我们撕逼最多也就是在 code review 的环节

@mhycy 我说的 SQL 维护成本高就是指新人需要懂 SQL ，我更加指的是裸 SQL 。
你说的查询生成在我看来本质上就是 ORM ，你这样用没有问题，只不过你有没有试过 benchmark ？性能有没有提高？文档跟其他的 ORM 框架比起来怎么样？总不可能每个接触这套东西的人都来人肉问你吧？就算你愿意回答，你真有这么多时间吗？这些在我看来都是维护成本，至于为什么说裸 SQL 维护成本更大呢？原因是新人不用去了解各个数据库的 SQL 实现，他也不用去思考你这套东西跟已有部件的组合。
同时不要神化 SQL ， SQL 能解决很多问题，但是用程序一样能解决，比如外键什么的都能自己进行检查来约束，数据库完全可以当成一个存储引擎外加+SQL 接口的组件来使用
我并不是排斥 SQL ，任何的事情都是要看环境的，你们适合的不一定适合其他人，可能你们本身团队的人员就比较强，我讨论的只是普遍情况下 ORM 可以解决大多数问题，而且很多问题可以通过软件设计来配合使用纯 ORM 的方式进行开发。

@mhycy 但是 SQL 有更高的维护成本，新人更难加入开发的队伍， Java 的出现就是为了让萌新都能成为干活的队友出现的。绝大多数的所谓灵活性都是为了一时自己开发爽。一个系统从业务逻辑以及架构设计上调整去适配 ORM 我觉得才是正路，因为 ORM 的学习成本比 SQL 低，那么就代表要成为你队友的门槛低，工作能通过堆实习生解决的问题都不是问题。
当然你的队友都很强，你们都能写出壮健性能高简洁明了的代码，那么当我没说。

php 不是一个请求一个进程吗？

看什么服务罗，一般来说，你们若是只提供重启，那么机房就已经提供了。若是运维的话，你们又是如何得知不是软件 bug 引起的呢？
要不就做成一个软件平台，参考各类监控，否者需求都是无限多的。

@bianchensz 丢过数据，不放心啊。硬盘就几百块，但是宝贵的图片就不止这个价了。

还后端 mock 个毛线，叫前端用 express 自己解决。反正他们现在工作不是也要开 dev server 么？

@xspoco 啊，果然反了，反正必须是冗余，我目前是一比一镜像， raid 1 ， raid 0 丢数据欲哭无泪啊

个人正在使用 qnap 的 TS-431 ，基本要有的软件都支持。关键是有 4 盘位。
相信我，硬盘绝对比你的宝贵信息价值低。
一定要上 raid 0 之类的冗余方案， raid 1 都是邪道。

@xjr1022 你们啊，用 Java 写的 IDE 就不要省内存啊，赶紧点 Help -> Edit Custom VM Options, 将"-Xmx"选项的值调大。整天触发 Full GC ，不卡才怪

集中式版本控制,现在看来其实是跟实现有关，虽然楼主没讲，但是其实就是暗指 svn 。但是像 google 一样基于 GFS 建立的集中式版本控制，却的的确确可以容错，一个节点的崩溃不会影响整个系统的可用性。

努力也是天赋？搞不懂你的逻辑