这是一个创建于 2922 天前的主题，其中的信息可能已经有所发展或是发生改变。
需求如下：
数据主要包括请求的 url ， headers ， body ，响应的 html 文档。
数据之间没有复杂的关联，只有一个请求来自于某个请求这样的树型关系。
不需要联合查询，不需要事务。
数据量比较大。
目前了解的有关系型数据库、 mongodb 、 HBase 、 es 。不知道哪种数据库最适合这种场景呢？希望各位给些建议，感谢。
数据主要包括请求的 url ， headers ， body ，响应的 html 文档。
数据之间没有复杂的关联，只有一个请求来自于某个请求这样的树型关系。
不需要联合查询，不需要事务。
数据量比较大。
目前了解的有关系型数据库、 mongodb 、 HBase 、 es 。不知道哪种数据库最适合这种场景呢？希望各位给些建议，感谢。
 |
1
Felldeadbird 2016-11-28 17:41:45 +08:00
公司一个爬虫项目， PHP+mysql 得。 基本固定的几百万爬虫数据（会定期删除过期数据，因此基本固定数据） + 整合，分析，最终在页面展示耗时大约在 0.1S 内完成。
内容主要是： URL+ 页面标题+页面特定内容。 |
 |
2
exalex 2016-11-28 17:44:37 +08:00
@Felldeadbird 大概什么方向的内容啊
|
|
3
Felldeadbird 2016-11-28 22:31:58 +08:00 via iPhone
@exalex 做数据分析的，爬某个特定行业的数据。然后拿数据做…具体大概就这样
|
Select Language