1
pathletboy 2014-06-03 11:57:27 +08:00
打开网页解析并下载
|
2
binux 2014-06-03 12:15:02 +08:00 1
取决于你网速,除非你连怎么占满带宽都不知道。
|
3
shoumu 2014-06-03 12:23:27 +08:00
下载的内容是什么内容
|
4
faceair 2014-06-03 12:24:53 +08:00 1
多线程或者用回调
|
5
LetFoxRun OP @binux
其实我是想问下,基本常用的都有哪些模型,哪些方法。 比如,多进程,多线程,异步,父子进程。 假如需要下载的东西比较费时(需要1分钟能下载成功),但是比较小,10kb,一般情况下,这种应该使用什么模型或方法? 求多说两句,谢谢。 |
6
oIIo 2014-06-03 12:51:18 +08:00
为什么不搜一搜呢, 网上搜spider或者crawler,各种文章,各种源码都有,够你参考了。
|
7
diaoleona 2014-06-03 12:53:09 +08:00
scrapy or scrapyd
|
8
alexapollo 2014-06-03 12:57:56 +08:00
异步编程妥妥的
|
9
LetFoxRun OP |
10
imn1 2014-06-03 13:13:52 +08:00
一切取决于量~
爬一个网页和爬一个网站做法完全不同 |
12
codingpp 2014-06-03 13:55:06 +08:00 1
异步回调了,其他不考虑
一次发起上万个请求 |