这是一个创建于 3831 天前的主题，其中的信息可能已经有所发展或是发生改变。
举个例子，写一个网络爬虫有以下步骤：
1.抓取网页（打开网页）
2.解析网页内容
3.下载网页里面的内容（比较费时）
我们可以将上面三个步骤简化为2个，即 1.打开网页 2.解析网页并下载内容
如果更效率的完成上面的操作呢？
有好的回复，必发送感谢！
1.抓取网页（打开网页）
2.解析网页内容
3.下载网页里面的内容（比较费时）
我们可以将上面三个步骤简化为2个，即 1.打开网页 2.解析网页并下载内容
如果更效率的完成上面的操作呢？
有好的回复，必发送感谢！
 |
1
pathletboy 2014-06-03 11:57:27 +08:00
打开网页解析并下载
|
 |
2
binux 2014-06-03 12:15:02 +08:00  1
取决于你网速，除非你连怎么占满带宽都不知道。
|
 |
3
shoumu 2014-06-03 12:23:27 +08:00
下载的内容是什么内容
|
 |
4
faceair 2014-06-03 12:24:53 +08:00 1
多线程或者用回调
|
 |
5
LetFoxRun OP @binux
其实我是想问下，基本常用的都有哪些模型，哪些方法。 比如，多进程，多线程，异步，父子进程。 假如需要下载的东西比较费时（需要1分钟能下载成功），但是比较小，10kb，一般情况下，这种应该使用什么模型或方法？ 求多说两句，谢谢。 |
 |
6
oIIo 2014-06-03 12:51:18 +08:00
为什么不搜一搜呢， 网上搜spider或者crawler，各种文章，各种源码都有，够你参考了。
|
 |
7
diaoleona 2014-06-03 12:53:09 +08:00
scrapy or scrapyd
|
 |
8
alexapollo 2014-06-03 12:57:56 +08:00
异步编程妥妥的
|
|
9
LetFoxRun OP |
 |
10
imn1 2014-06-03 13:13:52 +08:00
一切取决于量～
爬一个网页和爬一个网站做法完全不同 |
 |
12
codingpp 2014-06-03 13:55:06 +08:00 1
异步回调了，其他不考虑
一次发起上万个请求 |
Select Language