服务器上面运行爬虫，抓取速度越来越慢，这可能是什么原因呢？

[ooh]

刚开始和本地数度一样，可是一觉醒来发现只有8w，正常情况下应该有20w以上数据。
我在本地做过测试，可是放服务器上面过一整子速度就会很慢，不知道是什么原因。

[YouXia]

1.是否使用了多进程，看看有没有产生僵尸进程。
2.网络带宽。

[mahone3297]

你是直接抓取？还是会做判断（抓取下来，查询本地有没有，有就update，没有就create）？随着数据越来越多，select会越来越慢。

[ooh]

@YouXia
@mahone3297
1.是用了多线程，每个线程存活周期不超过3秒。
2.带宽这个问题好像不是的，我晚上再回去确认下。
3.我是直接抓起插入，我数据源已经做成唯一的了。
4.同样数据源本地机器和服务器配置差不多，但是，服务器好像上了几w后速度就变得非常慢，前几w都很快。

[mahone3297]

@ooh 加点log，benchmark，看看到底耗时在哪里吧。。。

[mmoaay]

是不是抓取的源拒绝你的访问了，还有就是你用的开源的爬虫么？会不会内部存在阻塞的情况