网上那些抓数据的软件，是怎么躲过对方服务器封ip的？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3985 天前的主题，其中的信息可能已经有所发展或是发生改变。

那些采集软件，或者那些数据抓取的软件

他们去抓人家的数据
人家服务器肯定限制了访问频率

他们怎么避免被封ip的？

我目前可以想到2个方案

1.分布式采集
2.N个vps上装个http或者socks5代理，挨个轮换代理采集
3。。。。。。

大家来参与交流下

看看还有什么办法么，

5 条回复 • 1970-01-01 08:00:00 +08:00

alay9999

2014-01-03 07:48:48 +08:00

也可以用代理吧，听说代理很便宜

zencoding

2014-01-03 08:02:42 +08:00

lz没听说过tor吗

a2z

2014-01-03 08:09:22 +08:00

我有全世界的socks5服务器列表，外加tor

n0b0dy

2014-01-03 19:25:52 +08:00

@a2z 如果方便的话求分享部分socks5 服务器地址, 最好带端口
邮箱地址 [email protected] 已感谢 ;)

dingdong

2014-01-07 17:11:35 +08:00

有很多分享代理的网站，直接去抓下来测试可用就行