如题
是不是意味着被爬目标通过限制 IP 访问频率不如以前奏效了呢?
1
lgh 2017-08-03 12:47:42 +08:00 via iPhone
不是更容易被误伤了吗?
|
2
neurocomputing OP @lgh 是的,所以 IP 频率限制会逐渐变松,否则就有可能拦住很多正常用户了吧
|
3
jiangzhuo 2017-08-03 13:23:30 +08:00
理论上讲公开的网站是禁止不了爬虫的对不对?
我们这有款智能路由产品可以提供代理功能,可以通过平台使用这些家用路由作为爬虫代理,不知道对这种产品有没有兴趣(这只是实验产品 |
4
nodeath 2017-08-03 14:25:22 +08:00
通过 ip 限制爬虫很头疼,云爬虫 ip 库量非常大
|
5
XiaoxiaoPu 2017-08-03 14:31:07 +08:00 via iPhone 2
@jiangzhuo 这叫智能?明明是流氓。
|
6
neurocomputing OP @jiangzhuo 这主题都有机会插进来广告。。。
|
8
jiangzhuo 2017-08-03 16:33:26 +08:00
@XiaoxiaoPu #5
@neurocomputing #6 @UnisandK #7 这产品还在停留在原型阶段,我觉得也不会真正成为产品 要绕路的,我建议还是买回去刷自己喜欢的系统吧,牌子型号太多。 |