V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
neurocomputing
V2EX  ›  问与答

运营商普遍不给公网 IP 之后是不是对爬虫是个好事儿?

  •  
  •   neurocomputing · 2017-08-03 12:34:37 +08:00 · 2980 次点击
    这是一个创建于 2651 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题

    是不是意味着被爬目标通过限制 IP 访问频率不如以前奏效了呢?

    8 条回复    2017-08-03 16:33:26 +08:00
    lgh
        1
    lgh  
       2017-08-03 12:47:42 +08:00 via iPhone
    不是更容易被误伤了吗?
    neurocomputing
        2
    neurocomputing  
    OP
       2017-08-03 13:02:55 +08:00
    @lgh 是的,所以 IP 频率限制会逐渐变松,否则就有可能拦住很多正常用户了吧
    jiangzhuo
        3
    jiangzhuo  
       2017-08-03 13:23:30 +08:00
    理论上讲公开的网站是禁止不了爬虫的对不对?
    我们这有款智能路由产品可以提供代理功能,可以通过平台使用这些家用路由作为爬虫代理,不知道对这种产品有没有兴趣(这只是实验产品
    nodeath
        4
    nodeath  
       2017-08-03 14:25:22 +08:00
    通过 ip 限制爬虫很头疼,云爬虫 ip 库量非常大
    XiaoxiaoPu
        5
    XiaoxiaoPu  
       2017-08-03 14:31:07 +08:00 via iPhone   ❤️ 2
    @jiangzhuo 这叫智能?明明是流氓。
    neurocomputing
        6
    neurocomputing  
    OP
       2017-08-03 14:36:30 +08:00
    @jiangzhuo 这主题都有机会插进来广告。。。
    UnisandK
        7
    UnisandK  
       2017-08-03 14:51:37 +08:00
    @jiangzhuo 老铁,你家智能路由叫什么,以后我买的时候绕着走
    jiangzhuo
        8
    jiangzhuo  
       2017-08-03 16:33:26 +08:00
    @XiaoxiaoPu #5
    @neurocomputing #6
    @UnisandK #7
    这产品还在停留在原型阶段,我觉得也不会真正成为产品
    要绕路的,我建议还是买回去刷自己喜欢的系统吧,牌子型号太多。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3175 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 12:42 · PVG 20:42 · LAX 04:42 · JFK 07:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.