首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

现在已经有反爬措施了?

  •  
  •   wszgrcy · 38 天前 via Android · 1893 次点击
    这是一个创建于 38 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用的 puppeteer,帮人写个小工具(不收费),在 window 下,正常,但是在 docker 中一些网站 goto 后秒崩,对一部分正常,一部分崩溃,哪怕只运行这一个也崩溃,曾经有人说没有爬不了的网站。。。但是这个网站也真是 nb。打开一瞬间就立马崩溃

    9 回复  |  直到 2019-09-13 22:25:19 +08:00
        1
    D0n9   38 天前
    其实没有理解在问啥
    如果是 100% 出问题的话,为什么不尝试在 win 下跑一下,然后用 docker 跑相同的站,先排除是不是自身环境有问题。

    # 我也是闲的无聊,看到一篇无聊的帖子,无聊地回复一下
        2
    whasyt   38 天前 via iPhone
    还开始有广告了??手机页面下面十个广告排成排,我一度以为我进错网站
        3
    shintendo   38 天前   ♥ 1
    每个字都认识,就是不知道你在说什么
        4
    jinliming2   38 天前 via iPhone
    @whasyt 一直有广告啊……
        5
    xiri   38 天前
    @whasyt v 站一直都有广告啊
        6
    whasyt   38 天前 via iPhone
    @jinliming2 有十条这么多吗……之前 ios12 的 Safari 没啥广告
        7
    littlespider89   38 天前
    理论上应该是没有爬不了的网站,只是模拟人工访问的环境没做到一模一样,网站有些地方的检测没考虑到

    windows 下也是 headless 模式吗? 可以把网页放出来大家一起来试试
        8
    wszgrcy   38 天前 via Android
    @shintendo win 下能爬不崩溃,docker alpine 下崩溃(部分网站)
        9
    patx   38 天前
    不爬图片的话,禁止 pupeteer 加载图片试试?其实也可以弄个广告域名的黑名单,也屏蔽掉。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4065 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 22ms · UTC 09:01 · PVG 17:01 · LAX 02:01 · JFK 05:01
    ♥ Do have faith in what you're doing.