V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
starvedcat
V2EX  ›  编程

Selenium 疑似被目标网站屏蔽了

  •  
  •   starvedcat · 2018-05-30 11:12:24 +08:00 · 3742 次点击
    这是一个创建于 2376 天前的主题,其中的信息可能已经有所发展或是发生改变。

    很久前用 Selenium 写了个爬虫,随便写着玩的,一直正常运行,今天突然不行了。现象是用 Selenium 去爬,直接给我返回空白页面:

    <html xmlns="http://www.w3.org/1999/xhtml"><head></head><body></body></html>
    

    调用 FirefoxDriver 和 ChromeDriver 均是此现象

    但是我如果直接用浏览器访问,使用 Firefox 和 Chrome 均可正常访问网站内容

    刚上网查了下,说 Selenium 并不支持修改 request header。那么这种情况应该如何应对呢?

    5 条回复    2018-06-13 15:24:45 +08:00
    colincat
        1
    colincat  
       2018-05-30 13:29:55 +08:00
    UA 头可以改吧,再说你用 chromeDriver 应该就是调用浏览器去渲染啊
    starvedcat
        2
    starvedcat  
    OP
       2018-05-31 00:39:46 +08:00
    @colincat #1 对,就是调用了浏览器,然后只出现空白页面;但是如果我自己用 Chrome 访问就正常
    colincat
        3
    colincat  
       2018-06-07 10:48:47 +08:00   ❤️ 1
    @starvedcat https://www.zhihu.com/question/35547395 给你一个连接吧,参考
    eastrd
        4
    eastrd  
       2018-06-13 09:26:09 +08:00
    也可以根据鼠标轨迹来判断是否是 Bot
    starvedcat
        5
    starvedcat  
    OP
       2018-06-13 15:24:45 +08:00
    @eastrd #4 访问那个网址,直接就返回空白页面,所以跟鼠标轨迹没关系
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1509 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 17:10 · PVG 01:10 · LAX 09:10 · JFK 12:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.