V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
gxever
V2EX  ›  程序员

请教通过 HTTP 代理访问配置有 Cloudflare CDN 的网站

  •  
  •   gxever · 2022-01-02 13:19:10 +08:00 · 2290 次点击
    这是一个创建于 1056 天前的主题,其中的信息可能已经有所发展或是发生改变。
    • 当使用浏览器通过本地的 HTTP 代理去访问配置有或没有配置 Cloudflare CDN 的网站的时候,均能正确获得页面响应;

    • 当使用 Postman 工具或使用 Node.js 编程通过本地的 HTTP 代理去获取没有配置 Cloudflare CDN 的网站的时候,也能正确获得页面响应;

    • 当使用 Postman 工具或使用 Node.js 编程通过本地的 HTTP 代理去获取配置有 Cloudflare CDN 网站页面的时候,却总会得到错误:Error: Client network socket disconnected before secure TLS connection was established;

    哪位大佬知道这其中的原因和解决的方法呢?

    10 条回复    2022-01-02 20:06:31 +08:00
    yujiang
        1
    yujiang  
       2022-01-02 14:00:03 +08:00 via Android
    这就是 cloudflare 的防御功能在起作用啊
    gxever
        2
    gxever  
    OP
       2022-01-02 14:06:11 +08:00
    @yujiang 可是浏览器通过代理却又可以正常访问?这个防御功能具体是指哪一方面呢?
    ch2
        3
    ch2  
       2022-01-02 14:11:11 +08:00
    @gxever #2 前端验证啥的
    hallDrawnel
        4
    hallDrawnel  
       2022-01-02 14:20:34 +08:00
    防御你用脚本去爬网站
    gxever
        5
    gxever  
    OP
       2022-01-02 14:27:20 +08:00
    @ch2 @hallDrawnel 我觉得更多是一个配置上面的错误?因为浏览器可以通过代理正常访问,如果正常浏览器通过代理能行,那么使用 headless 浏览器通过代理的爬虫代码似乎也能行?那就不能防御脚本爬网站了...
    ch2
        6
    ch2  
       2022-01-02 14:58:57 +08:00
    @gxever #5 headless 计算资源占用成本比脚本大很多,cf 首先拦的第一关就是通不过浏览器验证的
    crystom
        7
    crystom  
       2022-01-02 14:59:55 +08:00
    握手使用的 ssl 套件不同,cf 能判断你不是正常浏览器
    kidonng
        8
    kidonng  
       2022-01-02 15:03:49 +08:00 via Android   ❤️ 1
    各种 client 都是有 TLS fingerprint 的,CF 有利用此判断请求是否来自真正的浏览器。
    但无头浏览器的开销比光发请求的开销大多了,而且也有手段对付(比如验证码)。
    ZeroClover
        9
    ZeroClover  
       2022-01-02 15:09:40 +08:00   ❤️ 1
    如果是大站,有可能开了 Bot Management ,这个包含对 TLS 指纹的验证,你的 TLS 指纹和声明的 User Agent 不一致就会被干。
    gxever
        10
    gxever  
    OP
       2022-01-02 20:06:31 +08:00
    @crystom @kidonng @ZeroClover 嗯嗯 谢谢恢复 我现在也觉得 SSL/TLS fingerprint 被识别的可能性很大
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2659 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 05:34 · PVG 13:34 · LAX 21:34 · JFK 00:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.