有没有爬虫王！可以教下我 Websocket 怎么爬吗?

[JoryJoestar]

想要爬的网站： https://crushon.ai/character/7e388767-63c7-45e3-b922-53458b4ae4f7/chat

一直请求 403 ，难受，搞不定，用无头 playwrihgt ，又不过 cloudflare ，请求又被拒绝，难搞！

想请教一下 v2 的各位佬，怎么爬这个网站聊天对话。

[peteretep]

你应该发到程序员版面 《恕我直言，用 websocket 发送对话，根本没有人能爬到我的内容 》

[lisxour]

你发外包我可以接

[irrigate2554]

看你这个描述，不是卡在 ws 而是卡在过不了 cf

[cbythe434]

有头手工点 cloudflare

[evan1]

我有个办法，别用无头，用有头。手动过下 cf ，然后程序自动爬。

[rabbbit]

NSFW 警告，不要看首页

[coderzhangsan]

😮，websocket 也能爬？如果能爬，那基于 TCP 协议的应该都能爬吧？

[foufoufm]

@peteretep 今日 funning

[musi]

用 electron 开 cdp 监听 ws

[xiaoming1992]

@rabbbit 你跟我看的是一个首页吗？哪有 NSFW ，都是穿得严严实实的印度大妈和卡通人物

[dreamkuo]

@peteretep 太经典了. 太厉害了. 赔付

[dreamkuo]

@peteretep 佩服 你是懂发帖的

[march1993]

用 chrome 打开，然后打开 inspector network 页，右键复制 curl(cmd/bash)，这种基本可以下载下来

[lyusantu]

@xiaoming1992 你登录了吗

[lyusantu]

@xiaoming1992 登录解锁

[JoryJoestar]

@peteretep 你是懂程序员的

[JoryJoestar]

@musi 我试试，谢谢🙏

[249239432]

@coderzhangsan 看页面源代码解析逻辑，可以爬

[drymonfidelia]

@coderzhangsan 不能爬网站是怎么显示的？你能看到的东西都能爬

[991547436]

playwright 这样过 cf
Browser browser = playwright.chromium().launch(new BrowserType.LaunchOptions().setHeadless(true)
.setArgs(List.of("--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/537.36"))
);

[testliyu]

@peteretep 你是懂拿捏人心理的

[alexchen7]

建议你看看 browser use 项目。

[nomagick]

https://r.jina.ai/ https://crushon.ai/character/7e388767-63c7-45e3-b922-53458b4ae4f7/chat

[TophTab]

@peteretep #1 《提问的艺术》

[ooTwToo]

指纹浏览器

[ShineyWang]

这个应该能过 CF 盾
https://github.com/FlareSolverr/FlareSolverr

[huangpingdong]

@peteretep 怎么大胆，抖音弹幕都有人能爬 websocket 加密的还是

[huangpingdong]

@peteretep 怎么大胆，抖音弹幕都有人能爬 websocket 加密的

[JoryJoestar]

@991547436 牛的

[JoryJoestar]

搞定了，用的有头 playwright ，手动过 cloudflare ，还可以吧，只需要确认一次就行