有大哥用 nodejs 写过爬虫嘛

[roiding]

很简单的一个事，我就是想访问 opensea ，把 html 拉下来。但是试着用 needle 和 axios 请求都会被 cloudflare 打回来，各种 header 我都加过了。
但是神奇的就是 postman 请求永远都是成功的，你说一直不行把 我用 needle 又请求成功一次，像请问下大哥们有人遇到过这个嘛，要怎么解决

[winnerczwx]

puppeteer

https://github.com/puppeteer/puppeteer

[ShayneWang]

puppeteer

[duan602728596]

import fs from 'node:fs/promises';
import got from 'got';
import needle from 'needle';

const res = await got('https://opensea.io/', {
responseType: 'text'
});

await fs.writeFile('1.html', res.body);

needle.get('https://opensea.io/', function(error, res) {
if (!error && res.statusCode === 200)
fs.writeFile('2.html', res.body);
});

测了下没问题，应该没有反爬。有可能是网络问题，毕竟服务器在境外。

[roiding]

@duan602728596 手动给你点个赞