这两天服务器端尝试写了个爬虫练练手,结果今上午突然抓取任何套了 CF 的站点都给我返回 403 Forbidden, 加了各种各样的 header 都 403 错误,没套 CF 的站点就抓取正常,这是怎么回事?
1
PHPer233 2018-10-18 12:16:25 +08:00 via iPhone
cloudflare 有防御策略,你的 IP 地址已经被封了。
|
2
stabc 2018-10-18 12:21:22 +08:00
登录 Cloudflare,Firewall -> rate limiting,然后你根据免费版的策略做应对就好了,大部分人用的还是免费版。
|
3
mytsing520 2018-10-18 12:21:32 +08:00
Your IP address was blocked by CloudFlare.
|
4
alwayshere OP |
5
mytsing520 2018-10-18 12:25:38 +08:00
@alwayshere 对于爬虫或扫描器,CF 有权全局屏蔽
|
6
alwayshere OP @mytsing520 以前我写爬虫,上百个进程爬几百万个页面,也没触发 CF 的防御机制。。。
|
7
mytsing520 2018-10-18 12:32:47 +08:00
@alwayshere 这不是一成不变的措施
|
8
alwayshere OP @mytsing520 那有解封时间么?
|
9
qyxx 2018-10-18 13:01:42 +08:00 via Android
被封了,说明选择 cf 作为 cdn 的确不错 2333
|
10
mytsing520 2018-10-18 13:45:00 +08:00
@alwayshere 你只能发信询问 CF 了,有些 IP 是永久封
|
11
zhkrb 2018-10-18 14:58:07 +08:00
正好顺便问一句,有没有人碰到过绕过 cf 那个检测页面后,cookies 仍然只有__cfduid,没有 cf_clearance 的情况
|
12
realpg 2018-10-18 16:24:09 +08:00
大快人心系列
|
13
SukkaW 2018-10-18 22:38:13 +08:00 1
恭喜你的 IP 进入 Cloudflare 信誉低 IP 列表,换个新的 IP 吧。
|