我有一个爬虫,大概每 1 个小时就往服务器提交一次数据(少量数据),近期发现少数情况下竟然会出现长达一分钟以上无法连接的报错(每隔几秒钟重试):
HTTPConnectionPool(host='xxx.xxx.com', port=80): Read timed out. (read timeout=10)
我服务器是腾讯云 HK 机房,爬虫在内地的廉价华为云,大概 ping 一次 50 多 ms,目前 ping 了十几分钟没有出现丢包,服务器域名托管在 Godaddy,默认配置,域名 TTL 1 小时
请问有何良策排查这个问题?
1
ohao 2020-04-22 12:12:52 +08:00
这个很大可能是网络问题
就是 华为 <=> 腾讯 服务器之间出现网络通信的问题 和解析关系不大 解析一般都会被 cache 的 |
2
ieric 2020-04-22 12:21:19 +08:00 via iPhone
域名哪里解析都差不多
服务固定 IP 更不担心 国内 Vps 限制 Out 带宽 上传就是 out 几 M 都慢 再大陆外服务器 想稳定真难 |
3
superrichman 2020-04-22 12:21:51 +08:00 via iPhone
直接把请求域名改 ip 来测不就行了。
|