1
xiayun 2018-04-17 16:10:41 +08:00
设置 timeout ?
|
2
wcsjtu 2018-04-17 16:33:57 +08:00
多 print, 看卡在哪了。。。
|
3
crisewng 2018-04-17 18:04:38 +08:00
你代码也不发 让我们怎么猜。。。。
|
4
John60676 2018-04-17 18:11:35 +08:00 10
接楼上,我猜是爬虫累了
|
5
PythonAnswer 2018-04-17 18:14:08 +08:00 via iPhone
栈溢出
|
6
xrlin 2018-04-17 18:14:37 +08:00 1
爬虫:爬了这么久,是该歇歇了。
|
7
onepunch 2018-04-17 18:24:44 +08:00
多线程死锁?
|
8
lan5635 2018-04-17 18:34:20 +08:00
服务器被你爬趴下了?
|
9
lusi1990 2018-04-17 18:50:47 +08:00 via Android
阻塞了, 链接池释放了吗,设置 timeout 了吗
|
10
jimmyczm 2018-04-17 19:49:22 +08:00
可能虫子被小鸟吃了
|
11
yxwzaxns 2018-04-17 19:51:41 +08:00 via iPhone
开 ssh,我去看看
|
12
Ginson 2018-04-17 19:52:15 +08:00
很大可能是请求阻塞了
|
13
v2410117 2018-04-17 20:44:36 +08:00
爬虫:我休息一下不行?换你一直爬试试?
|
14
dengshuang 2018-04-17 20:45:32 +08:00
用 print 方法检查,那个地方卡了。每个函数下都放个 print.
|
15
dingling136 2018-04-18 08:51:41 +08:00
1 楼说的对,很大可能没有设置 timeout。
另外可以加杀死进程的代码。在下一次启动任务时,先执行一下杀死进程。注意 2 个 crontab |
16
lookwi 2018-04-18 08:52:52 +08:00 via iPhone
爬虫:我有自己的想法了,我要看小电影,歇一会
|
17
okzpy9425 2018-04-18 09:23:16 +08:00
只说自己爬虫程序卡死了,也不说自己具体使用的是什么技术。。也不贴代码,这让人怎么给你分析?
大多数原因都是阻塞在了某个链接上,如果你使用 python 的协程 处理不好的话很容易卡死的。 |
18
anywalker707 2018-04-18 09:52:20 +08:00
被一只早起的鸟,吃了
|
19
xiangR 2018-04-18 10:05:19 +08:00
可以看一下,是不是卡在打 log 上了。我曾经碰到过,将所有 log 配置都去除,只有在抛异常的时候再打 log
|
20
qingshan16 2018-04-18 10:44:22 +08:00
当然是等它复活啊
|
21
kongkongyzt 2018-04-18 12:46:40 +08:00 via Android
记得 close connection
|