来当个伸手党，用 python 写的爬虫，在 win 下内存占用就 70M 多，为什么放到 512m 的 vps 下没多久就被 kill 掉

[sandideas]

是linux的vps。。。开了ss之类的，内存占用40%。。感觉剩下的应该够跑吧。

[neoblackcap]

你是不是就直接用shell去启动你的脚本？然后就退出了ssh？

[laiyilong]

没有优化好。。可以考虑多线程，把swap空间调大应该也可以

[icedx]

代码呢

[loading]

cpu超了？

[msg7086]

虚拟内存设定呢？

[paw]

ulimit -a
看一下，是不是这里限制了，virtual memory；open files ；stack size 等
以前在用OAH的VPS的时候碰到过，virtual memory有限制，坑爹货。

[sandideas]

@neoblackcap
对。。。第一次弄这个，难道不是直接启动。。然后扔那么

[kqz901002]

@sandideas nohup $$$&

[sandideas]

@laiyilong 就是多线程。。我查查怎么调swap空间。

[lcqtdwj]

win7长时间开着内存也就70M么？

[sandideas]

@icedx 写的很乱。。不敢贴。但是我urlib，file之类的都有close掉。应该没问题吧。

[sandideas]

@loading cpu超了也会么。。好像cpu占用是挺高的。。i7下都占用10+...

[sandideas]

@msg7086
没去设置。。我觉得应该够吧。。那我去设置下虚拟内存。

[sandideas]

@paw virtual memory是unlimited。。

[sandideas]

@kqz901002 看了下。。这样是为了防止退出ssh被自动关掉么。。但是我连上去后就没关掉。。眼睁睁的看着他显示被kill。。

[sandideas]

@lcqtdwj 对。。。我看了好几次，基本就在70上下。

[kqz901002]

@sandideas是的 nohup $command&

[neoblackcap]

@sandideas 贴代码是最快的，你还是贴下代码让大家review一下

[knightlhs]

@sandideas 不贴代码很难确认

从代码的角度思考
问题可能有：
1、是否有内存泄露
2、CPU突发峰值是否超标
3、内存突发峰值是否超标

从服务器的角度考虑
问题可能有：
1、服务器参数是否虚标 是否超售 特别是 OVZ的类型 内存严重不足
2、CPU是否被严格限制在一定的指标

其他暂时还没想到

[msg7086]

@sandideas 首先你要看的是commit charge，这个关系到进程是否被kill。

[sandideas]

@knightlhs
@msg7086
@neoblackcap
@kqz901002
非常感谢你们回复。。
找到原因了，因为系统和mysql之类的会占用到百分之40左右的内存。
而我的代码会在刚开始一段时间从70多到200+。然后才会稳定到70多。。
原本默认的swap才100m。。我改成1g就够了。这样就不会被系统kill掉了。
新手。。莫笑。

[sandideas]

@knightlhs cpu超的话会导致进程被kill么。。我看cpu在vps里面一直占到90+。。

[sandideas]

@neoblackcap
@knightlhs
不贴代码是因为实在写的渣。。好多异常懒得处理直接忽视了。。
试运行可以了再优化代码。

[knightlhs]

@sandideas
这个要看主机商的设定 我这里无法粗浅的下结论
一般的中小型VPS提供商 长时间占用CPU不但会kill 还会封帐号
但是也是有区分的 有些专供计算类的云产品 是可以长时间高负荷的 只是价格比较喜人
具体你要问问你的服务商 具体的要求是什么了

[sandideas]

@knightlhs 了解了。。那我发个tk问一下客服

[zts1993]

一般主机的后台会有监控 可以查看 CPU内存的使用历史记录

[sandideas]

http://paste.ubuntu.com/11908931/

@knightlhs
@neoblackcap
@icedx
我还是贴代码吧。。
虽然可以运行，但是swap速度太慢了。
开了是个线程内存就会涨到300+

[icedx]

我感觉是你这个bs4 的对象没有被及时回收
开始代码 soup=BeautifulSoup(page)

[sandideas]

@icedx 好的。。我试试

[sandideas]

@icedx 回收是怎么回收。。我直接del soup不行。。没发现soup有close。。

[icedx]

@sandideas 应该是函数执行结束后自动回收... 但是多线程下 内存使用瞬间飙升

[sandideas]

@icedx 那就没解决办法了么。。一般爬虫是怎么写的，都会内存占用很多么。

[knightlhs]

@sandideas
我对python不熟悉 我说一下我在go上写爬虫的思路
首先 你的解析器不需要每个线程上都new一个
采集线程上只要抓取到页面的信息就OK了 降低负载
采集回来的信息放进 队列里面 等待解析器统一处理（单例）因为这个玩意大多是单线程的
解析结果 出来以后 分析是否是列表 还是正文
如果是列表 那么返回采集队列 继续抓取
如果是正文 就可以保存了

一般系统开销都不在 采集这块 我一般可以开到 30-50个并发
解析器可以多实现几个 分布式 处理 通过 队列随机分配
这样就可以有效的降低 负载
供你参考

[sandideas]

@knightlhs 多谢。。我这个最早是单线程的，后来觉得速度慢按照样例改成多线程的。
的确是没想过解析器不需要多线程。
待会有空改一下试试。。

[knightlhs]

@sandideas
速度慢的问题 一般都不在采集跟解析 回头你自己写一个分析下
写入这块你分离出来 用一个单例实现 看看采集完成的时间 （不记写入时间）
我觉得你速度慢的原因可能在写入 磁盘效率不高 导致队列阻塞了
如果是这也原因的话 换保存方式 比如 mysql

[sandideas]

@knightlhs 好的。非常感谢

[sandideas]

@knightlhs 那cpu占用很高会有哪些原因。。我在I7下都会达到20%。。。没有多少循环嵌套啊。
正则匹配的时候会占用很多CPU么。

[knightlhs]

@sandideas 正则的效率确实不高 你需要使用一些基于DOM的解析引擎

[icedx]

@sandideas 你要吧bs4 处理的过程放在独立的函数里 不要返回bs4 对象