V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
ranlele
V2EX  ›  Python

scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况

  •  
  •   ranlele · 2019-01-21 14:58:49 +08:00 · 2311 次点击
    这是一个创建于 1893 天前的主题,其中的信息可能已经有所发展或是发生改变。
    12 条回复    2019-01-24 17:05:33 +08:00
    ranlele
        1
    ranlele  
    OP
       2019-01-21 15:14:45 +08:00
    有大佬吗
    ranlele
        2
    ranlele  
    OP
       2019-01-21 16:43:13 +08:00
    没大佬们遇到这种问题吗
    meik2333
        3
    meik2333  
       2019-01-21 16:47:54 +08:00 via Android
    突然全部连接超时,情况有很多的啊。可能是触发网站防火墙了,可能你网络波动了,可能对方网站突然 GG 了。

    你可以考虑贴个报错信息出来。
    ranlele
        4
    ranlele  
    OP
       2019-01-21 19:21:59 +08:00
    我爬取很多个不同网站,不只是一个网站。同时都是连接超时、
    15399905591
        5
    15399905591  
       2019-01-22 10:41:18 +08:00   ❤️ 1
    你是不是推送了太多请求队列了,scrapy-splash 是异步的,它的超时计算是按你发起的请求时间就计算的,比如你发起 1W 个请求, 超时时间 10S,当处理到 1000 条时已经达到了 10S,那后面 9000 条全部会返回 timeout
    ranlele
        6
    ranlele  
    OP
       2019-01-23 11:56:03 +08:00
    @15399905591 有没有什么解决办法啊。
    15399905591
        7
    15399905591  
       2019-01-23 18:15:00 +08:00   ❤️ 1
    控制频率啊,或者添加多个 scrapy-splash 做个负载均衡,然后调整一下你的 scrapy-splash 配置。
    ranlele
        8
    ranlele  
    OP
       2019-01-24 08:49:43 +08:00
    @15399905591 就是每一个 spider 都各自配一个 scrapy-splash 吗。假如各自都配一个还是连接超时的话。有没有办法让一个 spider 使用多个 scrapy-splash。在配置的时候不都是在 settings 里面加一个端口号么
    15399905591
        9
    15399905591  
       2019-01-24 09:28:46 +08:00
    你可以考虑配置一个 scrapy-splash+haproxy 搭建一个集群就行了。但是还是看你的频率,如果频率过高的话,使用 scrapy-splash 其实并不合适。你应该考虑直接研究具体的请求。
    ranlele
        10
    ranlele  
    OP
       2019-01-24 10:50:19 +08:00
    @15399905591 这个频率大概是多少啊 可以自己设置吗。
    ranlele
        11
    ranlele  
    OP
       2019-01-24 16:46:04 +08:00
    @15399905591 如果全部都超时了,只能重启系统吗?
    15399905591
        12
    15399905591  
       2019-01-24 17:05:33 +08:00
    @ranlele 你现在的请求量是多大呢? 超时了只是因为推送请求的效率大于处理请求的效率,你把速度降下来,等堆积的任务处理完就好了啊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3374 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 11:21 · PVG 19:21 · LAX 04:21 · JFK 07:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.