V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
spy8888
V2EX  ›  Python

怎么才能使用python获取一个自动更新的页面

  •  
  •   spy8888 · 2013-11-14 13:47:04 +08:00 · 3751 次点击
    这是一个创建于 3824 天前的主题,其中的信息可能已经有所发展或是发生改变。
    页面链接是这个 http://www.joyj.com/get_list.php?s=1&top_type=0&get_cat=0&t=1384407146001

    使用python-requests直接get总是提示 error=网页自动更新数据,不用手动刷新,如果开启了多个页面,请关闭其他页面。(请稍候,页面会自动更新) 浏览器里直接敲入地址也是提示错误,偶尔会刷出来。

    请问要通过何种方式,才能达到直接访问首页的效果
    14 条回复    1970-01-01 08:00:00 +08:00
    Keyes
        1
    Keyes  
       2013-11-14 14:01:57 +08:00
    伪造一个来自www.joyj.com的http_referer试试
    spy8888
        2
    spy8888  
    OP
       2013-11-14 14:04:04 +08:00
    header有加,还是不行。
    xunyu
        3
    xunyu  
       2013-11-14 14:05:21 +08:00
    这个t应该是个时间戳,把当前的放进去试试
    xunyu
        4
    xunyu  
       2013-11-14 14:06:52 +08:00
    把当前时间戳传进去就可以了,测试成功。。
    Keyes
        5
    Keyes  
       2013-11-14 14:14:53 +08:00
    @xunyu 。。。我没成功唉
    9hills
        6
    9hills  
       2013-11-14 14:21:13 +08:00
    这个和Python无关,显然是服务端那边设置了一些策略,防止频繁请求

    从客户端无解,只能多请求几次了

    那个t没啥意义
    txlty
        7
    txlty  
       2013-11-14 14:27:15 +08:00
    帮你测试了一下,确实是referer问题!

    spy8888
        8
    spy8888  
    OP
       2013-11-14 14:29:12 +08:00
    请问楼上的是什么神器?
    Keyes
        9
    Keyes  
       2013-11-14 14:52:19 +08:00
    与REFERER没关系,请楼主注意COOKIE

    第一次请求成功的时候,REQ会设置一个COOKIE: rtime=xxxxxxx
    15秒后再拿着这个rtime去请求就行了
    Keyes
        10
    Keyes  
       2013-11-14 14:55:12 +08:00   ❤️ 1
    哦对之后的每次请求也记得更新rtime
    spy8888
        11
    spy8888  
    OP
       2013-11-14 15:00:32 +08:00
    楼上正解,多谢了!!!
    txlty
        12
    txlty  
       2013-11-14 15:01:49 +08:00
    楼上说得对。两次请求必须间隔15秒。
    zjwzszh
        13
    zjwzszh  
       2013-11-14 16:12:04 +08:00
    楼主是打算干嘛哟
    crny520
        14
    crny520  
       2013-11-15 17:22:35 +08:00
    @txlty 用的是什么工具?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2407 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 07:33 · PVG 15:33 · LAX 00:33 · JFK 03:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.