V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Oane
V2EX  ›  Python

天猫爬虫封禁 一个都不给我

  •  
  •   Oane · 2019-03-04 15:07:02 +08:00 · 4422 次点击
    这是一个创建于 1851 天前的主题,其中的信息可能已经有所发展或是发生改变。

    爬取天猫评论,连第一个都没爬完就封了 想问延长休息时间有用吗? 代理池没有试过不知道有没有效果

    10 条回复    2019-03-07 09:53:13 +08:00
    lhx2008
        1
    lhx2008  
       2019-03-04 15:09:57 +08:00 via Android
    先把浏览器特征做好吧,可以爬几页,然后是代理池,哪有这么容易。
    www5070504
        2
    www5070504  
       2019-03-04 15:51:58 +08:00
    代理池都不上的。。。
    shapl
        3
    shapl  
       2019-03-04 15:54:52 +08:00
    用浏览器插件的形式,让用户浏览器去爬。。
    当你的插件用户足够多,就行了。。
    fomeiherz
        4
    fomeiherz  
       2019-03-04 18:13:57 +08:00 via iPhone
    @shapl 具体怎么实现
    shapl
        5
    shapl  
       2019-03-04 18:26:25 +08:00
    @fomeiherz #4 chrome 插件吖。在用户浏览器后台运行就行了。
    lusi1990
        6
    lusi1990  
       2019-03-05 09:00:49 +08:00 via Android
    阿里反爬做的很好了,没个两个天搞不完,代理肯定要上,多个用户。httpbin.org 看看自己的请求和浏览器 差多少
    Johnson66
        7
    Johnson66  
       2019-03-05 14:16:17 +08:00
    评论是需要登陆 有 cookie 才能拿到的
    Johnson66
        8
    Johnson66  
       2019-03-05 14:17:32 +08:00
    延长时间有用~~
    ranlele
        9
    ranlele  
       2019-03-06 11:57:13 +08:00
    @lhx2008 浏览器特征 最主要做什么方面啊。
    cruithne
        10
    cruithne  
       2019-03-07 09:53:13 +08:00
    带着 cookie 进行请求吧,阿里系的都不好爬
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1037 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 22:23 · PVG 06:23 · LAX 15:23 · JFK 18:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.