V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
ooleslie
V2EX  ›  Python

有木有人有空帮忙看看视频中的方法是否过时了

  •  
  •   ooleslie · 2019-01-15 23:15:00 +08:00 · 2217 次点击
    这是一个创建于 2144 天前的主题,其中的信息可能已经有所发展或是发生改变。
    有朋友可以帮忙看看视频中提供的方法是否已经过时了?
    &list=PLohb4k71XnPaQRTvKW4Uii1oq-JPGpwWF&index=6&t=0s
    我试过淘宝和京东,不知道为什么在选框那边就已经不行了,试过 print(soup.select('关键字'),输出列表是空表

    是这个内容过时了么?

    哦 我的代码是;
    import requests
    from bs4 import BeautifulSoup


    res = requests.get('https://search.jd.com/Search?keyword=%E6%B4%97%E8%A1%A3%E6%9C%BA&enc=utf-8&suggest=1.rem.0.0&wq=xi%20yi%20ji&pvid=34bc86afd26c4a3b9e57baca91c3e217')
    soup = BeautifulSoup(res.text,'lxml')
    for item in soup.select('.gl-i-wrap'):
    print(item.select('i')[0].text)
    第 1 条附言  ·  2019-01-16 01:06:56 +08:00
    唉,难受,自己看文档了。
    7 条回复    2019-01-16 21:30:15 +08:00
    Sylv
        1
    Sylv  
       2019-01-16 00:29:52 +08:00 via iPhone
    2015 年的视频,到现在淘宝都改版无数次了,所以肯定失效了。
    ooleslie
        2
    ooleslie  
    OP
       2019-01-16 00:36:29 +08:00 via Android
    @Sylv 不是啦 我没有抄他的全部,这个关键字这些是我自己解析的。。。只是不知道为什么拉不出来内容,我试着用 print,打印出来是空表。

    因为他教的这个方法真的很简单,所以,想知道是不是我哪里做错了。还想沿着他的继续练习
    lxml
        3
    lxml  
       2019-01-16 00:59:21 +08:00 via Android
    谷歌出的 putt.....是最适合搞这种的,python 现在感觉玩不过 js 了
    ooleslie
        4
    ooleslie  
    OP
       2019-01-16 01:06:25 +08:00 via Android
    @lxml 一直没玩过吧。。python 只是工具包多,只要打数据路线
    fan2006
        5
    fan2006  
       2019-01-16 07:02:10 +08:00
    设置下 headers 参数就出来了。
    ooleslie
        6
    ooleslie  
    OP
       2019-01-16 21:26:07 +08:00
    @fan2006 嗯,我试一下,但是问题是,我也 print 过前面网页,是可以输出原来网页的 html 文档,如果是 header,难道不会直接报错么?没什么经验,请教下~
    另外,我在晚上看了下,有人专门说了,是因为爬取的时候看到的网页是经过 js 渲染,所以会导致选取的标签不可用,但是,他这种说法好像也不对吧,我用的是开发者工具查看的。。这个应该不是渲染后的呀。。
    ooleslie
        7
    ooleslie  
    OP
       2019-01-16 21:30:15 +08:00
    @fan2006 还真的设置一下就可以 run 出来。。。那这种出现也不报错。。。要怎么知道是哪个出问题。。。一个个试来看对方的反爬么?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1217 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 23:10 · PVG 07:10 · LAX 15:10 · JFK 18:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.