V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
lovebeyondalways
V2EX  ›  Python

第一个 python 程序,抓取某网站表情包

  •  1
     
  •   lovebeyondalways ·
    piaokorg · 2016-06-09 13:14:42 +08:00 · 5891 次点击
    这是一个创建于 3089 天前的主题,其中的信息可能已经有所发展或是发生改变。

    python3 看了一个月了,爬虫也看了一个月,参考网上的例子自己做了个爬虫,调试中还有很多问题。
    希望 v 友们帮忙看看,有哪些不规范的地方,哪里需要改进。请指点一二。
    地址: https://github.com/piaokorg/download_qq.yh31.com_picture/blob/master/download.py

    第 1 条附言  ·  2016-06-10 12:03:11 +08:00
    根据大家建议修改了一些,我觉得这下应该看得过去了吧哈哈
    28 条回复    2016-06-11 09:58:46 +08:00
    lovebeyondalways
        1
    lovebeyondalways  
    OP
       2016-06-09 16:14:02 +08:00 via Android
    我靠 端午没人吗
    eric6356
        2
    eric6356  
       2016-06-09 16:36:44 +08:00   ❤️ 1
    1. page -= x 这一行似乎有错误吧,没太看懂;
    2. 你使用了 with open 的话,一般不需要手动 f.close() 了。
    icedx
        3
    icedx  
       2016-06-09 17:00:21 +08:00 via Android
    一个月就这水平 看起来没救了
    binux
        4
    binux  
       2016-06-09 17:06:54 +08:00   ❤️ 1
    你 try..except 之后 print('pages no found'),也不返回个空数组,后面 img_addrs 不一样要错,连错误原因都不知道,还不如直接抛异常呢。
    gkiwi
        5
    gkiwi  
       2016-06-09 17:14:40 +08:00   ❤️ 1
    一点建议:函数返回一致性(瞎编的。。);

    find_img 这个函数在 try_catch 时候, catch 之后,最好返回一个空数组 `return []`,默认返回 None ,会触发 download 中的异常,也是完全没有必要的。返回同一种类型,否则容易造成困惑。。
    gkiwi
        6
    gkiwi  
       2016-06-09 17:15:36 +08:00
    @gkiwi 删掉,参考 binux 就好。。回复慢了。。
    bdbai
        7
    bdbai  
       2016-06-09 17:19:35 +08:00 via Android
    @icedx 大神给点建议呗
    winterbells
        8
    winterbells  
       2016-06-09 17:43:32 +08:00
    第一个 python 程序不应该是 hello world! 吗乁(๑˙ω˙๑乁)
    mystryl
        9
    mystryl  
       2016-06-09 19:15:26 +08:00 via Android   ❤️ 1
    ccfinfo.leanote.com
    不才一个月的爬虫产品 完全实用主义投产的。。抓行业网站写报告用 代码就不放了 非科班 能用就行。
    bingxx
        10
    bingxx  
       2016-06-09 19:24:05 +08:00 via iPhone   ❤️ 1
    代码 os.mkdir 路径不应该写死吧
    GhostEX
        11
    GhostEX  
       2016-06-09 20:26:00 +08:00
    @mystryl 好厉害,求 git 链接,我最近也在做类似的,不过抓去的是什么值得买的商品。。。
    lovebeyondalways
        12
    lovebeyondalways  
    OP
       2016-06-09 20:36:50 +08:00 via Android
    @icedx 我靠不是吧 我之前没有编程基础
    lovebeyondalways
        13
    lovebeyondalways  
    OP
       2016-06-09 20:56:17 +08:00 via Android
    吸取楼上所有建议
    goodan
        14
    goodan  
       2016-06-09 21:07:39 +08:00
    @icedx 同求大神建议
    lovebeyondalways
        15
    lovebeyondalways  
    OP
       2016-06-09 21:29:01 +08:00 via Android
    @eric6356 我是想递减的 请问怎么做
    eoo
        16
    eoo  
       2016-06-09 23:46:49 +08:00 via Android
    爬虫一个月 速度确实“快”
    ila
        17
    ila  
       2016-06-10 00:15:46 +08:00 via Android
    无任何基础一个月写出爬虫,前面开嘲讽光环的有意思吗?
    不如提点你们的经验吧。

    如果不用 scrapy 等框架,
    建议 requests+bs4 。
    简单快捷。
    然后打怪升级,
    爬一个感兴趣的项目和大众化的项目,
    例如汤不热的图片和电商的商品价格。
    汤不热现在需要翻墙。
    hellogbk
        18
    hellogbk  
       2016-06-10 00:15:57 +08:00   ❤️ 2
    估计楼上那些讽刺楼主的都是刚出娘胎就会编程从来没有过新手期的牛人
    :)
    楼主加油。
    upczww
        19
    upczww  
       2016-06-10 00:24:45 +08:00 via Smartisan T1
    楼主加油,谁都有菜的时候
    Lneayce
        20
    Lneayce  
       2016-06-10 00:32:19 +08:00
    对没有接触过多少的, 又没人带, 自己搜集资料入门看书看基础什么的, 不管时间多久, 第一次在不熟悉的领域做出东西来的应该还是多点意见和意见吧, 喷真的没意义,
    建议楼主同时还可以打打基础, 思想是通用的, 这样以后换个语言环境什么的上手就会快点的,
    lovebeyondalways
        21
    lovebeyondalways  
    OP
       2016-06-10 00:53:39 +08:00 via Android
    @eoo @ila @hellogbk @upczww @Lneayce 谢谢大家的鼓励和建议哈哈,编程真的很有趣,特别是可以用来做有意思的事,上下而求索吧
    msg7086
        22
    msg7086  
       2016-06-10 01:37:50 +08:00
    零基础一个月能写出来挺好了。
    不过还是建议循序渐进一点点来,多积累一些打代码的经验,这样开发大项目的时候会顺手很多。
    eoo
        23
    eoo  
       2016-06-10 07:14:57 +08:00 via Android
    @hellogbk 我只是觉得挺惊讶 ,楼猪学爬虫都能用一个月 ,换做是我 我绝对做不到。
    coolloves
        24
    coolloves  
       2016-06-10 09:11:59 +08:00
    和楼主情况差不多.
    自己写了脚本抓取天气预报,天气预警,监控雪球,抓取什么值得买,然后入库.

    还没有用到多线程,scrapy,其实自学这种东西能坚持下去就是胜利.与所有自学人共勉.
    eric6356
        25
    eric6356  
       2016-06-10 09:44:48 +08:00
    @lovebeyondalways range(page, 0, -1)
    RqPS6rhmP3Nyn3Tm
        26
    RqPS6rhmP3Nyn3Tm  
       2016-06-10 13:36:50 +08:00 via Android
    比我的第一个爬虫好
    lane3000
        27
    lane3000  
       2016-06-11 09:20:26 +08:00
    楼主加油,比我第一个写到爬虫要好不少了~
    sola97
        28
    sola97  
       2016-06-11 09:58:46 +08:00
    我第一个爬虫是爬教务系统..
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2834 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 07:23 · PVG 15:23 · LAX 23:23 · JFK 02:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.