V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
hailong0707
V2EX  ›  分享创造

新闻联播,各类新闻财经网站以及发改委网站爬虫

  •  
  •   hailong0707 · 2015-09-04 09:54:22 +08:00 · 8020 次点击
    这是一个创建于 3375 天前的主题,其中的信息可能已经有所发展或是发生改变。

    开发环境

    • Python 2.7
    • Mysql
    • Scrapy 0.24 (当前 Scrapy 已经有官方 1.0 版本,可以正常运行,会有 warning )
    • BeautifulSoup 4.x

    爬虫

    免责

    提供工具的参考学习,数据的用途等其他相关风险,自负。

    12 条回复    2015-09-06 17:30:21 +08:00
    yuprince
        1
    yuprince  
       2015-09-04 10:58:44 +08:00
    这工具写的挺好玩。
    Moker
        2
    Moker  
       2015-09-04 11:17:36 +08:00
    最近在爬微信。。。
    greatdk
        3
    greatdk  
       2015-09-04 14:04:07 +08:00
    @Moker 微信怎么爬?
    pangtianyu
        4
    pangtianyu  
       2015-09-04 14:33:19 +08:00
    好多人都是爬妹子 终于有个不一样的
    ljbha007
        5
    ljbha007  
       2015-09-04 14:37:46 +08:00
    做数据分析? 机器学习 然后炒股?
    regent
        6
    regent  
       2015-09-04 15:46:25 +08:00
    做新闻研究的可以用哦
    Moker
        7
    Moker  
       2015-09-04 20:25:39 +08:00
    @greatdk 不是微信,是微信公众号。。通过搜狗来爬
    hailong0707
        8
    hailong0707  
    OP
       2015-09-04 22:13:12 +08:00
    @pangtianyu 我也想爬妹子,做成 RESTful API ,写 Android 客户端 :)
    hailong0707
        9
    hailong0707  
    OP
       2015-09-04 22:15:09 +08:00
    @ljbha007 确实是数据分析,通过历年的新闻数据,结合实际,总结相关新闻预测的准确性
    ariestiger
        10
    ariestiger  
       2015-09-05 23:45:09 +08:00
    有点意思, 最近也在抓上市公司的专利数据和司法裁判数据。
    JQ
        11
    JQ  
       2015-09-06 09:02:31 +08:00
    .pyc 文件就不要上传了吧
    lj2546855
        12
    lj2546855  
       2015-09-06 17:30:21 +08:00 via Android
    还得加点东西,比如说全球股市,PMI,CPI,公司财务报表,纳斯达克,证监会公告,隔夜拆借利率,汇率,克强指数,日经,恒生,黄金期货价格,成交量,算上天气、节日等影响因素,可以做出一个股票预测软件 o
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2909 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 03:34 · PVG 11:34 · LAX 19:34 · JFK 22:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.