V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
songdezu
V2EX  ›  程序员

请问 NodeJS 有没有流行的爬虫框架?

  •  
  •   songdezu · 2017-09-27 21:48:54 +08:00 · 6030 次点击
    这是一个创建于 2620 天前的主题,其中的信息可能已经有所发展或是发生改变。
    多谢多谢,就是简单监视公司内部一个页面的变动 然后趴下来网页 parse 一下发个邮件通知
    3 条回复    2019-01-09 23:32:59 +08:00
    murmur
        1
    murmur  
       2017-09-27 22:50:40 +08:00
    防篡改系统?这东西直接后端在服务器上做不更好么
    mosliu
        2
    mosliu  
       2017-09-28 08:30:01 +08:00
    cron 定时
    request.get 扒网页
    cheerio 分析
    MD5 存储特征码。。 或者懒得话页面不大 直接比较源码=.=!


    感觉也就 20 分钟的事。。
    oneWalker12
        3
    oneWalker12  
       2019-01-09 23:32:59 +08:00
    Puppeteer
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2637 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 10:52 · PVG 18:52 · LAX 02:52 · JFK 05:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.