爱意满满的作品展示区。
Plumbiu

心血来潮写了一个推特图片、视频爬虫工具

  •  
  •   Plumbiu ·
    Plumbiu · Jan 2, 2024 · 3548 views
    This topic created in 865 days ago, the information mentioned may be changed or developed.

    用的是 nodejs 写的,主要还是对 python 不太熟悉。

    大致原理就是使用 puppeteer 模拟浏览器的行为,监听网络请求和响应等。

    目前的做法可能不是最佳实践,因为网络环境不好的时候会出现遗漏情况,而且速度方面可能欠佳(模拟滚动页面的时间比较长)。

    项目的地址:

    https://github.com/Plumbiu/twid

    Supplement 1  ·  Jan 3, 2024
    看了 issue 才发现写的有问题,以后还是得先修完 BUG
    3 replies    2025-07-10 14:30:28 +08:00
    viosey
        1
    viosey  
       Jan 3, 2024 via iPhone
    Twitter 现在的 API 貌似是需要收费非?
    Plumbiu
        2
    Plumbiu  
    OP
       Jan 3, 2024
    @viosey 免费的限制比较多,付费的至少每个月 100 刀乐
    kmz1
        3
    kmz1  
       Jul 10, 2025
    楼主,请问一年后的现在还能用吗?我想爬取推特博主的所有原创非转载 media
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1734 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 16:17 · PVG 00:17 · LAX 09:17 · JFK 12:17
    ♥ Do have faith in what you're doing.