V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
pureGirl
V2EX  ›  程序员

现在大型的爬虫项目用的是什么框架, scrapy 过时了吗

  •  
  •   pureGirl · 14 小时 53 分钟前 · 1363 次点击
    5 条回复    2025-11-26 02:30:45 +08:00
    bwnjnOEI
        1
    bwnjnOEI  
       14 小时 39 分钟前 via iPhone
    面对动态页面和抗反爬稍微复杂点的就不行了吧
    简单的网站依然可以用啊
    donaldturinglee
        2
    donaldturinglee  
       13 小时 14 分钟前
    scrapy 一直就不是单着用的吧?没过时,但是你可以学一下 playwright
    sgld
        3
    sgld  
       10 小时 41 分钟前
    试试 DrissionPage ?
    zonde306
        4
    zonde306  
       10 小时 28 分钟前
    简单就 scrapy ,复杂就不用框架,直接操作浏览器

    例如
    camoufox
    patchwright
    azzzzzz
        5
    azzzzzz  
       7 小时 41 分钟前
    未来还是直接模拟浏览器的吧
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   5811 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 18ms · UTC 02:11 · PVG 10:11 · LAX 18:11 · JFK 21:11
    ♥ Do have faith in what you're doing.