V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jworkcool
V2EX  ›  外包

短视频爬虫需求

  •  
  •   jworkcool · 2019-07-16 14:38:18 +08:00 · 461 次点击
    这是一个创建于 1961 天前的主题,其中的信息可能已经有所发展或是发生改变。

    功能要求

    • 随机并发获取视频列表,作者 key,视频 key,视频及作者基本信息
    • 根据作者 id,短链接,长链接获取作者 key
    • 通过视频分享 url,获取视频 key 及信息
    • 作者 key,获取最新 N 条视频或全部视频
    • 作者 key,获取作者基本信息
    • 视频 key,获取视频作者 key,视频基本信息
    • 视频 key,获取视频评论列表及详情
    • 评论 key,获取子评论列表
    • 关键词,获取视频列表 N 页
    • 关键词,获取相关话题
    • #话题,获取视频列表 N 页,热度排序 OR 时间排序

    技术要求

    • 可以配置代理
    • 并发工作
    • 信息会从 redis 列表取,结果再存入 redis

    范围,一期需要采集四个 APP

    • 抖 X
    • 快 X
    • PP 虾
    • PP 搞笑

    有相关经验的同学,欢迎来信报个大概的价。

    邮箱: [email protected]

    补充

    爬取细节上,几个 APP 会有些不同,有大概价位后,如果合适,再沟通细节。 最终需要成品代码。

    way22ex
        1
    way22ex  
       2019-07-16 17:07:56 +08:00
    qq 747287453 私聊一下
    lasuar
        2
    lasuar  
       2019-07-16 21:25:02 +08:00
    不低于 1W
    way22ex
        3
    way22ex  
       2019-07-17 10:26:58 +08:00 via Android
    每个 app500 到 1000,看难易程度
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1372 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 23:41 · PVG 07:41 · LAX 15:41 · JFK 18:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.