V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jingyulong
V2EX  ›  程序员

想从一些接口获取数据,显示在 GitHub 上,自动或者手动都行,有没有什么好的方案?

  •  
  •   jingyulong · 2018-12-14 19:31:39 +08:00 via iPhone · 1994 次点击
    这是一个创建于 1951 天前的主题,其中的信息可能已经有所发展或是发生改变。
    • 需要数据存储吗?
      - 或者直接把处理好的数据算出来直接显示在页面上?
      - 有什么轻量级的技术适合做这个?(实现尽可能简单)
    16 条回复    2018-12-15 11:25:06 +08:00
    no1xsyzy
        1
    no1xsyzy  
       2018-12-14 21:33:00 +08:00
    > 显示在 GitHub 上
    请解释
    jingyulong
        2
    jingyulong  
    OP
       2018-12-14 21:42:01 +08:00 via iPhone
    @no1xsyzy 用 HTML,或者 Markdown 文件,显示在自己的代码仓库里呀
    XSugar
        3
    XSugar  
       2018-12-14 21:58:36 +08:00 via iPhone
    gitpage+ajax ?
    jingyulong
        4
    jingyulong  
    OP
       2018-12-14 22:14:31 +08:00
    @XSugar #3 好像有道理😂还想找找看自动化的解决方案
    no1xsyzy
        5
    no1xsyzy  
       2018-12-14 22:28:41 +08:00
    @jingyulong 显示在比如 https://github.com/someone/arepo 这个界面下?那就只有用 user script 了。
    no1xsyzy
        6
    no1xsyzy  
       2018-12-14 22:30:42 +08:00
    @jingyulong #4 你要多自动化?连获取数据的接口 spec 都不指明自动猜测 API 形状爬内容?
    解决这个可以直接得图灵奖了……
    likuku
        7
    likuku  
       2018-12-14 22:33:12 +08:00
    gitpages, clone 到数据处理机本地,数据处理机器上把结果更新到项目 clone 里(正确完成,新数据也都正常),
    把更新 本地提交一个版本,完毕后,push 到 gitpages 去。

    定时用脚本来全自动完成没啥难度 (给 gitpages 搭配单独弄个无 passphrase 的 密钥对)
    jingyulong
        8
    jingyulong  
    OP
       2018-12-14 22:37:55 +08:00
    @no1xsyzy #6 不暴露 API 接口和算法逻辑,持续集成一类的
    jingyulong
        9
    jingyulong  
    OP
       2018-12-14 22:40:32 +08:00
    @likuku #7 大神回帖好勤奋呀👍🏻定时脚本和数据处理如果是你,你会用什么技术简单处理?
    no1xsyzy
        10
    no1xsyzy  
       2018-12-14 22:52:54 +08:00
    @jingyulong #8 就是用 Github Pages 看新闻?
    #9 定时脚本基本就 cron 吧,真会有人去用 systemd 的定时启动吗?
    数据处理,按 v2 的惯常,爬虫一定是 Python。
    chwhsen
        11
    chwhsen  
       2018-12-14 23:02:52 +08:00
    我每天把 ed2000 更新的电影链接爬下来,写成 Maekdown,然后再推到 gitpage 上
    Tink
        12
    Tink  
       2018-12-14 23:07:22 +08:00 via iPhone
    这个用 python 组合一下应该很容易吧,先从接口取数据再 push 到 pages 上
    likuku
        13
    likuku  
       2018-12-14 23:55:42 +08:00
    @jingyulong bash 就够了,需要用到 if, for 的话,py 就行了呗
    zouchtssn
        14
    zouchtssn  
       2018-12-15 00:42:43 +08:00
    travis ci + gitpage? 🤔
    jingyulong
        15
    jingyulong  
    OP
       2018-12-15 11:24:29 +08:00
    @no1xsyzy #10 感觉这一类用爬虫的比较多
    @chwhsen #11 你的博客看的我心潮澎湃,好多小姐姐
    @Tink #12 python 还不会,有时间学学
    @zouchtssn #14 有想过,还有 Jenkins,有空我再研究下
    jingyulong
        16
    jingyulong  
    OP
       2018-12-15 11:25:06 +08:00
    @likuku #13 明白啦,我试试看
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3422 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 11:15 · PVG 19:15 · LAX 04:15 · JFK 07:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.