V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
shrugginG
V2EX  ›  程序员

有什么可以获取到大量 ipfs.io 地址的方法

  •  
  •   shrugginG · 6 天前 · 214 次点击

    当前在做的课题研究设计到了 ipfs ,我现在需要获取大量的 ipfs 地址,最主要的就是获取 ipfs.io 服务的 CID ,例如

    https://ipfs.io/ipfs/bafybeigddnp66y6qbn2ut3uvnlpxqtt5qmi3pcaiwrfhcxfd3ng7a3gese/
    

    说白了就是需要大量有效的那一串 CID ,那些一个 CID 下面带有大量路径的页面(比如 Wikipedia )不是我想要的,最好对应的资源是 html ,现在已经尝试的方法包括:

    1. CommonCrawl (包含 dweb.link 的 URL ,但是 ipfs.io 很少)
    2. Fofa (搜不到)
    3. URLSCAN (虽然有不少,但是都是恶意网站,我现在需要的是良性数据集)
    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   951 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 21:13 · PVG 05:13 · LAX 13:13 · JFK 16:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.