V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
dogechai
V2EX  ›  Python

Opensea 的数据如何爬(NFT 交易平台)

  •  
  •   dogechai · 2023-11-17 18:09:28 +08:00 · 883 次点击
    这是一个创建于 390 天前的主题,其中的信息可能已经有所发展或是发生改变。
    Opensea 的数据如何爬?感觉他们反爬的机制做的也比较好,不知道自己怎么样才能爬取这个数据比较方便,api 感觉也乱七八糟的看不懂,想要一些实时的价格和图片,来做一些 research 。

    求大佬指点,也不怎么会爬虫。
    7 条回复    2023-11-22 04:20:21 +08:00
    LYerma
        1
    LYerma  
       2023-11-17 18:14:04 +08:00 via Android
    研究一下 okx 的平台
    dayeye2006199
        2
    dayeye2006199  
       2023-11-18 12:20:28 +08:00
    有 API 为什么需要爬虫
    dogechai
        3
    dogechai  
    OP
       2023-11-18 21:30:03 +08:00
    @dayeye2006199 #2 1.api 不会用,感觉乱七八糟的 2.api 感觉有很多东西不是我想要的数据,他没有详细的说明
    dogechai
        4
    dogechai  
    OP
       2023-11-18 21:30:42 +08:00
    @LYerma #1 感谢,请问是直接在 okx 上面爬会更方便吗
    dogechai
        5
    dogechai  
    OP
       2023-11-19 10:39:15 +08:00
    @dayeye2006199 #2 看了一下,api 貌似挺全的,他貌似分为 stream api 和 api 。是不是普通的 api 爬的很慢呀?或者有数据量计的限制?
    dogechai
        6
    dogechai  
    OP
       2023-11-21 18:27:10 +08:00
    @dayeye2006199 #2 老哥,我 api 可以了,但是总是出现爬取速率太快,或者达到他的最大爬取限制,就 Max retries exceeded with url 了。请问是否有解决方案呢?
    dayeye2006199
        7
    dayeye2006199  
       2023-11-22 04:20:21 +08:00 via Android
    @dogechai 你自己套个 rate limiter 啊,或者 time.sleep
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5492 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 01:52 · PVG 09:52 · LAX 17:52 · JFK 20:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.