V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
livc
V2EX  ›  程序员

爬虫某网站最近禁止了国外 IP,想请问下有什么好的办法

  •  
  •   livc ·
    livc · 2020-08-10 10:49:46 +08:00 · 7037 次点击
    这是一个创建于 1567 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我在 vultr 上有个 VPS 专门爬虫一个网站保存成文件,然后提供 web 访问服务。最近发现这个网站的一个接口把境外 IP 都 ban 了,使用国内 IP 访问就没问题。

    目前我的思路是:买一个国内的服务器,专门用来爬虫,爬完保存下来的文件 scp 到 vultr 服务器上。

    这样就是增加了国内服务器的成本,国内服务器又比较贵,不知道大佬有没有更好的解决方案?

    或者买个树莓派?

    40 条回复    2020-09-21 17:00:46 +08:00
    biu7
        1
    biu7  
       2020-08-10 10:51:09 +08:00
    买点代理不行么
    CriseLYJ
        2
    CriseLYJ  
       2020-08-10 11:13:13 +08:00
    楼上正解
    hugee
        3
    hugee  
       2020-08-10 11:15:12 +08:00
    原来就是你小子在爬我的站
    livc
        4
    livc  
    OP
       2020-08-10 11:17:49 +08:00
    @biu7 #1 代理好像更贵吧?有推荐的站吗
    lxk11153
        5
    lxk11153  
       2020-08-10 11:21:33 +08:00
    原来就是你小子在爬我的站
    biu7
        6
    biu7  
       2020-08-10 11:23:21 +08:00
    @livc #4 国内代理一般两类,一种直接卖给你短时( 3-5min )有效的 ip,比如几块钱 1000 个之类的,一种是直接转发你的请求,按请求数算钱。可以看下讯代理、阿布云之类的(非广告)
    em70
        7
    em70  
       2020-08-10 11:25:35 +08:00
    告诉你一个诀窍啊,阿里云有一种抢占式 ECS,才几毛钱一个小时,因为有百分之几的几率会被释放,不适合做长期服务,却是爬虫的天然选择,随用随买,不用就释放
    livc
        8
    livc  
    OP
       2020-08-10 11:27:37 +08:00
    @biu7 #6 明白了,谢谢
    livc
        9
    livc  
    OP
       2020-08-10 11:28:14 +08:00
    @em70 #7 我这个是需要每天爬的,得长期用呢
    em70
        10
    em70  
       2020-08-10 11:30:05 +08:00
    刚帮你看了下,乌兰察布机房最便宜,才 8 分钱一个小时,北京 1 毛 3
    em70
        11
    em70  
       2020-08-10 11:30:43 +08:00
    @livc 才 3%的释放几率,多买几台
    linuxvalue
        12
    linuxvalue  
       2020-08-10 11:32:21 +08:00
    代理 ip
    heiheidewo
        13
    heiheidewo  
       2020-08-10 11:32:22 +08:00
    原来就是你小子在爬我的站
    Soar360
        14
    Soar360  
       2020-08-10 11:39:33 +08:00
    原来就是你小子在爬我的站
    nightwitch
        15
    nightwitch  
       2020-08-10 11:39:43 +08:00
    #7 楼的方案不是挺好的。
    每天定时开个阿里云竞价实例,然后爬完释放就可以了
    可以参考以下的
    https://github.com/rockswang/alispot
    murmur
        16
    murmur  
       2020-08-10 11:43:07 +08:00
    你现在买了境内机房,下次他把各大云的 ip 也禁了
    121121121
        17
    121121121  
       2020-08-10 11:54:29 +08:00
    代理服务器
    ipoh
        18
    ipoh  
       2020-08-10 12:20:38 +08:00
    你需要淘宝"ADSL VPS" 每几分钟自动重播一次
    封 ip 也不怕
    natsji
        19
    natsji  
       2020-08-10 13:02:29 +08:00 via Android
    你用辣鸡阿里清凉云的香港或者新加坡服务器,IP 地址会被很多 ip 库识别成大陆的。
    locoz
        20
    locoz  
       2020-08-10 13:25:49 +08:00 via Android
    你就不能直接买代理或者在爬的时候开点国内云服务器做代理服务器吗…
    wangyzj
        21
    wangyzj  
       2020-08-10 13:29:33 +08:00
    我之前的做法是去淘宝上买一个可以随意换 IP 的机器
    pagxir
        22
    pagxir  
       2020-08-10 13:58:40 +08:00 via Android
    可以用阿里云或者其他云的函数计算的,支持 web 请求,选择国内的节点即可
    newee
        23
    newee  
       2020-08-10 14:09:35 +08:00 via iPhone
    哪里的海外 ip 比较便宜靠谱,最近抓一个海外站点,访问几百次就会被禁。有啥供应商比较实惠的
    BillowSky
        24
    BillowSky  
       2020-08-10 14:16:53 +08:00 via iPhone
    人家禁你可能你对人家造成了干扰,要不然也不会费力气禁你。
    abersheeran
        25
    abersheeran  
       2020-08-10 14:21:06 +08:00
    原来就是你小子在搞事情。
    sunziren
        26
    sunziren  
       2020-08-10 14:33:26 +08:00
    原来就是你小子在爬我的站
    suuuch
        27
    suuuch  
       2020-08-10 14:34:31 +08:00 via iPhone
    这个感觉像是你的爬虫对别人照成影响了,换 IP 之后应该会升级反爬,
    wunonglin
        28
    wunonglin  
       2020-08-10 14:37:41 +08:00
    原来就是你小子在爬我的站
    jones2000
        29
    jones2000  
       2020-08-10 16:45:00 +08:00
    直接买云抓取的服务不就可以了。 还自己爬多麻烦。
    adoula
        30
    adoula  
       2020-08-10 17:59:40 +08:00
    一般不是国外服务器比较贵吗
    smplesugar
        31
    smplesugar  
       2020-08-10 18:58:47 +08:00
    原来就是你小子在爬我的站
    zhiiker
        32
    zhiiker  
       2020-08-10 19:37:12 +08:00
    用爬虫 IP 代理池服务
    https://www.abuyun.com/
    https://www.zdaye.com/ShortProxy.html
    量大的化,平均下很便宜
    unclemcz
        33
    unclemcz  
       2020-08-10 20:14:19 +08:00
    淘宝买个玩客云,50 包邮,刷成 armbian 然后跑爬虫,功耗 6-10 瓦吧。
    不多说了,再说又止不住手打开淘宝买一个了。
    g079708
        34
    g079708  
       2020-08-10 21:35:26 +08:00 via iPhone
    可以试试这个,独享拨号代理 IP 池;
    http://www.kuainiaoip.com/store/exclusive-adsl.html
    h4de5
        35
    h4de5  
       2020-08-10 22:27:01 +08:00
    github 上面大把的免费的国内的机器。你不拿来用。很多大佬都拿来挖矿了。
    ClericPy
        36
    ClericPy  
       2020-08-10 23:45:57 +08:00
    这么在乎价格成本的话... 白瓢免费代理吧, 选普匿和高匿的, 然后走生产者消费者模式, 慢慢抓慢慢跑
    HYisen
        37
    HYisen  
       2020-08-11 15:38:43 +08:00
    买个树莓派吧,蹭家用网络是真的便宜。
    woodnaonly
        38
    woodnaonly  
       2020-09-21 15:08:52 +08:00
    @h4de5 关键字是什么
    woodnaonly
        39
    woodnaonly  
       2020-09-21 15:10:05 +08:00
    @wangyzj 老哥来个关键字
    wangyzj
        40
    wangyzj  
       2020-09-21 17:00:46 +08:00
    @woodnaonly #39 vps
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2636 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 15:26 · PVG 23:26 · LAX 07:26 · JFK 10:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.