V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
xiaocsl
V2EX  ›  云计算

美团云你变了,准备在美团云放爬虫的注意有个大深坑.

  •  
  •   xiaocsl · 2016-05-28 09:59:12 +08:00 · 7380 次点击
    这是一个创建于 3101 天前的主题,其中的信息可能已经有所发展或是发生改变。
    前几天美团云有活动,买了台服务器,5Mbps 的带宽.跑爬虫服务器下行死活卡在 10Mbps,而上行才用了 3Mbps 出头.
    下行被限制的就 10Mbps,一旦跑着爬虫 xshell 都变成卡死状态.

    去年的时候用过一个月的美团云,记得那时候下行都是 20Mbps+的口.

    在阿里云买的 4Mbps 的带宽,实际上跑爬虫 下行 15Mbps 左右上行 4.5Mbps,效率是被行卡住的.
    腾讯云同阿里云爬虫效率的瓶颈都是上行.在美团云这被下行卡住真是心塞.

    发工单问了,结论就是:"接收速率我们限制的是 10M"

    所以如果要准备在美团云放爬虫或者其他比较吃下行的程序时要特别注意了..
    14 条回复    2016-08-03 21:14:25 +08:00
    xiaoz
        1
    xiaoz  
       2016-05-28 10:07:37 +08:00 via iPhone
    估计爬虫这东西要多台服务器才行
    Marfal
        2
    Marfal  
       2016-05-28 10:15:44 +08:00 via iPhone
    美团云本来下行就低
    feiyunfirst
        3
    feiyunfirst  
       2016-05-28 10:46:22 +08:00
    垃圾的很 美团云!我用了他们一年多,突然有一天把 80 端口给封了说网站没备案,还晚上封的,根本联系不到人解封,可我的网站明明备案是好的。垃圾垃圾
    evanvane
        4
    evanvane  
       2016-05-28 10:49:20 +08:00 via Android
    这些国内的云带宽都是独享的吗?可以一直跑满?
    greatghoul
        5
    greatghoul  
       2016-05-28 10:52:07 +08:00 via iPhone
    什么时候出赶集云,饿了云, yy 云什么的,觉得可以尝试用一下。
    nlzy
        6
    nlzy  
       2016-05-28 11:04:06 +08:00 via Android
    以前更惨, 1M 的带宽只有 1M 下行 😂
    Patrick95
        7
    Patrick95  
       2016-05-28 11:07:38 +08:00
    @feiyunfirst 是在美团云备的吗,估计接入商变了要重新备。
    mimzy
        8
    mimzy  
       2016-05-28 11:13:58 +08:00 via Android
    firefox12
        9
    firefox12  
       2016-05-28 11:14:16 +08:00 via iPhone
    我觉得没什么 买带宽 5M 然后给你 10M 下行 你还想怎么的?
    lslqtz
        10
    lslqtz  
       2016-05-28 11:47:11 +08:00
    @firefox12  但是 同比其他的云,我有什么理由不用更高带宽的其他云用美团云?就是这样。
    fcicq
        11
    fcicq  
       2016-05-28 11:58:30 +08:00   ❤️ 1
    知道了. 不过卡死是因为楼主没做 QoS. 爬虫的推荐做法是抓取开最便宜的 instance 然后借用内网云存储中转. 再用大实例去跑索引.
    blackboom
        12
    blackboom  
       2016-05-28 14:09:57 +08:00
    腾讯云怎么样?都是好贵啊,跑一个小站流量不大
    MOS
        13
    MOS  
       2016-05-30 10:50:41 +08:00   ❤️ 1
    @xiaocsl 您好,浮动 IP 带宽配置为 1 到 10Mbps 时,入向带宽为 10Mbps ;配置大于 10Mbps 时,入向带宽与配置一致。出向带宽始终与配置一致。 也就是说,带宽选择 1Mbps ,入向带宽也会赠送至 10Mbps 。如果有其他问题请随时与我们客服沟通,谢谢。
    guozixi
        14
    guozixi  
       2016-08-03 21:14:25 +08:00 via Android
    需要大带宽就改成按流量计费
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2882 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 02:56 · PVG 10:56 · LAX 18:56 · JFK 21:56
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.