V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dragonQueen
V2EX  ›  服务器

用阿里云偶尔传输大量文件,用什么方式好?

  •  
  •   dragonQueen · 2022-02-13 17:44:57 +08:00 · 2603 次点击
    这是一个创建于 1043 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在外地的传感器会收集一些数据,单个文件不大,200KB~300KB ,但是合作方喜欢一次性收集很多给我们,5GB 左右,各个合作方加起来一个月传输的数据 50GB 左右。老板批的流量费用是 1000 一个月。

    我最开始是直接在阿里云买了个 ECS ,挂个大硬盘,包年包月开了 5Mbps 用于临时下载急需处理的小文件,真正要下载大量文件的时候,带宽临时升级到最高的 200Mbps 。之前这个数据是我一个人用,现在是三四个人需要,他们每次要下载的时候都得来找我临时加一下带宽,我感觉有点麻烦,要是人再多呢?所以我想着用其他方式,先改成了按量付费,发现这个速度实在是感人,文档说峰值 100Mbps ,实际基本是 1MB 多一点,不过文档还是诚实,说了峰值不作为承诺指标。

    后来在 v2 看到有人说 oss 速度不错,官方文档里也说限速是 10Gbps ,不像 ECS 最高也只有 200Mbps 。然后我就建了个 Bucket 试了下,发现上传速度很慢,最高只有 2MB/s ,这要上传 5GB 的数据得要好久了,下载我就没有试了,估计差不多或者更慢,这个上传速度都已经无法接受了。我怀疑上传速度慢可能和文件名字有关系,因为自动生成的文件名都是规则的,带有日期前缀,我看文档里面说这个不太好,不知道是不是会对速度产生这么大影响,是的话也只能忍着了,来回改名字有点烦。

    目前看来,只有 ECS 临时提速能够比较好地满足速度需求了。大家知道其他什么方式吗?

    18 条回复    2022-02-14 20:20:34 +08:00
    imldy
        1
    imldy  
       2022-02-13 18:03:05 +08:00
    >然后我就建了个 Bucket 试了下,发现上传速度很慢,最高只有 2MB/s ,这要上传 5GB 的数据得要好久了,下载我就没有试了,估计差不多或者更慢,这个上传速度都已经无法接受了。

    本地网络上传速度多少,怀疑是本地网络上传速度限制了。上下行对等?

    另外你这个需求应该不只是传输,也要存储吧,不考虑网速问题,用 oss+cdn 应该正合适。
    eason1874
        2
    eason1874  
       2022-02-13 18:09:33 +08:00
    对象存储正合适,一般不止 2MB/s ,这么慢可能是你本地网络速度就低,或者网络连接问题,又或者区域问题(国外区域的慢)

    另外开启 CDN 供下载,可以省点流量费,不开通常也挺快,就是贵点
    dragonQueen
        3
    dragonQueen  
    OP
       2022-02-13 19:54:29 +08:00
    @imldy 本地上传 50Mbps ,我也怀疑过是本地上传限速了,但是测了一下是 50Mbps 。是的,本地是上下行对等的。存储还好我感觉,因为看着不太贵,即使是贵的话, 也可以下载到本地就删除了
    dragonQueen
        4
    dragonQueen  
    OP
       2022-02-13 19:57:34 +08:00
    @eason1874 我本地上传测试了下是 50Mbps ,这个我以为能对应个 4, 5MB/s 的上传的。应该不是区域问题,我就用的本地域的 oss 。cdn 我倒是没试过,因为目前卡在上传这一块了,还没有考虑下载。
    yov123456
        5
    yov123456  
       2022-02-13 20:18:23 +08:00 via iPhone
    ecs 不是进站不限速么
    kome
        6
    kome  
       2022-02-13 20:35:57 +08:00
    阿里云盘开会员(如果有的话), 不知道现在速度如何. 实在不行就去开几个百度云盘的会员. 文件加密, 套几层加密压缩包, 密码通过其他途径传输, 文件泄漏应该也不用担心. 用 BT 分发应该也行. 走商业途径的话, 可以考虑微软的中国代理世纪互联 OneDrive.
    dcty
        7
    dcty  
       2022-02-13 20:51:54 +08:00 via iPhone
    OSS 存储(上传不慢啊),下载走 cdn
    night98
        8
    night98  
       2022-02-13 21:14:26 +08:00
    oss 上传有个多地域加速功能,用那个 endpoint 试试,可能是你运营商的问题,我这边 oss 直传快的一批
    tanranran
        9
    tanranran  
       2022-02-13 21:29:22 +08:00
    上百度网盘。还有 API 接口 https://pan.baidu.com/union/document/basic
    huihuilang
        10
    huihuilang  
       2022-02-13 22:17:13 +08:00 via Android
    阿里云盘不香嘛?几十 g 自己公司申请一个 ftp 就行
    ClericPy
        11
    ClericPy  
       2022-02-13 23:59:39 +08:00
    OSS 上传速度慢是你自己问题吧, 你是拿自己家 / 公司的网测的? 家用带宽下行和上行差距巨大, 公司里的路由器也会给默认限速不然一个开迅雷的全公司都断网了

    流量费用外网的话也不贵, 肯定不会到你那个限额(如果是 ECS 上传下载 OSS 不计流量费, 而且速度快的离谱), 还省了机器的钱, CDN 什么的有点多此一举, 日常下载满带宽(同地区)还是挺容易的, 除非是境外... 必要时候可以配合触发器 oss+Serverless 自动做一些操作

    临时加带宽的事情自己走 sdk 定时运行一次貌似也可以, 不过还是别折腾了
    Ggmusic
        12
    Ggmusic  
       2022-02-14 00:26:19 +08:00 via iPhone
    文件打包上传,小文件上传可能会影响网速。
    dragonQueen
        13
    dragonQueen  
    OP
       2022-02-14 09:00:21 +08:00
    @yov123456 入站限速的,文档有说,跟你买的出站带宽有关。
    dragonQueen
        14
    dragonQueen  
    OP
       2022-02-14 09:03:58 +08:00
    @Ggmusic 打包压缩这个倒是简单易行,我回头试一下
    dragonQueen
        15
    dragonQueen  
    OP
       2022-02-14 09:05:42 +08:00
    @ClericPy 拿公司的网测的,测出来是上下行对等 50Mbps 。下行速度应该是准的,我之前下载能跑到 6MB/s ,上行以前没注意过,这次传到 oss 最高只有 2MB/s
    dragonQueen
        16
    dragonQueen  
    OP
       2022-02-14 09:11:55 +08:00
    @night98 传输加速这个操作起来感觉比较简单,我回头试试
    baiduyixia
        17
    baiduyixia  
       2022-02-14 16:10:26 +08:00
    顺丰
    dragonQueen
        18
    dragonQueen  
    OP
       2022-02-14 20:20:34 +08:00
    @baiduyixia TB 级别的顺丰还可以考虑,一次几个 GB ,感觉比较亏,硬盘得来回寄
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1308 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 17:20 · PVG 01:20 · LAX 09:20 · JFK 12:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.