miniliuke
V2EX  ›  问与答

海量图片(文件)分布式储存方案选择

  •  
  •   miniliuke · Sep 14, 2019 via Android · 4881 views
    This topic created in 2431 days ago, the information mentioned may be changed or developed.

    现在有几十 T 图片数据,读多于写,该采用什么分布式方案? Mongodb 还是专业的分布式文件系统,比如阿里家的 TFS,用 mongo 的性能够么

    17 replies    2019-09-15 11:06:44 +08:00
    miniliuke
        1
    miniliuke  
    OP
       Sep 14, 2019 via Android
    不需要对图片进行检索,只需要根据文件名读取或者保存就行了
    windfarer
        2
    windfarer  
       Sep 14, 2019
    用阿里云的对象存储服务,自己不折腾
    miniliuke
        3
    miniliuke  
    OP
       Sep 14, 2019 via Android
    @windfarer 在内网布啊
    dimlau
        4
    dimlau  
       Sep 14, 2019   ❤️ 1
    minio ?
    miniliuke
        5
    miniliuke  
    OP
       Sep 14, 2019 via Android
    @dimlau 好像不支持在线扩容,有点尴尬
    swulling
        6
    swulling  
       Sep 14, 2019 via iPhone
    几十个 Tmongo 绰绰有余
    swulling
        7
    swulling  
       Sep 14, 2019 via iPhone
    三台服务器,每台选 8*8T。三副本 mongo 正好。
    slixurd
        8
    slixurd  
       Sep 14, 2019
    一个 S3 的场景怎么也不可能要用数据库来支持的....
    不要给自己埋坑...
    这在业界有主流方案,没必要用 MongoDB
    37Y37
        9
    37Y37  
       Sep 14, 2019
    对象存储是最合适的
    XiaoxiaoPu
        10
    XiaoxiaoPu  
       Sep 14, 2019
    Openstack Swift ?
    rrfeng
        11
    rrfeng  
       Sep 14, 2019 via Android
    TFS 挺适合。不过没用过不知道生态环境技术支持啥的
    Reficul
        12
    Reficul  
       Sep 14, 2019 via Android
    minio ?
    akira
        13
    akira  
       Sep 14, 2019
    Mongodb 是拿来存数据的吧,存图片不大合适吧
    husinhu
        14
    husinhu  
       Sep 14, 2019 via Android
    要数据库干啥 直接 azure storage 或者 aws/ali s3
    chinesestudio
        15
    chinesestudio  
       Sep 14, 2019 via Android
    就这么点数据 ceph 就好了
    vZexc0m
        16
    vZexc0m  
       Sep 15, 2019 via Android
    用 minio 吧,多上几块硬盘就完了。
    msg7086
        17
    msg7086  
       Sep 15, 2019
    这么一丁点数据,ceph 也好 minio 也好,再不济直接 GlusterFS 干啊。

    其实吧,这么一丁点数据,好像单机就能跑了……
    你也没说请求数有多大。真的量大就上点 4TB 的 QLC,再稍微分一下文件命名空间,把文件分散存储就行了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1079 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 69ms · UTC 22:55 · PVG 06:55 · LAX 15:55 · JFK 18:55
    ♥ Do have faith in what you're doing.