V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
gandiaojjj
V2EX  ›  NAS

似乎没人关注 nas 的 i/o 性能

  •  
  •   gandiaojjj · 35 天前 via Android · 5430 次点击
    这是一个创建于 35 天前的主题,其中的信息可能已经有所发展或是发生改变。

    好像大部分人只关注 nas 系统是否好用流畅,并不在意 io 能力,用过威联通、truenas 、黑群晖,追求 truenas-zfs 的不少,但从来没人在意 zfs 读写性能太拉了吗,好像没啥人有挂载数据存储的需求😂😂

    59 条回复    2024-11-13 11:18:31 +08:00
    rulagiti
        1
    rulagiti  
       35 天前
    大部分人用不到高 IO
    zhtyytg
        2
    zhtyytg  
       35 天前   ❤️ 4
    伪命题,创造需求
    wwd179
        3
    wwd179  
       35 天前
    大部分人用不到高 IO 吧。有需要的话硬盘可以用 nvme 。还有网络这部分可以优化。
    jstony
        4
    jstony  
       35 天前
    NAS 要啥 IO ,没有困难制造困难么
    justsomac
        5
    justsomac  
       35 天前   ❤️ 2
    因为 nas 是网络存储,瓶颈一般都在网络带宽啊
    gandiaojjj
        6
    gandiaojjj  
    OP
       35 天前 via Android
    @jstony
    @zhtyytg 作为存储设备,io 性能自然也应当收到关注,就好比 ssd 都会标明最大读写 iops ,但是目前几乎没有厂家会主动标明其设备能达到的最大 iops ,当然不同的系统肯定是有差异,但不应该避而不谈
    gandiaojjj
        7
    gandiaojjj  
    OP
       35 天前 via Android
    @justsomac 这个确实,我想吐槽的是很少会有厂家标明其设备所能达到 iops ,哪怕是做 all in one ,多个虚拟机不也吃 io
    XiLingHost
        8
    XiLingHost  
       35 天前   ❤️ 4
    关注的人压根不会搞这种花里胡哨的东西,要高 iops 直接上 SAN 了
    而且说实话 nas 的瓶颈一般不会在 iops 上,大多数都是追求高吞吐量和大容量存储才用的 nas ,带宽够大就行了,总不会有人在 nas 上跑数据库吧
    nas 大多都是用的 nfs/cifs/webdav 作为**文件**级别的共享,一般也会提供 iSCSI 的 LUN 挂载作为**块设备**级别的远程访问,但是用的人属于是少数,一般还会有一些第三方支持(套件/docker 容器)提供**对象**级别的共享,这个就更无所谓 iops 了
    如果你有高 iops 的网络存储需求,最好还是搞个靠谱的企业级存储解决方案,而不是用 nas 这种消费级的东西来凑,可以看看 DELL EMC/HPE/IBM 这几家的存储解决方案
    COW
        9
    COW  
       35 天前 via Android
    看需求,大部分是拿来存储和备案的,安全性是首位,但如果你只是拿来看视频,那对 IO 就有要求了。
    MFWT
        10
    MFWT  
       35 天前 via Android
    至少在我这里,NAS 就是大号磁带机,IO 性能不是问题(应该说,目前对我来说绰绰有余)
    bobryjosin
        11
    bobryjosin  
       35 天前 via Android
    因为家用场景用不到高 i/o ,怎么方便怎么来,大部分情况连阵列都不需要,要说挂载存储,我也就把 nas 挂到 pve 上备份虚拟机和容器,备份照片视频,基本都是大文件顺序读写,这要啥 io 性能,瓶颈都在网络硬盘,系统并不重要。
    gandiaojjj
        12
    gandiaojjj  
    OP
       35 天前 via Android
    @XiLingHost 不管 nas 又或者 san ,都是存储设备,iops 自然能反映出其系统能力啊(当然选择 nas 也不应当只看 io 性能),而且互联网上写 nas 的文章里面会有一大堆人告诉你可以用 iSCSI 挂载 nas 存储,但是就没人会告诉你他的性能是怎么样的😂😂
    whileFalse
        13
    whileFalse  
       35 天前 via Android
    nas 主要是对象存储,要 io 能力(小文件读写)的话要看块存储。家用 nas 有提供块存储协议的吗
    lianyanjiajia
        14
    lianyanjiajia  
       35 天前
    @whileFalse iscsi 可以挂一块当磁盘用,当系统盘或者游戏盘
    nicoljiang
        15
    nicoljiang  
       35 天前
    @whileFalse 主流 NAS 并非对象存储,是老式文件存储(跟 IO 能力一样,主打够用就行)。
    dayanshenjun
        16
    dayanshenjun  
       35 天前
    @whileFalse 建议复习一下文件存储、块存储、对象存储的定义
    RightHand
        17
    RightHand  
       35 天前 via Android
    机械硬盘,要什么 IO (手动狗头
    yanqiyu
        18
    yanqiyu  
       35 天前   ❤️ 1
    一般的影音需求(哪怕是视频剪辑)也对于 iops 要求很低。我能想象的也就是把虚拟机镜像放在 NAS 上用虚拟机(或者直接把其他机器的启动盘用 iSCSI 放在 NAS 上这种用法)。但是家用场合很少有这么折腾的....
    78786381
        19
    78786381  
       35 天前
    家用 nas 需要什么 IO ,4k 视频不都是随点随放吗
    whileFalse
        20
    whileFalse  
       35 天前 via Android
    @dayanshenjun 除了目录结构之外,文件存储就是对象存储。
    acorngyl
        21
    acorngyl  
       35 天前
    家里搞 NAS ,还是先搞网络吧。前阵子搞了个 5700M Wifi ,天线怼天线 1800M 。wifi 在门外边,拿着本子回房间,门都没关,800M 。就这衰减,如果不全屋走线,真没精力关注 NAS 的 I/O 。
    whileFalse
        22
    whileFalse  
       35 天前 via Android
    @nicoljiang 文件存储不就是单机版的对象存储。
    crackidz
        23
    crackidz  
       35 天前
    因为没必要关注...绝大部分场景 IO 需求就不高
    ntedshen
        24
    ntedshen  
       35 天前
    “就好比 ssd 都会标明最大读写 iops”
    实际上压根没有厂家主动告诉你一个固态缓外有多烂,而缓内瓶颈几乎只有主控。。。
    真的到这一步他们大概还应该提供 4kqd1 和 qd32 一类数据。。。
    甚至 qlc 还是 tlc 这种事情有的厂家不仅不告诉你甚至干脆混发。。。

    就好像路由器除了新兴品牌和某些卖系统的品牌以外几乎没人和你讲硬件配置。。。

    倒真的不是说这才是对的,只是行业如此。。。
    你要等变革。。。
    那可能早呢。。。
    igseo
        25
    igseo  
       35 天前
    还是考虑过的,之前为了处理挂 BT 下载产生的碎片文件和反复 IO 操作带来的损耗和功耗等试过用内存虚拟盘、TF 卡作为临时缓存目录来使用。结果是资源占用、文件大了存不下、稳定性大幅减低。后来去求,直接下载到 SMB 网络磁盘里面了。
    COW
        26
    COW  
       35 天前 via Android
    @ntedshen 主要普通人也没几个知道这些,只有大众懂得多,问得多了,厂家有了竞争压力,才肯把这些参数给放出来。
    clf
        27
    clf  
       35 天前
    跑满千兆局域网也不需要特别高的 IO ,更别提家宽的上行小水管了。
    ReZer0
        28
    ReZer0  
       35 天前
    木桶效应,再高 IO 也发挥不出来。
    GeekGao
        29
    GeekGao  
       35 天前
    好比: 那些买 20 万以内的燃油车的人,为什么没有人关注排量… 因为大部分对预算敏感,他们不去跑山不去飙车呀。
    wccc
        30
    wccc  
       35 天前
    使用 zfs 是为了方便加 cache 备份 快照 raid
    superrichman
        31
    superrichman  
       35 天前
    大卡车你想要百公里加速 1 秒?给谁用?
    wangyzj
        32
    wangyzj  
       35 天前
    家用 nas 场景一般是不需要 IO 的,吞吐到是有可能
    dayanshenjun
        33
    dayanshenjun  
       35 天前
    @whileFalse #20 你把对象存储的目录结构除掉,就类似于 XXN 说“抛开事实不谈”
    Evovil
        34
    Evovil  
       35 天前
    @gandiaojjj #12 民用 NAS 是非常“民用”的需求其中需求(备份、存储、流媒体、照片、文件存储)上并不包含高 IOPS 或者超高频率随机访问等,半商用的需求,比如剪辑、后期、协同工作流(视频) 一般也会采用商用方案并降级(比如存储服务器、万兆网络、nvme 池等等),和商用 NAS 的需求(云、虚拟化、超融合,存储基础设施)、架构( FC-SAN/vSAN/存储服务器/HBA/存储网络)、解决方案完全不同。

    所以其实还是从需求出发。
    比如群晖 brtfs 之类的方案考虑更多的是快速快照等需求而非性能,甚至民用中低端 nas 软 raid 都是很常见的。

    就最简单的企业摄像头视频存储回看这个“NAS 需求” : 小企业用 NVR ,中企业上存储服务器,大企业上 SAN ,这里面基本上大多数方案和民用 NAS 没有交叉,所以也不存在民用“兼容”企业的场景
    dayanshenjun
        35
    dayanshenjun  
       35 天前
    @whileFalse #20 当然,AWS 最初推出 OSS 也不仅仅是因为元数据集群能够快速索引文件,还有 RUSTFUL/API 等调用方式,低成本,适合小文件等等;本质上还是和文件存储的应用场景各不相同,灵活选择罢了
    sampeng
        36
    sampeng  
       35 天前
    因为。。就算最垃圾的读写。。100M 的 io 总有吧。
    99%的带宽都是千兆的。关心这个没意义
    gandiaojjj
        37
    gandiaojjj  
    OP
       35 天前 via Android
    @Evovil 例如在 truenas 论坛上有非常多人说过 zfs 在全闪下性能不佳,也有不少人因此放弃 zfs ,但是我在简中互联网上搜索“zfs 性能差”结果就很少,这总不可能是外国人更在意性能吧。。。。不少评测 up 也会直接忽略这个,在我看来系统读写能力差异并不能直接决定选购型号,但是可以让我知道哪个系统能充分发挥我 ssd 的性能
    gandiaojjj
        38
    gandiaojjj  
    OP
       35 天前 via Android
    @yanqiyu 但后者依然也有一定的需求啊,甚至现在不少 up 也在说 nas 做 iSCSI 挂载,用来存游戏,那这些不就得看 io 了?但这些人就只告诉你这样可以挂载,却不会告诉你实际性能有多少,极端点 ssd 性能变 hdd ,那 iscsi 还有啥意义?
    min
        39
    min  
       35 天前
    有没有可能你发现了一个问题,对于很多人来说不是个问题,对于另外很多人来说是个已经解决的问题。
    gandiaojjj
        40
    gandiaojjj  
    OP
       35 天前 via Android
    @min 不可能,绝对不可能.JPG
    lixile
        41
    lixile  
       35 天前
    这个话题 在没有 100G 网卡作为前提下 讨论意义不大
    zfs 性能 在 TrueNas 应该有许多讨论
    实际运行中 确实有发现 在大量小文件读写的场景下 NAS 的 nfs 半永久下降 非重启无法解决 至今也没发现有什么足够契合的讨论帖
    jackey007
        42
    jackey007  
       35 天前
    想多了,我的 NAS 就我和媳妇儿两个人用,不可能高 IO 。再说了,加宽上传带宽就那么点,想高也高不起来啊
    Evovil
        43
    Evovil  
       35 天前   ❤️ 1
    @gandiaojjj #37 以我熟悉的生产场景来说: 目前我的 NAS 是: 服务器 R740+硬 raid10 ( SAS )+SSD cache ,EXT4 通过 NFS 挂载到 k8s 集群某些 POD (生产) , 同时该 NFS ( NAS )会服务 harbor 、minio (对象存储)- 集群版等多种场景, 在该场景下,并没有全闪需求,也没有 ZFS 需求,综合成本、性能、可靠性、可用性,我选了上述方案。

    我能想到的性能必须要考虑到全闪+性能最优,可能是否是类似网吧“无盘系统”, 块存储+虚拟化等需求? 如果上了全闪等方案,到时候瓶颈可能在网络共享协议上,上单独存储网络,基于文件系统的共享又成为了瓶颈,所以需要更底层的块共享提高性能,再往后就是 iscsi , 然后软件协议又是瓶颈, 再往后就是独立的存储网络,HBA ,SAN ,FC-SAN ,然后就恭喜你进入了企业级领域。
    MatthewLXJ
        44
    MatthewLXJ  
       35 天前
    可能还是因为需求没这么大,1G 或者 2.5G 基本够用了,25G 以上甚至 100G 影响才明显,顺便贴一下很久以前我对 CEPH 的一些测试 https://www.chiphell.com/thread-2484215-1-1.html
    hackroad
        45
    hackroad  
       35 天前
    nas 讲性能,是不是有点跟 0-100 加速近 10 秒的车讲性能的意思了。。
    yolee599
        46
    yolee599  
       35 天前 via Android
    高性能是有代价的:功耗,散热,噪声,重量,体积,价格……
    20015jjw
        47
    20015jjw  
       35 天前 via iPhone
    目标人群不管的…
    apple 不给 iPhone 标运存 lz 可以理解吗
    cxtrinityy
        48
    cxtrinityy  
       35 天前 via Android
    可能大家都性能过剩,垃圾佬的我就被 iowait 折磨过,什么移动硬盘,硬盘盒挂在 j1900 上内网看不了蓝光,系统装在垃圾固态上,docker 刚启动的时候直接 io 卡爆导致系统响应超级无敌慢,好难受的
    io 性能真的很重要呀!
    ruanimal
        49
    ruanimal  
       35 天前
    nas 基本都是机械硬盘,谈 IO 没多大意义
    0312birdzhang
        50
    0312birdzhang  
       35 天前
    冷数据要什么 io ?
    willamtang
        51
    willamtang  
       35 天前
    专业存储会告诉吧,我们使用的 netapp 和 huawei 的存储都会告诉什么样的配置大概能提供什么样的 io 。
    vipviphaha
        52
    vipviphaha  
       34 天前
    家用 nas ,io 够用了。投入和产出要考虑。
    我想家里用 fcsan 架构的玩家太少了,家里能够全部实现 2.5G 就很厉害了
    davidyin
        53
    davidyin  
       34 天前 via Android
    是不是先要提一下使用场景,具体的应用,再来谈是否要研究提高 IO 。
    fchypzero
        54
    fchypzero  
       34 天前
    @gandiaojjj 考虑一下 DELL 的 PowerScale
    lastrush
        55
    lastrush  
       34 天前
    迅雷下载就需要 io
    he1293024908
        56
    he1293024908  
       34 天前
    评论区很多说不重要,其实对也不对,大部分 nas 系统在我们这种家用环境下都不大需要过于考虑 io 问题,但就我目前使用的 unraid 来说,io 问题真的是非常严重的问题,他的文件系统很容易导致 io 爆炸,而他系统一旦 io 堵了就是整个系统受影响,比如有一块硬盘卡 io ,就会导致 cpu 占用 100%,进而导致 docker 和虚拟机和 smb 共享这些全部受影响,1200t 慢的跟 n 系列低功耗芯片一样。
    所以哪怕我将 docker 虚拟机,appdata 这些需要频繁读写的全放固态上,也无法避免问题出现,因为我机械硬盘在 pt 保种,一直在读写,现在只好限制 qb 和 tr 作种同时上传数到个位数才缓解
    thhbdd
        57
    thhbdd  
       33 天前
    @he1293024908 unraid 那个系统出了名的卡,好像是存在校验盘?没用过不是很清楚,之前还想玩一玩,结果现在还涨价了不少,还从买断变订阅
    he1293024908
        58
    he1293024908  
       33 天前
    @thhbdd 不加校验盘也照样卡,他自己那个文件系统就有问题,而且官方对这个 io 问题也不重视
    gandiaojjj
        59
    gandiaojjj  
    OP
       33 天前 via Android
    @he1293024908 一个商业化的系统做成这样,放弃掉吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2461 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 15:19 · PVG 23:19 · LAX 07:19 · JFK 10:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.