V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
gstqc
V2EX  ›  NAS

用多 M.2 接口的主板,再配合 PCIe 转接卡,搞一台 12 x M.2 的 NAS 怎么样

  •  1
     
  •   gstqc · 2021-12-24 17:35:07 +08:00 · 6833 次点击
    这是一个创建于 825 天前的主题,其中的信息可能已经有所发展或是发生改变。
    现在不少主板自带了 4 个或者 6 个 M.2 ,一个 PCIe 16x 可以转接出 4 个 M.2 ,PCIe 4x 也可以转接一个或两个 M.2
    这样一来,可以轻松做到 12 个 M.2 甚至 20 个

    机箱可以用 ATX 大小,半高 PCI 版厚度的,也不会很大

    我两台 4 盘位 NAS ,这么多年,几乎每年都要坏机械硬盘,家里十几块机械硬盘,有五六块有坏道或者彻底挂掉的
    现在都得用 RAID1 或者 ZFS 的 mirror 才放心
    用 M.2 SSD 就不用担心硬盘挂掉的问题
    家用写入量不高,很难写坏 SSD
    第 1 条附言  ·  2021-12-25 11:29:33 +08:00
    感谢大家的信息,很多年没看 PC 配件了,并没有我想的那么简单
    总结一下

    1. 从 CPU 出来的 PCIe 不一定能转接,转接卡需要 PLX 芯片或者 RAID 芯片
    2. 南桥出来的 PCIe 的速度有限。这个问题倒是不大,家用基本没有多盘全速读写的需求
    3. 需要考虑 CPU 的 PCIe 通道数和主板芯片之类的问题
    4. SSD 故障
    5. 贵
    52 条回复    2021-12-27 02:51:25 +08:00
    libook
        1
    libook  
       2021-12-24 18:56:00 +08:00   ❤️ 1
    不知道什么板子自带 4-6 个 M.2.,通常见到的都是 2 个。

    理论上转接大法是可行的,只要你买得起那么多 SSD 。
    gstqc
        2
    gstqc  
    OP
       2021-12-24 19:01:50 +08:00 via Android
    @libook 现在很多新板子都有
    你看到 PCIe 附近有好几个散热片的都是

    这应该是趋势,淘汰 SATA 接口
    geniussoft
        3
    geniussoft  
       2021-12-24 19:06:50 +08:00 via iPhone   ❤️ 1
    如果你的硬盘是 5 年内的,要么硬盘型号有问题,要么货源有问题,要么 NAS 有问题,要么有异常断电。

    一般的企业级机械硬盘,在数据中心那种负荷下,每年每块出问题的概率,也就 1%不到。

    在我有限的 20 多块企业级硬盘的经验里,还真没在家用出哪怕一个坏道。
    FaceBug
        4
    FaceBug  
       2021-12-24 19:12:18 +08:00   ❤️ 1
    PCIE 拆分一般只有 x299 和少数 zX90 才有吧

    另外,12 块硬盘,你 pcie 通道数够用吗?

    理论上是可行的,我目前就是这么用的,不过没有 12 块这么多
    abellee000
        5
    abellee000  
       2021-12-24 19:28:46 +08:00 via Android   ❤️ 1
    会热死
    大容量固态 nas 建议上 u2
    secondwtq
        6
    secondwtq  
       2021-12-24 20:00:01 +08:00
    完整的 NAS 方案本来就要 RAID+备份,楼主盘这么容易坏还说”得用 …才放心”也是心大。

    我搞的话可能还是会主要搞 SATA 盘。现在 SATA 盘好像需求量少了,相比 NVMe 的价格优势也小了。但是 M.2 口总体还是不便宜,而且 SATA 还能兼容 HDD 。PCIe 拆分前途也不太好说。楼主说”很多板子自带 4-6 个 M.2”,我看了一下,这是华硕 X570 产品线: https://www.asus.com/us/site/motherboards/AMD-X570/doc/ASUS_X570_Full_Specs.pdf 大多两个,最高端才有 5 个。Z590 也是最多 5 个,楼主说的趋势大概是 Z690 开始的(也就是“现在“应该是“这两个月新出的“的意思…),4 个 M.2 的配置在中端普及了。但是最高端依然还是只有 5 个: https://www.asus.com/microsite/motherboard/Intel-Alder-Lake-Z690-H670-B660/websites/download/ASUS_Z690_Full_Specs.pdf 。倒是有一个 6 个的,MSI 的那个什么 LIKE ,很奇葩的一个货,还没出,两千美刀,这就是楼主想要最大化 M.2 插槽数要付出的代价。

    要是服务器板倒是很轻松,毕竟那边没有“定价与 M.2 接口数目的平方成正比”这种奇葩产品思路,两千人民币就能 PCIe 和 SATA 吃到饱,配合大船盘应该还是挺香的。但是服务器板一般不喜欢加 M.2 ,也没有楼主提到的什么”散热片“,还有什么强化插槽,“装甲”,114 组 VRM 之类华而不实的东西。最主要的是板厂做出那么多 M.2 口完全是魔怔了一般,估计也就满足下楼主这种需求。这种歪风邪气不能惯。
    (另外现在有些搞笑的板子放很多”装甲”看上去有 M.2 ,结果打开一看是空的)
    ysc3839
        7
    ysc3839  
       2021-12-24 20:06:14 +08:00 via Android   ❤️ 1
    “一个 PCIe 16x 可以转接出 4 个 M.2”这不一定吧?印象中还得看 CPU 是否支持的。
    qiuai
        8
    qiuai  
       2021-12-24 20:08:33 +08:00
    M.2 的损坏率真的低于机械硬盘么?
    secondwtq
        9
    secondwtq  
       2021-12-24 21:12:21 +08:00   ❤️ 1
    @ysc3839 是,AMD 支持很完善,但是具体能不能用好像要看主板。Intel 支持比较有限,好像也是要看主板。

    问题是现在貌似在板厂眼中,所有用户都是楼主,都需要大量的 M.2 ,所以高端板都在拼命堆 M.2 ,摆明了就是说你想要接 NVMe 设备的话,不要想打 PCIe 的主意,来买我两千刀乐的板子,狠狠地割楼主这样的人一把韭菜,然后 PCIe 随便给两条就完事了。
    (嘛饿,我好像说错了,不是两条 PCIe ,有的有三条,虽然其中一条是 x1 的…

    另外如果 CPU/主板支持不完善,也可以用 PLX 芯片做主动式的拆分,Mac Pro 就喜欢用这货,不过这种貌似也要千元起步的成本。而且我貌似没找到支持 PCIe 4.0 及以上的方案。
    总的来说感觉 MSDT DIY 主流还处在 5600X+B550 凑合打游戏的阶段,扩展性最多刚刚起步,PCIe 拆分更是超级小众。要想要真•扩展性还是得看服务器。
    MonoLogueChi
        10
    MonoLogueChi  
       2021-12-24 21:23:51 +08:00 via Android   ❤️ 1
    x16 转 4 个 M2 ,主要有两种技术,一种是 raid 拓展卡,华硕的 hyper m.2 这种卡。另一种是 pcie 拆分,这技术在家用主板上几乎就没见过,也是要高端工作站或者高端服务器主板上才有的。
    这基本就要瞄准服务器或工作站平台了,先不说价格,想要小型化这一点,就很难做到了。硬盘每年都要坏,如果是新盘坏的话,我觉得要检查一下工作环境,看一下是不是机箱共振太厉害
    gstqc
        11
    gstqc  
    OP
       2021-12-24 21:26:54 +08:00 via Android
    @geniussoft 有坏道就淘汰了
    gstqc
        12
    gstqc  
    OP
       2021-12-24 21:28:18 +08:00 via Android
    @abellee000 家用应该读写比较少,功耗比机械硬盘小多了
    gstqc
        13
    gstqc  
    OP
       2021-12-24 21:28:52 +08:00 via Android
    gstqc
        14
    gstqc  
    OP
       2021-12-24 21:32:13 +08:00
    @secondwtq 应该是最近才出的产品,之前我搜索过好多次都没有这类主板
    服务器版就不考虑了

    我很少关注装机,最近搜索看到的 4 x M.2 主板都有覆盖 2280 形状的散热片
    gstqc
        15
    gstqc  
    OP
       2021-12-24 21:33:37 +08:00
    @ysc3839
    @secondwtq
    @MonoLogueChi 原来还得看 CPU 和主板,我以为 PCIe 通道接 nvme 是不受限制的
    我查下主板和转接板的资料
    gstqc
        16
    gstqc  
    OP
       2021-12-24 21:38:39 +08:00
    @MonoLogueChi 2T 和 3T 的 SATA 大都有坏道了,有坏道就换更大空间的硬盘,就这样逐步淘汰下来
    现在除了几个 4T ,都是 8T 和 12T 的了
    4T 及以上的硬盘还没坏过
    secondwtq
        17
    secondwtq  
       2021-12-24 21:43:34 +08:00
    你不会买到 SMR 盘了吧……
    gstqc
        18
    gstqc  
    OP
       2021-12-24 21:46:16 +08:00
    @secondwtq 4T 以下应该没 SMR 吧,确定没买过 SMR
    ajaxfunction
        19
    ajaxfunction  
       2021-12-24 22:08:24 +08:00   ❤️ 1
    stata 也能接 ssd 硬盘啊,价格还便宜。
    就是速度比 nvme 慢,但远比机械要快
    tulongtou
        20
    tulongtou  
       2021-12-24 22:20:53 +08:00   ❤️ 1
    机械硬盘挂了数据还有可能找回来,ssd 挂了数据也就一起挂了
    NoirStrike
        21
    NoirStrike  
       2021-12-24 22:42:05 +08:00   ❤️ 1
    @gstqc #18 一票的 SMR...
    hxsf
        22
    hxsf  
       2021-12-24 23:06:17 +08:00   ❤️ 1
    主板上的 m2 也是走 pci-e lane 的 也好,pcie 与 CPU 有两种方式连接, 直通 CPU , 走主板 PCH ( intel 管这个叫 DMI 总线)
    目前民用 CPU ,intel 11 代之前的好像都是 CPU x16 + DMI x4 的带宽,之后是 CPU x20 ,DMI x4 ,也就是说你主板上的槽再多,也就 x20 的直通 CPU ,其他的都是和 USB 、网卡、声卡、SATA 等等共享主板上的 DMI x4 。(新一代的 DMI 好像是换 3.0 x8 了还是 4.0x4 了,不过不重要)。
    AMD 这方面大方的多。Ryzen 上最多是 24 个直通的,还是 pcie 4.0 ,PCH 忘记是 x4 还是 x8 了。

    总之,最多 24 直通,一个 m2 占 x4 ,就是可以插 6 块满速 M.2 ,其他的 M.2 盘都是共享 PCH 的带宽。 对了,pci-e 3.0 x1 的带宽是 984.6 MB/s 。

    另外,你都上全闪 SSD 的话,网络得换万兆吧 PCI-E3.0 x4/x8 也得给网卡留一个直通 CPU 的。那直通的 M.2 就更少了。

    综上: 要么买服务器级别的主板和 CPU ,要么就退而求其次、减少 m2 数量或者上扩展卡+SATA 的 SSD 。
    hxsf
        23
    hxsf  
       2021-12-24 23:07:40 +08:00
    @hxsf #22 第一句话不通顺,更正为:
    主板上的 m2 与 CPU 有两种方式连接, 直通 CPU , 走主板 PCH ( intel 管这个叫 DMI 总线)
    chevalier
        24
    chevalier  
       2021-12-25 01:31:12 +08:00   ❤️ 1
    建议楼主先了解一下主板的 PCIE 拆分

    自带的 4-6 个 M2 接口,只有 1-2 个是直连 CPU 的,其他都是通过南桥转; PCIE 槽同理。
    你要是真挂上这么多 M2 ,大部分都是挤南桥带宽,速度上不去,浪费,还不如直接用 SATA 大容量 SSD
    fatelight
        25
    fatelight  
       2021-12-25 05:09:40 +08:00   ❤️ 1
    PCIE x16 要不自带拆分,要不得买支持拆分的卡
    U2 还是服务器板方便一点

    现在价格尴尬,nvme 和 sata ssd 价差容易让人买 nvme

    hdd 炒豆子,我也想吧全部 sas 盘淘汰掉了
    elfive
        26
    elfive  
       2021-12-25 07:19:35 +08:00 via iPhone   ❤️ 1
    M.2 不是通讯协议,是接口规范。
    很多板子确实有好几个 M.2 接口,但是一般都是在另一个使用 PCIE 通讯协议的同时只能走 SATA 通讯,速度上实际与普通 SATA 接口没啥区别。
    siknet
        27
    siknet  
       2021-12-25 08:34:37 +08:00 via Android   ❤️ 1
    AMD b450 以上都支持拆分的吧,除了极端丐版。我这里一堆 4 盘 m2 拆分卡,AMD b450/550 x470/x570/x399 测试完美,要不要来几块?
    jedihy
        28
    jedihy  
       2021-12-25 08:41:02 +08:00   ❤️ 1
    @MonoLogueChi @gstqc PCIE 拆分是老掉牙的技术了。我还没有见过哪个家用主板不支持的。至少我用来挖矿的主板,Z490 和 B450 都支持。
    mingl0280
        29
    mingl0280  
       2021-12-25 08:49:26 +08:00 via Android   ❤️ 1
    @jedihy 别想了,直通的通道主板不能拆。
    PCIe 普通主板都是直接走南桥共享那个 x4 带宽的,直连的槽你要么加贵得要命的 PLX 芯片,要么就只有 CPU 支持的那几个配置选项,设备多了都不支持。
    hutoer
        30
    hutoer  
       2021-12-25 09:00:13 +08:00   ❤️ 1
    给你提个醒:SSD 写入量不高也是会坏的,我有几块坏的 SSD 是放在服务器上的,写入量不超过 300G ,才半年不到的时间。
    popil1987
        31
    popil1987  
       2021-12-25 09:05:26 +08:00   ❤️ 1
    我家一台超微 x79 ,一台华南 x59 。目前全部固态硬盘,因为家里会突然停电,机械直接受不了坏了几块了。
    目前有 PCIE 转 M2 的也有 sata 的,可以说用了固态硬盘再也不怕停电了。华南的转的 M2 不能启动,只做存储。超微的可以启动。
    超微的用的 debian+zfs ,华南的用的 archlinux 不使用 zfs ,因为 zfs 是 aur ,不跟随系统滚动升级的。
    所以你的方案绝对可行,而且经我淘宝搜索,多 PCIE 的要么矿机要么超微二手,普通 PC 主板很难找主要。
    既然你有 NAS ,不如先换成 SATA 的固态。自从有了这两台服务器,电费已经从 1 档升到 2 档了,每度电多了 7 分钱
    markgor
        32
    markgor  
       2021-12-25 09:11:11 +08:00   ❤️ 1
    等你经历了 nvme 丢盘丢数据的绝望后你就不会有这样的想法了。
    除非你全上高端 nvme
    jtshs256
        33
    jtshs256  
       2021-12-25 09:51:06 +08:00 via iPhone   ❤️ 1
    https://www.qnap.com/zh-tw/product/tbs-464
    威联通还真出了款全 m.2 的妖机…
    打算等在用的石英峡谷退役了整一个全 m.2 阵列玩玩
    ZeroClover
        34
    ZeroClover  
       2021-12-25 09:58:53 +08:00   ❤️ 1
    普通消费级芯片的主板基本不支持你装这么多 NVMe SSD ,除非你的转接卡是自带 PLX 的,或者是自带 RAID (然而没几个主板支持 NVMe RAID )
    Thatscode99
        35
    Thatscode99  
       2021-12-25 10:12:52 +08:00 via iPhone   ❤️ 1
    SSD 坏 机率的更高
    sidkang
        36
    sidkang  
       2021-12-25 10:42:32 +08:00   ❤️ 1
    1. 贵; 2.性能用不到
    gstqc
        37
    gstqc  
    OP
       2021-12-25 11:31:26 +08:00 via Android
    @hutoer
    @markgor
    @Thatscode99
    SSD 还是 64G 容量的时候我就开始用,到现在没碰到坏的
    geniussoft
        38
    geniussoft  
       2021-12-25 11:37:59 +08:00
    其实类似预算搞 HDD 容量会很大,速度也够了,Raid6 下,大文件读写都能在 1GB/s 以上。
    ryd994
        39
    ryd994  
       2021-12-25 15:34:43 +08:00
    没必要用 nvme 的 raid ,性能瓶颈会在 raid 卡、南桥而不在硬盘本身。能达到 SATA SSD 性能上限的 RAID 技术只有 VROC ,需要 intel i9 或服务器平台。而且性能瓶颈会是网卡。不上个 100G 的 RDMA 你都不好意思。

    如果你的需求是静音和性能,那 SATA SSD 一样可以满足。常见的 SATA SSD 也可以达到几百 M ,组成 RAID 以后至少跑满万兆是不成问题的。

    如果你的需求仅仅是跑满带宽,而没有延迟或随机读写性能的要求,那 HDD 都可以做到。
    yolyzhu
        40
    yolyzhu  
       2021-12-25 16:35:55 +08:00
    SATA 的 SSD 不够楼主的 NAS 用么?为什么一定要用 M2……
    markgor
        41
    markgor  
       2021-12-25 17:23:02 +08:00   ❤️ 1
    @gstqc #37 sata ssd 吗?
    给你我亲身经历:
    SATA 系列:
    OCZ 64G SSD (很多年前买的)----目前还能使用,只是掉速严重,但不影响数据( 10 年左右)。
    toshiba 128G SSD (很多年前买的)-----其中一个用了 3 年挂了,另一个用了 7 年左右才挂;

    NVME 系列:
    威刚 500G 买了 12 条,其中 4 条不到半年开始掉盘,有 2 条还是直接挂了,怎么也识别不了。厂商有保修退还了,其余的也偶尔出现掉盘,频率大概 1 个月 2~3 次。
    海康 1TB ,买了 1 条,买回来当月掉盘 2 次,换货后,2~3 个月掉盘一次,继续换货,结果一样,现在当移动硬盘用,上了散热器,typec 口的,但是传输 4K 影片的时候,单次写入量达到 80GB 左右进度为 0.....现在丢一旁吃灰了。
    Intel 系列的,到现在还没掉盘......


    虽然说 NVME 都带保修,但你被它折磨几次后,保修不保修的已经意义不大了,也别去信什么这个价格还要什么自行车,低端价位的基本都是工业垃圾,完全无法正常使用。(仅指大多数)。
    除非你考虑->三星、intel 系列的,(我知道的只有这两个系列相对稳定),否则其余那里买了反而心烦。
    jedihy
        42
    jedihy  
       2021-12-25 17:42:52 +08:00 via iPhone
    @mingl0280 pcie 槽只有 x1 的有可能走 pch 。x16 pcie 都是直连 cpu 。至少最近三代主板,从 z490 开始都支持拆。我自己的 z490 上的 x16 就是一转四,接 4 个 gpu 。我的垃圾 b450 也是一转四。
    Kiriya
        43
    Kiriya  
       2021-12-25 18:07:54 +08:00
    硬盘尽量不要买同一批,因为可能会同时坏,组 raid 都救不了你的数据
    weak
        44
    weak  
       2021-12-25 18:52:18 +08:00 via iPhone
    买 X299 的主板吧 钱不够就 x 99
    LeeReamond
        45
    LeeReamond  
       2021-12-25 21:41:55 +08:00
    感觉有一个问题,nas 自然是要通过网络传输的,你的网络速度先不提根部跟得上机械硬盘,遑论 ssd 了
    keegan
        46
    keegan  
       2021-12-26 03:57:51 +08:00
    为啥机械硬盘损坏率这么高?会停电就买一个 UPS ,还有家用完全没必要组 RAID ,增加读写量,偶尔关注一下硬盘情况就好了。
    mingl0280
        47
    mingl0280  
       2021-12-26 18:52:14 +08:00 via Android
    @jedihy 一转四接四个 GPU 的无一例外都是转接板上带了转换芯片,要么走低带宽的 USB (这个方案便宜)要么是贵的 PLX ,你先搞清楚这一点。
    CPU 的 PCIe 通道是按 CPU 的配置走的,根本不存在什么可拆分。
    mingl0280
        48
    mingl0280  
       2021-12-26 18:54:28 +08:00 via Android
    @jedihy 这一点每个 U 的 spec 上面可以查到支持的 PCIe 链接方式,除了官方 spec 上的链接方式你多插设备是都不支持的。
    mingl0280
        49
    mingl0280  
       2021-12-26 19:07:38 +08:00 via Android
    @gstqc 你买的什么硬盘这么容易挂?我之前淘汰的十几块 4T 盘用了五六年的都没事。
    spacezip
        50
    spacezip  
       2021-12-26 22:34:11 +08:00
    企业级 u2 的盘比 m2 不强多了
    jedihy
        51
    jedihy  
       2021-12-27 00:50:03 +08:00
    @mingl0280 你说的对。确实是有一个芯片在上面做 switch 。但是 PCIE 拆分( PCIE bifurcation )是存在的,不需要芯片就可以把 X16 拆成 4 个 X4 ( https://c-payne.com/products/pcie-bifurcation-card-x8x8-single-width )。确实暂时好像只在 server board 看到。
    mingl0280
        52
    mingl0280  
       2021-12-27 02:51:25 +08:00 via Android
    @jedihy 你仔细看下面的说明 BIOS support neccesary (Please verify your BIOS has the appropriate options available!)。这个东西别说家用了,服务器主板也有很多是开不了的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1045 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 19:15 · PVG 03:15 · LAX 12:15 · JFK 15:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.