图吧版 12 盘静音 nas 方案分享

[i3x]

前言
太多人折腾瘦骨如柴的类 atom 的 j1900 之类的低功耗方案。对此我只想说浪费生命。如果硬盘够多，平台功耗相对而言也就没那么重要了。。

适用人群：
1 、内存需求。虚拟机多开
2 、pt 仓鼠症。硬盘多。甚至很多老盘也想用上。
3 、适当的 cpu 需求....没有核显，如果需要转码纯粹靠 cpu 力大飞砖。

方案：
既然是图吧版，肯定是捡垃圾。

1 、主板。海鲜市场。300 。。微星 MS-S1361 。理由：双 82599 万兆。相当于板载市价 500+的 INTEL X520 DA2 。。双英特尔 210 网卡。相当于买网卡倒找 200 还送主板。。
单路 2011 平台，8 内存槽。自带 2011 长方形铜散热。没什么声音。自带 2 个 sata3 ，4 个 sata2 ，4 个相当于 sata3 的 scu 引出接口。4 个空焊盘。2 个 pcie x16 。计划一个接直通卡增加硬盘接口数量。

2 、机箱带电源。海鲜市场。280 。。。2u 机箱 12 个 3.5 盘位满盘架。3 条 4 盘背板。反正不热插拔差不多了。也有电容。自带 1u 电源，不管是工作还是待机只是很小的声音，几乎听不到。但是自带的 4 个风扇不仅吵，震动还很大。。。机箱本身是好几年前的 IPFS 矿机估计风扇老了。。随便买了几个安静的，直接兼容替换。风扇供电接口本来是巧妙的卡在固定外壳一起插入底部的。我换了新的风扇足够长，直接接主板。这样就可以看到每个风扇转速甚至控制他们。4 个风扇花费 75 。

3 、拿出自有的不要钱的 32g 插 4 条，满足 4 通道。128g 搞定（不知道怎么回事这玩意儿工作在 ddr800 ，换了 16g ）终于 1333 了。处理器也拿出压箱底的 E5-2650v2

4 、一个 pcie x16 转 4m.2 转接卡。插入 4 个矿渣 1t 固态硬盘。4 个 sn750 1t （写入 1.8P 1.1P 0.4P 0.6P)配转接卡，海鲜市场 1600 拿下，亏不亏？

5 、一个 IBM 机器搭配的阵列卡刷的直通卡。sas2308 芯片，95 不包邮。搭配 2 根线加上邮费共 130 。

6 、硬盘还没想好。。。。打算捡 12 个 10-18T 的矿渣。

操作系统准备直接安装
oVirt
然后其他玩法跟大家差不多，也差很多。每个人玩每个人的不一样。。。
整个直通卡带着 8 个硬盘给 nas 。网口全给 openwrt 。就这样。

iperf3 只有 6Gbps 。。。单核打满。。。4 线程都一样。。
正在调试硬件。未完待续....

[huaes]

我也打算搞几块垃圾 6TSAS 硬盘弄个 FreeNAS ，就是还在考虑装是装在服务器的 ESXI 里还是单独花一千多弄台 AMD 的小主机。。。

[i3x]

@huaes 正经用无所谓。要折腾请分开。不然倒腾数据麻烦。。。

[huaes]

@i3x HBA 卡肯定是直通的， 关键不知道 FreeNAS 要是重装导入数据完整性怎么样

[i3x]

@huaes 换系统最好全格。最佳文件系统就不一样。如果是担心 truenas 系统盘炸了重装，直接导入即可。。。他的盘也不是不可以挂在普通的 linux 下。。。

[idealhs]

一般硬盘不用的时候不也就停转休眠吗，那其实硬盘多的话平时功耗也不会怎么高的呀

[hh4646908]

@idealhs 休眠=毁盘

[i3x]

@idealhs pt 党低不了。保种的肯定是一直在转
@hh4646908 备份盘、固定数据盘倒是可以开启。。。。不怎么访问的那些。。。其他的随时可能被访问的还是保持转动吧。。。不然真的是毁盘。毕竟有访问的盘可能刚休眠就又要起转。。。比如连接电脑的机械硬盘。休眠时间太短就没什么必要。

[WuSiYu]

ovirt 好像单机部署比较麻烦，NAS 上用 pve 、unraid 的更多

[alamaya]

硬盘全是矿渣当 nas ，你存的啥东西这么不值钱吗

[i3x]

@WuSiYu 本来这玩意儿就是单机部署的。。。。openstack 之类的玩单机才麻烦。pve unraid 说白了本质都是要付费才能使用的。。。。pve 的付费源和免费源完完全全两码事有冤大头订阅过我把玩过。。。我宁可手撸 qemu-kvm 也不付费。。。。毕竟我其实也没几个虚拟机，主要都是稳定的

@alamaya 这么大容量的大批量的也就是 chia 矿渣了。。。。一个盘一个月也不带停转的。不像玩家手里的货色起起落落瞎转。。一个月读取量 18T 硬盘也就几兆。。怕什么。。。何况我的重要的文件又不止一个地方。。。重要的数据可靠性靠在线的硬盘本身可靠也就是笑话。重要数据不备份炸了怪谁。另外硬盘非常大。炸了重建时间也非常久，实在是没什么必要靠什么 raid 保护。有那空间浪费我不如 ceph 或者 rsync 多持有几份。同样的价格，你们去买京东全新的，我可以买 3 倍一样的。我 3 倍容量的硬盘就不说跑奇偶教验，平时文件多保持几份比炸了之后数据只剩独苗了心安的多吧。
我参与的场地。硬盘之前都是接在戴尔的服务器。。我不担心硬盘的过往。
14T 的西数企业盘我去拿一万四一箱。相当于 700 块钱一个，都是几乎全新的。通电时间还不到 1000 小时，这种企业硬盘也能看到读写量的。读取就几个 G ，写入也就 14T 不到，就是写满一次。我担心什么？不就相当于低格一次的写入量？盘子都是 21 年的盘，说难听点 26 年之前用枕头包着随便砸坏了，卖给售后还能赚几百吧。。。除了表面灰大点擦一下就好，几乎就是全新的盘子吧。矿渣不是你想象中的矿渣，就像一知半解的人说显卡涨价是拿去挖比特币了，不要张嘴就来。

给你科普下：
显卡挖以太坊伤的是显存，看看那些维修视频吧。真的吃核心的矿，干核心的，最多半年，核心就 BOOM 了。显存伤是因为超频搞的，为了省电，核心都是降频在干的。。。。那些锁卡或者普通卡，挖过计算矿的，才是真正的伤。伤的也不是菊花黄，主要看的是供电。。不过二手显卡这东西我不碰。除非 200 内当玩具，否则还是免了。不管矿不矿，我认为显卡是除了拿固态硬盘当缓存外最容易损坏的部件了。。。
硬盘矿也就 fil chia 之类的。。。ar 说白了本质上是一直 cpu 矿，randomx 算法跟门罗一致的。。。当然硬盘矿的固态矿渣还是不能碰。。。。。但是再恶心再恶劣的矿场，也比不过小白玩家的闷罐 RGB 机箱。。。cpu 硬盘 显卡 100 度没日没夜的通宵上网才是常态。。。。所以来路不明的二手配件心里有数就是。。

以我选择的网吧服务器板子来说。。。。绝对 100%网吧二手没跑了。js 发货的时候把机箱也发了。网吧的那种脏灰我知道，这价格没人造假。。。反倒是买崭新的要瞧仔细了。。我是主服、副服两张板子都收了。一张 300 两张 600 包邮。js 连机箱都给了。。。虽然我看不上，只有 6 盘位而且是 6GSAS 背板。
而后面买的机箱电源要不是看在机箱崭新未撕膜，正经的长城 2U ，我怎么可能会留着用呢。一个硬盘钱就可以买个全新的好电源了。

另外海鲜市场大把的几乎全新的 2U 电源都是你说的那种矿渣。你可以问，js 会大声的告诉你：chia 用过的。1/10 的全新价格，就用了几个月的，有什么大不了的。

[idealhs]

@hh4646908 @i3x
我看网上说硬盘休眠伤硬盘的并不多，为什么停转起转伤盘呢，如果停转起转伤盘的话，带 HDD 的 PC 一天开机关机个几次，这个频率也蛮高的吧。

[i3x]

@idealhs 开关机几次也就几次。。。。某些场景下一天可能几百次。。。在某些易驱线硬盘盒如果不会设置，默认 15 秒休眠，配合操作系统的缓存，一天就能干上千次。
蓝盘 C1 门还是轻的了。本来硬盘年负荷可能 200T ，经过这么折腾没跑多少就挂了。

[WuSiYu]

@i3x 我记的很久之前试过 ovirt ，安装流程里一定要我添加个远程文件系统。
我现役的折腾用的 NAS 就是 fedora server 手动挡，配合红帽那个 cockpit 面板用，不过下一台设备准备换 unraid ，一次性付费感觉也没啥。

[i3x]

@WuSiYu 要求 nfs 吧，你这个设置方式双节点起步，不过另外一个机器也不一定是 oVirt ，能提供 nfs 即可。因为你一开始数据中心的方式就设置错了。。我确实要集中化管理所以用 ovirt ，但是本地还是单机节点。直通卡直通给虚拟机。母机本身只是用 4 个板载 sata 口的盘子。nas 系统本身只提供 samba nfs 之类的基础服务，而且用户少，那么还是手撸简单。纯单机就 esxi 了。简单性能强。

pve oVirt 这类都是普通 linux 管理 kvm 虚拟化，不过一个是 deb 一个是 rh 系。除非跑自带的类似 openvz 的容器，否则 cpu 损耗不小。。。
ESXi Hyper-V 都是单独内核供虚拟化，损耗小很多。Hyper-V 虚拟双核虚拟机比物理节点本身还强，全部 cpu 都进虚拟机 cpu 性能几乎没有差别，日常误差以内。测试了国际象棋、cpu-z 。当然这两个系统提供的虚拟磁盘、网卡都是性能感人的存在。物理层硬盘 io 还没有 50%，虚拟机里已经满了，限制严重，这方面倒是 linux kvm 内核更强势。

ESXi 单机玩好方便，随便找个码都行。也可以官网免费申请。问题是绝大多数功能是群集功能，不可能白嫖的，vcenter 第一步就要联网。不在意性能，图省事，服务器板子可选（最好是有 ipmi ）依赖基础主要是网卡。
大规模管理我就 oVirt 了。不管是 win 还是 linux 虚拟机 cpu 损失都不小。cpu 密集型 linux 应用我跑 lxc 容器。
而 win 为主，硬件访问少，那就 hyper-v 。这东西不要想任何直通。考虑授权甚至可以只购买一个 dc 授权无限数量激活 win 虚拟机。或者普通授权也能自动激活 2 个。无桌面的专用版本免激活，可以装好之后用其它 win 电脑的 hyper-v 客户端添加管理，或者下载微软的大号管理软件。
这三个算是不花钱用起来最舒心的。。。pve?开源订阅和付费订阅真的完全两码事。还有 unraid 不花钱的开心版也不是那么美好。。。

[idealhs]

@i3x 哦原来如此，我感觉一天就是开关个 10 次也不算啥，我设置的一小时休眠，可能 10 次都到不了。如果是你说的 15 秒就休眠了那确实一天可能干到几百次，那样确实是不太行。

[huaes]

@i3x Hyper-V SATA 硬盘可以直通网卡也可以直通的，但是得看网卡支不支持，其他 PCIE 设备没试过

[i3x]

@huaes 网卡 sr-iov 硬盘不止是 sata ，nvme 也可以，母机先脱机即可。。。pcie 直通没有 ui 需要用 powershell 。。。这些东西我都试过，但是没那么方便。对普通人来说，还是不要想着拿这个直通。直通硬盘也只是为了硬盘文件系统的干净，性能跟直接直通 pcie 还是两码事

[huaes]

@i3x 用的人少没人图形化吧，不过我用过那个直通网卡的有图形界面倒是挺方便的。而且 windows 资源调度问题太多了，普通 windows 和 windows server 能差 20%，用了段时间还是换 ESXI 了

[i3x]

@huaes hyper-v 的虚拟机。除了 CPU 性能，其他全都坑。cpu 性能几乎 0 损耗。哪怕 linux vm 。从整数、门罗算法和浮点性能上看。虽然整数浮点也吃内存内存翻译也有损失，但是在这些 CPU 负载上差异不大。国人商家 vps 一堆用这个的。如果你是说 bug10 的虚拟机还是算了吧。主动防护就干掉了不少性能。。7-11 说白了都是差不多的 nt6 内核，64 位啥都不弄就是 500M 内存的水准。多吃的内存是被什么软件吃了。。。并没有 dos 到 95 ，以及 98 xp vista 那么多的变化。2016 干出来的 win10 确实没有 12r2 的快。

[inorobot]

性能、功率、体积？

[i3x]

@inorobot 这东西没什么好说的吧？这种配置也就这样了。。。整机大概 150 瓦。硬盘休息了能到 50 瓦，性能自己搜这类 cpu 怎么样。力大飞砖实时转几个高码率或者录制还是可以的。。体积就 2u 服务器。。单独放肯定大的，跟其他东西堆一起就无所谓了。我的事情场景也不太可能压榨 CPU 用到两三百瓦，也不可能让硬盘休眠停转。

[hh4646908]

@idealhs 挂 PT 的话，一天上百次休眠应该是有的，非常伤

[pH]

@hh4646908 有上传就触发转动？ 一段时间没访问，就自动停下休眠？ 所以如果都是间断不重合的访问，就疯狂的起起停停么？

[hh4646908]

@pH 可以设置多久无读写触发休眠，但是意义不大，设置长了就相当于无休眠，设置短了，就会频繁休眠。

[i3x]

@pH 对的。特别是设置 1 分钟 5 分钟那种所谓的爱护硬盘。其实是毁盘。。空转除了发热问题不大的。。硬盘怕的是读写量、震动、电源波纹。。。
虽然是觉得固态硬盘总 TBW 很低，但是硬盘的年读写总量其实也不多的。。。固态的散热做好，家用低端硬盘读取几百个 P 也不成问题。收过一台网吧服务器，带的三星 830 读取量都已经超过计数上限不会增长了，写入才不到 1 个 T

@pH 不是长短是本来就不适合挂 bt pt 这种随时可能被比较多的随机需求访问的。。一两个人、单位的倒是可以，但是从节能环保的角度，肯定是下班、睡觉的时候关机比休眠更好。自动每天开一次关一次不一定对电子产品更好。

[pH]

@hh4646908 我觉得这个有点过于玄学了= = 毕竟系统时不时也有点啥后台任务，读点硬盘数据就触发了。 基本上只要开机了，总是会有读写发生的

@i3x 家用场景，或者绝大部分场景，读写比都是严重倾斜的。我目前为止一直没有碰到盘坏了，感觉一定程度上也佐证了我的使用习惯，读远大于写

[isnullstring]

@huaes 不影响，只要不是跨版本，记得最新版的已经兼容不了旧版本组件的 ZFS

[i3x]

@pH 绝大多数场景除了经常玩游戏的用户。无论是看视频的用户还是干啥的用户都写大概都是 1:1 吧？家用场景，流媒体视频用户写到几十 T ，还是比较容易比较常见的。除了视频倒是没其他场景写入这么多。。。。讲个笑话，国内流媒体标注的“4K 蓝光超高清”码率 4Mbps ，是为了节约用户硬盘寿命