V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
sidkang
V2EX  ›  NAS

我的 AIO 主机参考

  •  
  •   sidkang · 2022-06-21 00:23:20 +08:00 · 4173 次点击
    这是一个创建于 920 天前的主题,其中的信息可能已经有所发展或是发生改变。

    硬件配置

    部件 型号 数量
    CPU AMD Ryzen 5950X x1
    主板 ASRock x570 Taichi ATX x1
    内存 三星 3200AA 32G 纯 ECC x4
    散热 猫头鹰 D15 x1
    机箱 FD Define R6 x1
    散热 ARCTIC P14 PWM x3
    散热 ARCTIC F14 PWM x1
    电源 RM850X x1
    显卡 2060S x1
    网卡 X550T2 x1
    PCI IT 模式 HBA 卡 x1
    SSD PM9A1 0.5T NVME x2
    SSD 镁光 2T 2.5"SATA x2
    SSD 三星 某 EVO 512G x1
    HDD WD HC550 18T x2
    HDD WD HC530 16T x4
    HDD WD HC320 8T x1
    HDD WD HC320 8T 暂定退休 x3

    硬件碎碎念

    1. CPU 其实低一档用 5900X 也能够;
    2. 这个主板当时咸鱼卖的很便宜同时支持 ECC 就买了,回来才发现这个一体化的散热版拆装 M2 真的是噩梦,以后得避坑;
    3. 机箱更换风扇对于散热效果有明显改进,3 把 P14+1 把 F14 在噪音不变的情况下,将我的硬盘平均温度才 43 度下降到了 37 度;
    4. 显卡在直通的时候放在第二块 x16 插槽上比较省事,减少潜在问题;
    5. HDD 硬盘确实好点,1 块差不多就是 10 瓦

    软件配置

    Host 安装 Proxmox ,按照大致功能划分分了几个 lxc 容器,包括网关、文件服务、媒体服务等等,容器所有配置都通过 ansible 安装完成(这部分目前进度还只要 50%,慢慢替换),虚拟机方面按照功能也大致分了四个,包括工作、游戏、沙盒、模拟运算

    存储目前在 host 层面配置,2 个 2T SSD 组 zfs mirror ,兼职系统盘以及虚拟机盘,2 个 NVME 盘组 raid mirror 目前空闲,之前打算给游戏虚拟机用,但是发现实际磁盘性能似乎不达标,没有摸清楚,暂时把一个单独的 SATA SSD 直通给了游戏虚拟机做系统盘,2 块 18T 硬盘组 zfs mirror ,保存相对重要的文件,1 块 8T 硬盘用来做 PT 下载盘,最后,4 块 16T 硬盘、1 块 8T 硬盘外加 2 块 18T 硬盘镜像上的 fuse 文件夹通过 MergerFS 以及 Snapraid 组成一个大的 unraid 盘给各种服务使用。

    感想

    1. 功耗确实高,待机 140w ,这是在开启 PBO2 AUTO+降压-12 ,调度模式改为 conservative 后的成绩,不过考虑国内电费低,还可以接受:
    2. AIO 在网络性能上的优势挺爽的,PVE 内部虚拟网桥测下来可以到 70G ,LXC 内安装 DOCKER 网桥也可以到 40G 的程度,省去了我在现有条件纠结内网是否使用 10G 交换机以及用哪款的问题,万兆电口网卡一端连 N5105 2.5G 路由器,一端连接带 10G 口的 M1 Mini 使用,正好够用:
    3. 机箱用中塔,虽然确实傻大粗,不过噪音散热方面确实不错,放在桌脚旁边的距离,平常下载的时候主机声响远小于空调声,装硬盘也比较随意,可以容纳 11 块 3.5"硬盘;
    4. 用 win vm 玩游戏的时候,感觉和真实主机并没有感觉到性能区别;

    下一步改造

    目前硬件方面感觉已经挺完美,等价格合适,可以考虑把 HBA 卡拆掉,将两块 SATA SSD 换成 4T U2 大船,大概就是完全体了

    软件方面大概就是 playbook 还得继续慢慢写,逐渐替换掉目前手动配置的各种 lxc docker 容器

    (完)

    18 条回复    2022-08-28 19:00:10 +08:00
    halleck
        1
    halleck  
       2022-06-21 03:16:09 +08:00
    想知道 X550T2 多少钱入的?
    geekvcn
        2
    geekvcn  
       2022-06-21 07:18:16 +08:00 via Android   ❤️ 1
    5950X 和 5900 容器和虚拟机可以优化,我给点建议
    各种服务端,容器,网卡网络中断可以绑 CCD2 也就是 CPU16-31 ,然后 CCD2 体质没问题的话可以做到 1.15v ,4.4G ,功耗很低,体质差稍微加压。这代 AMD 待机功耗主要在 IOD 上。然后 Windows 虚拟机绑定体质更好的 CCD1 也就是 CPU0-15 ,也做定压定频,直通一块显卡,USB ,还有 NVME 当 5800X PC 用
    geekvcn
        3
    geekvcn  
       2022-06-21 07:22:04 +08:00 via Android   ❤️ 1
    如果需要用到 16C32T 的服务再绑定所有核心,这样做大多数情况都有提升,除了渲染这种并行计算需求,因为不会跨 CCD 走 IF 总线。功耗问题其实在 IOD 和 X570 上,两者加起来就待机 50W 了
    geekvcn
        4
    geekvcn  
       2022-06-21 07:23:22 +08:00 via Android   ❤️ 1
    LXC 绑定核心 PVE 官方文档有教程,改下配置文件就行了
    sidkang
        5
    sidkang  
    OP
       2022-06-21 07:30:43 +08:00 via iPhone
    @geekvcn 赞,谢谢辛苦回复,倒是没有考虑过 CCD 的问题,找时间试一下,不过我猜测对低负载的静态待机功耗贡献不大,不过如果是有一定负载下的功耗可能能降低些,不怕笑,CPU 买回来还没跑过分研究过体质,😓
    sidkang
        6
    sidkang  
    OP
       2022-06-21 07:31:49 +08:00 via iPhone
    @halleck 价格可能不太好参考,买的早,去年六百多入手的
    ltkun
        7
    ltkun  
       2022-06-21 07:36:47 +08:00 via Android
    独显要了干嘛 纯增功耗也用处不大 准备 vgpu 吗 我带了八块机械硬盘 70w+ 全部家用机配置 快三年了也蛮稳 cpu 用的 9900t 估计去硬盘待机 15w 以内可以 性能满足目前需求 PVE 真的很好用 之前也一直想上显卡 1080ti 一直备着 但是会增加 20w 待机功耗就没上 上显卡是为了 vgpu 4k 解码这种不干 桌面加速其实也不需要
    sidkang
        8
    sidkang  
    OP
       2022-06-21 08:22:22 +08:00 via iPhone
    @ltkun 娱乐用啊,显卡直接接着电视和显示器
    qyvlik
        9
    qyvlik  
       2022-06-21 10:18:21 +08:00
    ZFS 调优需要一些时间
    zx900930
        10
    zx900930  
       2022-06-21 17:35:39 +08:00
    家用的我都没上 zfs 和 raid, pve 上直接给他们 ext4+single disk.
    然后重要数据用 kopia 做多盘增量备份. 减少了所有硬盘的读写次数, 提高了单盘寿命, 还能享受到全盘容量.
    terrytw
        11
    terrytw  
       2022-06-21 18:38:02 +08:00
    至少 2 台主机我觉得才好
    一台低功耗服务器 NAS 路由
    一台高功耗游戏办公机
    anguliuyun
        12
    anguliuyun  
       2022-06-22 01:49:59 +08:00
    mark, 以后配置参考一下
    nR
        13
    nR  
       2022-07-03 10:16:09 +08:00 via Android
    謝謝分享!我正好有跟你一樣的想法,想請教一下你為何要使用 ecc 內存,ryzen 用的 ecc 跟服務器的應該不一的,使用 ecc 安全性差距大嗎?另外就是 proxmox 你安裝在 m.2 還是 sata?
    sidkang
        14
    sidkang  
    OP
       2022-07-03 13:31:18 +08:00
    @nR ECC 的话主要还是为了长时间不关机准备的,ryzen 用的是 udimm(纯 ECC),确实和服务器上用的不一样; host 系统安装在 sata 上了
    nR
        15
    nR  
       2022-07-04 13:59:37 +08:00 via Android
    謝謝回覆!
    想再請問一下,host 安裝在 sata 上會影響 sata 控制器的其他盤直通嗎?
    sidkang
        16
    sidkang  
    OP
       2022-07-04 14:22:46 +08:00
    @nR 对于一个控制器下的其他硬盘,如果是按照 mp*这样以硬盘为设备直通的方式是不影响的,但是如果要直通这个控制器,那就不可以了。
    nR
        17
    nR  
       2022-07-07 09:33:50 +08:00 via Android
    明白 謝謝解答!
    linbenyi
        18
    linbenyi  
       2022-08-28 19:00:10 +08:00
    X550T2 建议客户价格 $375.00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5831 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 02:25 · PVG 10:25 · LAX 18:25 · JFK 21:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.