V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
coder121
V2EX  ›  宽带症候群

NAS 有双 2.5G 网口, PC 有一块双光口的万兆网卡,万兆交换机,为什么 SMB 的多通道依然不起作用?

  •  
  •   coder121 · 7 天前 · 1740 次点击
    NAS 有双 2.5G 网口,nas 装的是飞牛 V0.8.39 ,PC 有一块双光口的万兆网卡,一共四条线连在万兆交换机上(交换机有 4*2.5g + 2*10g 光口),nas 和 win 均开启了 smb 多通道,为什么 SMB 的多通道依然不起作用?数据传输的速度最大仍然还是 280m/s ,nas 和 pc 都是 ssd
    35 条回复    2025-03-09 01:31:48 +08:00
    coder121
        1
    coder121  
    OP
       7 天前
    补充额外信息,pc 万兆网卡是 82599 ,交换机没有连接路由器,作为一个纯内网的机器在用,nas 的 pc 都是手动设置的静态 IP
    smartruid
        2
    smartruid  
       7 天前 via iPhone
    这个不是直接叠加带宽吧,只是能同时两个任务跑满带宽
    coder121
        3
    coder121  
    OP
       7 天前
    @smartruid 你说的应该是链路聚合吧,跟 smb 多通道还是不太一样的,smb 多通道目的就是叠加带宽,聚合是为了提高并发吞吐
    smartruid
        4
    smartruid  
       7 天前 via iPhone
    @coder121 那是我记错了
    sNullp
        5
    sNullp  
       7 天前
    ?你不设置链路聚合的话 nas 到 PC 的带宽就是 2.5Gbps 啊
    sNullp
        6
    sNullp  
       7 天前
    哦学习了一下原来不同的 interface 要用自己的 IP ,那我之前说错了。抱歉
    villivateur
        7
    villivateur  
       7 天前
    先单线程 iperf 打流试试 2.5G 能不能跑满,然后多线程打流看看 5G 能不能跑满,最后再去考虑 samba 是不是有问题
    djw123
        8
    djw123  
       7 天前
    两机之间需要设置网关地址,前两天 server 2022 跟 PC 就遇到一样的问题
    coder121
        9
    coder121  
    OP
       7 天前 via Android
    @djw123 我 pc 两个光口的 ip 设置的是 192.168.7.100 和 101 ,nas 是 50 和 51 ,网关都是配的交换机的 ip 192.168.7.1 ,应该没啥问题吧。。。
    yinmin
        10
    yinmin  
       7 天前 via iPhone
    在复制文件时,查看:
    飞牛 os - 资源监控 - 网络
    windows - 任务管理器 - 性能

    看一下多网卡是不是同时有流量,再看一下 nas 的 cpu 负载情况。另外,pc 是万兆网卡的话可以是单线路的,也就是 pc 万兆单通-nas 多通道。
    coder121
        11
    coder121  
    OP
       7 天前 via Android
    @yinmin nas 的两个网卡都有流量,每块网卡平均 140m/s 。pc 只有一个口有流量,大满了 2.5g ,另外一块一动不动。。。
    yinmin
        12
    yinmin  
       7 天前 via iPhone
    @coder121 #11 你看看 pc 的网卡属性,是跑在万兆速度吗? 如果是万兆的话,试试 pc 单通
    coder121
        13
    coder121  
    OP
       7 天前 via Android
    @yinmin 单通试过了,也没用
    yinmin
        14
    yinmin  
       7 天前 via iPhone
    @coder121 如果你确认 pc 网卡是跑在万兆速度,不是跑在 2.5g ,大概率是交换机有问题。你用 iperf3 试试:万兆口同时向 2 个 2.5g 口打包,能跑满双 2.5g 流量吗
    yinmin
        15
    yinmin  
       7 天前 via iPhone
    还有一种可能性,你的万兆网卡插在主板的 PCIe 2.0 x1 ( 4Gbps )的插槽上,PCIe 总线限制了网速。
    lcy630409
        16
    lcy630409  
       7 天前
    不可能实现
    op 说”我 pc 两个光口的 ip 设置的是 192.168.7.100 和 101 ,nas 是 50 和 51“
    你打印一下你 windows 的路由表就知道了,只在一个网卡上走数据了
    route print
    lcy630409
        17
    lcy630409  
       7 天前
    windows 的路由表 即使在两个网卡都在同一个网段 同一个网关地址,也会有跃点数的区别
    ButcherHu
        18
    ButcherHu  
       7 天前
    Get-SmbMultichannelConnection 看看呢
    coder121
        19
    coder121  
    OP
       7 天前
    飞牛端两个网口:iperf3 -s -p 5999 -B 192.168.7.98 ,iperf3 -s -p 6000 -B 192.168.7.97
    pc:iperf3.exe -c 192.168.7.98 -p 5999 -B 192.168.7.101 ,iperf3.exe -c 192.168.7.98 -p 5999 -B 192.168.101
    我日,速度竟然跑不满 2.5G
    https://github.com/Mrhs121/png/blob/main/%E6%88%AA%E5%B1%8F2025-03-07%2011.01.01.png
    coder121
        20
    coder121  
    OP
       7 天前
    @yinmin 飞牛端两个网口:iperf3 -s -p 5999 -B 192.168.7.98 ,iperf3 -s -p 6000 -B 192.168.7.97
    pc:iperf3.exe -c 192.168.7.98 -p 5999 -B 192.168.7.101 ,iperf3.exe -c 192.168.7.98 -p 5999 -B 192.168.101
    我日,速度竟然跑不满 2.5G
    https://github.com/Mrhs121/png/blob/main/%E6%88%AA%E5%B1%8F2025-03-07%2011.01.01.png
    coder121
        22
    coder121  
    OP
       7 天前
    @yinmin 主板是华南 bd3 ,万兆卡插在 PCIe 3.0 x16 上了,另外一个 x16 插了显卡,x4 插了 wifi 网卡,不会是这板子有问题吧,插满了就无法打满速度了。。。
    cjd6568358
        23
    cjd6568358  
       7 天前
    是不是显卡和网卡占了 PCI 通道带宽
    coder121
        24
    coder121  
    OP
       7 天前
    发现一个很奇怪的现象,我试了下单发
    pc:iperf3.exe -c 192.168.7.98 -p 5999 -B 192.168.7.101 ,我指定了 pc ip 101 ,但是 win 资源管理器里面确实 102 口有发送流量 2.5g ,101 一动不动的
    coder121
        25
    coder121  
    OP
       7 天前
    双发也测了下,win 资源管理器里面看到只有 102 有流量,发送速度 2.5g ,101 没有流量变动
    pc:iperf3.exe -c 192.168.7.97 -p 6000 -B 192.168.7.101 ,iperf3.exe -c 192.168.7.98 -p 5999 -B 192.168.102
    nas:iperf3 -s -p 5999 -B 192.168.7.98 ,iperf3 -s -p 6000 -B 192.168.7.97
    Autonomous
        26
    Autonomous  
       7 天前 via iPhone
    搞 lacp 动态链路聚合
    wudaye
        27
    wudaye  
       7 天前
    威联通官网文档对双通道的使用说明是,两端的网口速率必须对等,也就是说这边 2 个 2.5G ,那边也得是 2 个 2.5G ,不知道这是威联通 NAS 的局限性还是 SMB 双通道协议的局限性
    wudaye
        28
    wudaye  
       7 天前
    @wudaye 记错了,当我没说
    wnpllrzodiac
        29
    wnpllrzodiac  
       7 天前 via Android
    samba 好像不太行。
    yinmin
        30
    yinmin  
       7 天前 via iPhone
    @coder121

    1. pc 万兆网卡没必要双通,接 1 个万兆口就行了
    2. 断电重启一下万兆交换机
    3. 拔掉 pc 的 wifi 网卡,再试试 pc 万兆网卡能否打满双 2.5G
    coder121
        31
    coder121  
    OP
       7 天前
    飞牛开启 rr 链路聚合,交换机也开启聚合,同时飞牛再打开 smb3 多通道,nas 到 pc 和 pc 到 nas 之间的传输速度可以稳定在 450 左右了
    coder121
        32
    coder121  
    OP
       7 天前
    https://www.chiphell.com/forum.php?mod=viewthread&tid=2490878&extra=&ordertype=1&mobile=no
    找到一个类似的问题,把主力机的两个网卡的“接收方调整”(默认开启)全部关闭后就可以正常叠加网速,试了下确实可以打满 5g 了
    wy315700
        33
    wy315700  
       7 天前
    Linux 是弱网络终端类型。
    IP 是绑在内核上的,任意一个网卡都会响应当前机器绑定的所有 IP 地址的 ARP 请求。就很容易导致多个 IP 的流量都走了同一个物理网口

    当时研究了很久多网卡主机的时候发现的。这一特性导致 Linux 的多网卡支持非常差。
    https://serverfault.com/questions/415304/multiple-physical-interfaces-with-ips-on-the-same-subnet
    https://serverfault.com/questions/624626/ifcfg-eth0-200-is-not-responding-to-arp-broadcasts

    需要设置 arp_filter 和 arp_ignore 参数。

    不知道飞牛有没有修复这个问题。之前实测,群晖是没这个问题的,但是极空间第一个版本的 SMB 多通道是有这个问题的,后面反馈以后他们修复了。
    coder121
        34
    coder121  
    OP
       7 天前 via Android
    我把主板自带的千兆网卡的接收方调整关闭或者直接禁用掉网卡,最终都能达成目的了
    coder121
        35
    coder121  
    OP
       5 天前
    完结了兄弟们

    最终解决方案:网卡的接收方调整( RSS )保持开启,pc 和 nas 的两个网口的 ip 从分别设置成了不同的网段

    例如 10.1.2.x 和 172.16.1.x

    最终 pc 到 nas 和 nas 到 pc 都能打满 5g 的速度了,实现了带宽叠加

    https://github.com/Mrhs121/png/blob/main/Snipaste_2025-03-09_01-23-24.png
    https://github.com/Mrhs121/png/blob/main/Snipaste_2025-03-09_01-23-49.png
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2898 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 14:48 · PVG 22:48 · LAX 07:48 · JFK 10:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.