PVE 网络翻车，求助

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in，那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动，会导致账号被禁用。

这是一个创建于 549 天前的主题，其中的信息可能已经有所发展或是发生改变。

各种折腾，升级内核啥的，突然有一天发现，PVE 网速变得极慢，只有 30MB/s 不到，具体什么原因也不知道。不涉及 USB 等存储设备，大无语。

% iperf3 -c 192.168.200.2 -t 20 -i 5 -f Mb
Connecting to host 192.168.200.2, port 5201
[ 5] local 192.168.200.50 port 50084 connected to 192.168.200.2 port 5201
[ ID] Interval Transfer Bitrate
[ 5] 0.00-5.00 sec 128 MBytes 25.5 MBytes/sec
[ 5] 5.00-10.00 sec 120 MBytes 24.0 MBytes/sec
[ 5] 10.00-15.00 sec 125 MBytes 25.0 MBytes/sec
[ 5] 15.00-20.00 sec 118 MBytes 23.7 MBytes/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate
[ 5] 0.00-20.00 sec 491 MBytes 24.5 MBytes/sec sender
[ 5] 0.00-20.02 sec 490 MBytes 24.5 MBytes/sec receiver

iperf Done.

root@pve:~# ethtool enp0s31f6
Settings for eno2:
Supported ports: [ TP ]
Supported link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Supported pause frame use: No
Supports auto-negotiation: Yes
Supported FEC modes: Not reported
Advertised link modes: 10baseT/Half 10baseT/Full
100baseT/Half 100baseT/Full
1000baseT/Full
Advertised pause frame use: No
Advertised auto-negotiation: Yes
Advertised FEC modes: Not reported
Speed: 1000Mb/s
Duplex: Full
Auto-negotiation: on
Port: Twisted Pair
PHYAD: 1
Transceiver: internal
MDI-X: on (auto)
Supports Wake-on: pumbg
Wake-on: g
Current message level: 0x00000007 (7)
drv probe link
Link detected: yes

和物理无关：之前能搞 100MB/s ，也尝试过换网线、换网口，都无效。

第 1 条附言 · 2023-06-29 00:31:52 +08:00

大无语事件，不知道啥时候 WiFi 5G 的频率被设置成了自动，锁定 80MHz 后正常了。

18 条回复 • 2023-06-29 12:29:24 +08:00

defunct9

2023-06-27 20:56:14 +08:00 via iPhone

开 ssh ，让我上去看看

crazyweeds

2023-06-27 21:00:09 +08:00

@defunct9 开着呢，地址 192.168.200.2 ，端口 22 ，用户名 root ，密码 root ，快来，十万火急。
手动滑稽。

rekulas

2023-06-27 21:41:31 +08:00

200.50 是内网其他机器还是虚拟机
pve 虚拟机拉自己文件正常不(正常应该超过百兆)?
如果上面正常 pve 母鸡拉 pve 虚拟机文件速度测过没(正常应该超过百兆)?
换过交换机测试没有

crazyweeds

2023-06-27 21:49:52 +08:00

@rekulas 200.50 是我本机，192.168.200.2 是 PVE 物理机（母机），虚拟机峰值也是这个速度，大无语。没有交换机，直接华硕路由器，之前速度正常的，而且华硕路由器也重启过。
我测试过虚拟机和 PVE 之间的速度，几十 GB 。
不用怀疑我本机到路由器的速度，我本机下载公网，能跑到 40-50MB/s 。

rekulas

2023-06-27 21:57:27 +08:00

建议中间插个交换机试试是否正常(直连本机和 pve) 尽量排除干扰因素

tywtyw2002

2023-06-27 23:23:59 +08:00 via iPhone

ip 是绑在网卡上还是网桥。

crazyweeds

2023-06-27 23:46:01 +08:00

@tywtyw2002 网桥？ Linux Bridge

struggle001

2023-06-28 06:32:54 +08:00

@crazyweeds 换 ovs ？

zbatman

2023-06-28 09:30:45 +08:00

换 ESXi ？

yc8332

2023-06-28 10:48:39 +08:00

应该和 pve 无关。把你的交换机或者是路由器重启。正常应该就恢复了。

wheat0r

2023-06-28 11:17:46 +08:00

你就想想你干嘛了吧

yyysuo

2023-06-28 11:31:48 +08:00

交换机去掉试试。

crazyweeds

2023-06-28 19:06:07 +08:00

应该是 Intel 网卡+内核版本，PVE 论坛看到过类似问题，但是手痒升级了 PVE8 （没升级之前就有这个问题），导致不能降低，用不了老内核。

aru

2023-06-28 21:51:42 +08:00

pve8 我用 8125B 网卡桥接也是翻车了，网速极慢

crazyweeds

2023-06-28 23:06:20 +08:00

@yyysuo 没有交换机，只有路由器。

tywtyw2002

2023-06-28 23:16:24 +08:00 via iPhone

@aru pve8 网桥改用了新驱动，支持 sdn 。
建议搞个支持 sriov 的网卡，性能会好非常多，不过 sriov 的老卡要 patch kernel 。

aru

2023-06-29 08:35:26 +08:00

@tywtyw2002
直通了
现在的情况是当软路由虚拟机连接数极高（ 20 万左右）软路由的 lan 口延时会有几十 ms 并且有可能丢包
不知道是不是机器 cpu 性能不行还是软件配置问题

tywtyw2002

2023-06-29 12:29:24 +08:00 via iPhone

@aru 20w 连接的话应该是性能问题了。
母鸡别做交换了，直接虚拟机用 sriov 网卡出去。
我的支持 sriov 的万兆洋垃圾网卡，不支 promiscuous 模式外（软路由没法开 ha ），性能没啥损失。
母鸡管理用主板的千兆口，母鸡上给 lxc 网桥也用 sriov 出来的虚拟网卡。