bitllion

1. 存储方面：
a. 推荐 lustre , 我给某双一流大学做的 lustre, 即使机房意外断电，也没有丢数据
b. 存储系统的设计，元数据服务器务必用 RAID 1 模式下的 NVME 盘，显著提高元数据性能，例如读写文件锁、搜索加载文件树； OSS 服务器可以用小容量（重建 raid 更快）机械硬盘，RAID 6 模式 ； lustre 后面再接一个 NAS(NFS ），定时 rsync 备份全量的 lustre 数据
2.调度系统：
a.对于高校用户，还是推荐 slurm ，k8s 是为大公司业务系统设计的，他们有大量管理设计开发微服务的经验，往往维护 k8s 集群的是一个小团队
b.容器的问题，可以看看 singularity 和 slurm 的解决方案 、SPANK 插件 ，还有你的 sbatch 脚本和 slurm 配置是否正确，我之前维护一个 GPU 集群，跑大模型也是用的 slurm+docker ，没有出现过容器残留的现象

PVE 稳定运行 3 年了

有个隐藏的日志文件

回复大家下这里实现了 iptables 对虚拟机的流量控制

#ipv4d 转发不用开启
sysctl net.ipv4.ip_forward=0

# 需要开启桥的 iptables 转发
sysctl net.bridge.bridge-nf-call-iptables=1

# 创建和虚拟机 id 相同名字的规则链
iptables -t filter -N kvmtest
# 开启转发
iptables -A FORWARD -j kvmtest
# 添加默认规则
iptables -A kvmtest -m state --state INVALID -j DROP
iptables -A kvmtest -m state --state RELATED,ESTABLISHED -j ACCEPT
iptables -A kvmtest -j DROP

# 添加自定义规则
iptables -I kvmtest -p tcp --dport 22 -j ACCEPT #和平常添加自定义规则一样
iptables -I kvmtest -p tcp --dport 80 -j ACCEPT
iptables -I kvmtest -p icmp -j ACCEPT

# 删除规则链 需要依次删除转发、清楚规则链中内容、再删除规则链
iptables -D FORWARD -j kvmtest
iptables -F kvmtest
iptables -X kvmtest

@NessajCN 那 pve(promox) 是可以实现对同局域网下虚拟机的防火墙，我看我启用了 pve 的虚拟机的防火墙后，宿主机 iptables 会多出相应的安全规则

@NessajCN 我这里只想做在宿主机下限制本地多个虚拟机的流量，因为我们的虚拟机没有对公网提供服务的设计，如果有那是做的网关上的端口映射，我的设计是 提供一个类似于 VPC 网络下的虚拟机防火墙

@NessajCN 因为想做一个云的防火墙

@rjagge 可以试试 upstreams.yaml https://spack.readthedocs.io/en/latest/chain.html 类似这样 upstreams:
spack-instance-1:
install_tree: /path/to/other/spack/opt/spack
modules:
tcl: /path/to/other/spack/share/spack/modules

@bitllion slurm 做调度，还可以配置 mail 提醒作业状态，zerotire 等 vpn 做异地 vpn,放假出差在外也能连 server ，使用 spack 包管理器安装软件，软件都是 root 安装，普通用户只有使用权限