carmark

- ebpf
- 高性能网络，RDMA ，RoCE

10G 网卡一般指的是 10Gbps ，对应而言就是 1.25GB/s 。
NVMe 的一般顺序读写速度，大概率应该会大于网络速度，具体可以实测下 FIO 。

RDMA 这个基本上可以不用考虑的，万兆没必要。

这里面的变量在于你的内存以及存储的文件数量，如果你随机读取，而存储文件数量巨大，那么寻址将会带来额外的磁盘开销，内存大小决定了你能缓存多少文件 metadata 。

羽毛球在北京最大的难题是订不到场地，如果临时定场地，周末基本上没有。

Solaris 内核->Kubernetes->Kubeflow->LLM 系统

具体的方案可以参考这里： https://zhuanlan.zhihu.com/p/398369404

参考方案就是阿里的 cGPU ，腾讯的 qGPU 。

主要实现的思路就是 ioctl 层面的拦截，干预调度和显存管理。

@liang723 规模大了的话，一般大厂规模会更大。不过现在小厂也是随便有百卡（盲猜）。

说下我的感受，做 AI 平台+系统 接近 8 年：
1. K8s 现在针对 AI 平台，技术点主要包括：调度器（ Gang Scheduler ），Training-Operator 这种；这里面可做的点比如：调度器性能优化，调度器调度优化解决碎片问题，解决高低优先级问题，节点内亲和性，节点间 RDMA 网络亲和性； Operator 里面结合调度，如何做容错等；

2. K8s 结合存储系统，类似 Fluid 或者其他存储方案，如何针对性提升，或者针对存储解决 AI 训练或推理场景的问题，比如训练的低延迟，推理的高吞吐；是否可以搞个缓存系统，缓存如何优化，Dataloader 如何搞；

3. K8s 结合网络，这里主要是 SRIOV 相关的技术，基于 sriov-Operator ，以及网络上 multus 就差不多；

4. K8s 结合 GPU ，GPU Device plugin ，GPU Operator 以及其他，基于 nv 的卡都具备了，GPU 可以搞搞虚拟化，容器 GPU 虚拟化，虚拟机咋接，怎么调度这些；

5. AI 平台流程化，比如熟悉 AI 算法的开发流程，调试流程，上线流程，CV 和 LLM 的特点是啥，数据集管理这些；

6. 需要了解 AI 任务分布式特点，如何建立，如何容错，如何与 K8s 结合，这部分就是 Training Operator 的内容，需要知道。

7. 进一步就是了解 AI 算法本身，比如大模型计算过程，参数量啥的，还有推理优化、预训练优化等等；

类似脉脉的思路，辅助生成答案？