TheChaos.AI 暑期实习招聘：Fast Inference 工程师（ SGLang ）
关于我们
TheChaos.AI 是一家北美创业公司，正在构建面向全球社交媒体创作者的 AI 平台。我们拥有全球最大规模的 YouTube 数据库，专注于打造高效低成本的大模型推理系统。
实习内容
我们正在寻找暑期实习生，参与开源大模型（如 Qwen3 、LLaMA4 ）在 SGLang 框架上的推理优化，包括： • KV Cache Masking 、Column Switch 等技术 • 多线程高并发推理加速 • 将模型部署成本降低至 1%（和 claude3.7 对比）
我们需要你： • 熟练掌握 SGLang 框架 或能快速上手 • 熟悉 PyTorch ，有一定的性能优化经验 • 对 LLM 系统和推理优化有热情
实习安排 • 时间：2025 年暑期（可远程） • 提供推荐信和核心项目实战经验
联系方式
微信：ai-social-media
Select Language