mythabc

接裁神

1. 为什么单张可用 60%？ 把其他任务都集中到 4 张显卡上，剩余 4 张用于跑 72b-awq 。多卡不建议超过 4 张，因为通信成本。
2. vllm 支持量化模型的。生产上用的最多的就是 vllm ，然后是 sglang （但是个人体感 sglang 比 vllm 稳定一些，因为版本都在不断迭代，所以仅是时效性的使用感受）。ollama 基于 llama.cpp ，这个项目最初就是用于在资源有限环境把模型 offload 到内存里跑起来的，一般就是个人玩具使用。
3. 喜欢一键的话，可以试一下 xinference ，有 docker 镜像，挺好用。
4. web 方案其实是各种 web client + openai style api ，各个推理引擎以 openai style api 将接口提供出来，兼容各类应用。

懂业务的技术和懂技术的业务牛逼。

@yousikicn macbook 的传统是一个模具用三代，可以找到部分媒体的“风声”，m4 是最后一代刘海屏了。刘海屏是真的丑，也没塞什么传感器。

（不能下代换个灵动岛把...

再等等，下代换模具

产品自己写。写提示词这种需求非常模糊，常常连需求都描述不清楚，。

前者感觉会被开源干爆，兼并到后面只有几个大公司有相关的岗位，中小公司全用开源标准。
后者感觉是对目前模型能力的修修补补，模型能力一提升上来，就废掉很多方向，例如 RAG 原来可能要很复杂的检索召回方案，后来粗略检索一下往上下文里面使劲怼就行了。

deepseek 的 json output 。或者在 LLM 结束之后加一个 json_repair ，或者捕获异常进行重试。