oldfans 最近的时间轴更新 oldfans 最近的时间轴更新 |
oldfansV2EX 第 146001 号会员，加入于 2015-11-06 00:17:29 +08:00今日活跃度排名 24237 |
oldfans 最近回复了
337 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
Ollama 是 llama.cpp 的一个前端。
llama.cpp 支持多 GPU ，但不支持张量并行，单一并发同时只有一张卡在跑，多卡还有通信的开销，所以会比单卡还慢（前提是单卡的显存足够放模型）。
vLLM 支持在多卡上推理量化模型。
4-bit 的 Qwen2.5 72B 应该比未量化的 Qwen2.5 32B 要好。
Qwen2.5 可以试试用同系列的小参数量模型做推测解码（ Speculative decoding ），应该会快不少。
llama.cpp 支持多 GPU ，但不支持张量并行，单一并发同时只有一张卡在跑，多卡还有通信的开销，所以会比单卡还慢（前提是单卡的显存足够放模型）。
vLLM 支持在多卡上推理量化模型。
4-bit 的 Qwen2.5 72B 应该比未量化的 Qwen2.5 32B 要好。
Qwen2.5 可以试试用同系列的小参数量模型做推测解码（ Speculative decoding ），应该会快不少。
2024-08-29 03:27:06 +08:00 回复了 Hozoy 创建的主题 › NAS › 最近比较火的国产免费 NAS 系统 fnOS，大家怎么看？ |
Select Language