mili100 最近的时间轴更新 mili100 最近的时间轴更新 |
mili100V2EX 第 185096 号会员，加入于 2016-08-02 22:05:55 +08:00 |
mili.one
福建厦门
milkey_tan
mili-tan
199mjJagMtP6kQJ4pRymXeGACKsF4oF3F9
mili100 最近回复了
也许可以尝试下 Ollama/llama.cpp ，没有显卡但是有高性能 CPU 纯 CPU 推理只要有足够的许多模型都能够运行的，特别是对于激活参数较小的 MoE 模型（比如 Deepseek ）。
在我的环境下（ R9 7945HX + 96G RAM ） Deepseek-v2.5-1210 IQ2_XS 能有几到十几的 TPS ，奈何没有更大的内存，我觉得只要有 256G RAM Q4_0/Q4_K_M 也许也是没有问题的。
在 X 上也有人纯 CPU 成功运行起来了 Deepseek-v3 而且似乎还不错： https://x.com/nisten/status/1877276141905387565
在我的环境下（ R9 7945HX + 96G RAM ） Deepseek-v2.5-1210 IQ2_XS 能有几到十几的 TPS ，奈何没有更大的内存，我觉得只要有 256G RAM Q4_0/Q4_K_M 也许也是没有问题的。
在 X 上也有人纯 CPU 成功运行起来了 Deepseek-v3 而且似乎还不错： https://x.com/nisten/status/1877276141905387565
2023-07-03 17:08:38 +08:00 回复了 TGhhpanda 创建的主题 › DNS › 突然想学习关于 DNS 劫持的玩意，有没有大神愿意指点一二 |
2020-11-15 00:20:07 +08:00 回复了 CloudRaft 创建的主题 › 推广 › 云筏科技 CloudRaft 长期免费赠送服务器 4 核 16G 内存 500G 硬盘 |
ID：1101499
搭建一个公共 DNS over HTTPS 服务器
搭建一个公共 DNS over HTTPS 服务器
2020-01-20 22:16:01 +08:00 回复了 Yien 创建的主题 › 推广 › 新晉 NAT VPS 推廣 5 位贈送： KVM 1C1G 一年使用權 另有 V2EX 專屬首月 6 折優惠碼 限量 50 位 |
分母+1
Select Language