1119745302 最近的时间轴更新 1119745302 最近的时间轴更新 |
1119745302V2EX 第 225852 号会员，加入于 2017-04-13 15:09:45 +08:00 |
1119745302 最近回复了
151 天前 回复了 CNYoki 创建的主题 › Local LLM › ollama 本地模型 GPU 跑不满 |
@CNYoki llama.cpp 似乎不支持张量并行,就算 4 张卡显存占满了也跑不快. https://www.bilibili.com/video/BV1DH4y1c7gK/ 可以参考一下这个, 换个 vllm 啊啥的后端一般就是随便跑了
151 天前 回复了 CNYoki 创建的主题 › Local LLM › ollama 本地模型 GPU 跑不满 |
换个后端?
293 天前 回复了 winebywind 创建的主题 › 硬件 › 想买一台 2in1 笔记本尝鲜，目前看中了两款洋垃圾，没想好选哪个 |
@yudoo 加钱买个年代近点的吧, 上面提到的这些现在真的是远古时代的宝贝了
352 天前 回复了 sixlione 创建的主题 › 程序员 › 请问各位 V 友，现在哪个部署本地的 LLM 比较好？ |
@Beeium 不介意捡垃圾的话,一万五就捡两张 3090,再随便捡个平台插上就完事了. 两张 3090 除了那种超大的模型其他模型量化一下随便跑而且速度可以接受. 推理用 github 上的 llama.cpp 就行,然后模型就上 hugging face 上找就完事了
352 天前 回复了 sixlione 创建的主题 › 程序员 › 请问各位 V 友，现在哪个部署本地的 LLM 比较好？ |
https://arena.lmsys.org/ 开源 llm 已经快摸到 3.5 阉割版的屁股了
2023-12-23 09:24:39 +08:00 回复了 SteveHou 创建的主题 › OpenAI › ChatGPT 会无端使用中文来回答英文问题 |
有没有可能是偷偷获取了浏览器语言
2023-11-08 17:35:59 +08:00 回复了 mouyase 创建的主题 › 小米 › 小米公布新的 BL 解锁规则了，要求社区等级 5 级以上，申请后 72 小时后可以解锁。 |
@wu67 和小绿书 55 开的内容质量... 完全没看的必要
2023-11-08 17:21:16 +08:00 回复了 mouyase 创建的主题 › 小米 › 小米公布新的 BL 解锁规则了，要求社区等级 5 级以上，申请后 72 小时后可以解锁。 |
5 级这要求太高了
2023-06-11 05:52:52 +08:00 回复了 s04 创建的主题 › Android › 请问红米 NOTE 12 TURBO 刷机后还能收到后续版本的推送升级吗？ |
@ysc3839 说是这么说其实好像不管
Select Language