 |
Leon6868☑ LLM |☑ CSS | ☑ All In Web 践行者 V2EX 第 438369 号会员，加入于 2019-08-28 11:06:34 +08:00 |
Leon6868 最近回复了
1 天前 回复了 levelworm 创建的主题 › 程序员 › 我基本上可以确认，与硬件架构紧密联系的底层编程是 AI 所不擅长的 |
用 Gemini 把数据手册全部为进去再问问看
3 天前 回复了 Leon6868 创建的主题 › Local LLM › Qwen2.5 72B 是最好的本地代码补全模型 |
9 天前 回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助 |
8x4090 跑 ollama ，不如借给我用（）（感兴趣可以联系 cXRiYm9zajVzQG1vem1haWwuY29t ，我可以帮你配置环境）
我个人的推荐是 lmdeploy + Qwen2.5 72B awq int8 ，响应速度很快，支持多卡，在 4xV100 上实跑 72B gptq int4 比 vllm 好用
我个人的推荐是 lmdeploy + Qwen2.5 72B awq int8 ，响应速度很快，支持多卡，在 4xV100 上实跑 72B gptq int4 比 vllm 好用
20 天前 回复了 Leon6868 创建的主题 › 程序员 › 现代化 SSH 客户端求推荐 |
@cluefly #138 Windterm 似乎不能传递鼠标点击事件
21 天前 回复了 Apol1oBelvedere 创建的主题 › Python › Python 用 Gooey 库编写了一个最最简单的调用外部命令行的界面程序，打包后体积 30MB，怎么再次降低，最低能到多少 MB？ |
几乎不可能小于 10mb ，你可以试试 Nuitka 但是我觉得应该帮助不大
Python 写 GUI 就是为了方便嘛，大小肯定不占优势的
Python 写 GUI 就是为了方便嘛，大小肯定不占优势的
21 天前 回复了 NianBroken 创建的主题 › 程序员 › 有没有上下文输出长一点的 AI 大模型推荐？ |
智谱的 LongWrite 可以看看
28 天前 回复了 crc8 创建的主题 › Python › 为什么 Python 会有那么多人喜欢用？ |
@crc8 #6 你确定这不是 PIP 吗？
30 天前 回复了 zhouhuab 创建的主题 › 程序员 › 反向代理后的端口数量限制 |
31 天前 回复了 SeleiXi 创建的主题 › 程序员 › 想问下语音大模型的前后端技术选型，以及采用什么通讯协议比较好？ |
@Leon6868 #8 其实 4o 的延迟也不低，而且主要在于 VAD 、模型推理上
Select Language