Leon6868

Leon6868

☑ LLM |☑ CSS | ☑ All In Web 践行者
V2EX 第 438369 号会员,加入于 2019-08-28 11:06:34 +08:00
根据 Leon6868 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
Leon6868 最近回复了
用 Gemini 把数据手册全部为进去再问问看
3 天前
回复了 Leon6868 创建的主题 Local LLM Qwen2.5 72B 是最好的本地代码补全模型
@kizunai #1 Qwen2.5 Coder 32B 是新模型,但是不好用

参数提升是量级上的碾压
9 天前
回复了 fid 创建的主题 Local LLM 8x4090 离线部署 Qwen2.5 求助
8x4090 跑 ollama ,不如借给我用()(感兴趣可以联系 cXRiYm9zajVzQG1vem1haWwuY29t ,我可以帮你配置环境)

我个人的推荐是 lmdeploy + Qwen2.5 72B awq int8 ,响应速度很快,支持多卡,在 4xV100 上实跑 72B gptq int4 比 vllm 好用
20 天前
回复了 Leon6868 创建的主题 程序员 现代化 SSH 客户端求推荐
@cluefly #138 Windterm 似乎不能传递鼠标点击事件
几乎不可能小于 10mb ,你可以试试 Nuitka 但是我觉得应该帮助不大

Python 写 GUI 就是为了方便嘛,大小肯定不占优势的
智谱的 LongWrite 可以看看
28 天前
回复了 crc8 创建的主题 Python 为什么 Python 会有那么多人喜欢用?
@crc8 #6 你确定这不是 PIP 吗?
30 天前
回复了 zhouhuab 创建的主题 程序员 反向代理后的端口数量限制
@ShuA1 #1

@Livid LLM 回复
@Leon6868 #8 其实 4o 的延迟也不低,而且主要在于 VAD 、模型推理上
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   951 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 10ms · UTC 18:58 · PVG 02:58 · LAX 10:58 · JFK 13:58
Developed with CodeLauncher
♥ Do have faith in what you're doing.