keithwhisper 最近的时间轴更新
keithwhisper

keithwhisper

🏢  Random Walk | Magickbase / Founder
V2EX 第 233348 号会员,加入于 2017-06-01 00:21:27 +08:00
keithwhisper 最近回复了
不过现阶段还是推荐用 gguf 的模型, 因为量化质量更好. mlx 的模型主要还是均匀量化(这几天出了几个 mixed precision quantization, 还没有尝试), 质量不如 gguf 的量化版本.
首字节加速得益于 MLX 专门为 Metal 设计的, 你用其他 mlx inference engine 也有这效果.
说 omlx 快 3 倍, 其实是指比 mlx 快 3 倍, 因为 mlx 的 kv cache 没有优化, omlx 引入了 disk cache 缓解, 让 mlx 可以实际用于 agentic loop.

我正好在设计这个, 过两天发个 alpha 你可以试下
2 月 28 日
回复了 CherryGods 创建的主题 推广 懒猫微服抽奖活动!(第一轮)
懒猫微服,自带内网穿透和沙箱 100%隔离,畅玩 OpenClaw ,新年超值 0 元购!!!
2 月 27 日
回复了 Edward4074 创建的主题 程序员 刚发现墙洞(DlerCloud)复活了,改名 oixCloud
15, 16 年开始用, 那时候稳定又便宜, 感谢站长.
不过后来我觉得在墙内搞这些还能存活的, 怕不是筑墙的人一边的, 就不敢继续了
2 月 25 日
回复了 sweeyeah 创建的主题 程序员 OpenClaw 自己切 gemini API 把自己改崩了。
现在也可以重新配上 rescue bot 去修 primary bot
2 月 25 日
回复了 sweeyeah 创建的主题 程序员 OpenClaw 自己切 gemini API 把自己改崩了。
当你输入 npx 的时候, 你已经走上了错误的道路. AI Native 就应该让 AI 自己去找技能学习, 可以看看 idx.md

BTW 当你输入 npx 的时候, 可能你并不知道在本地运行了什么脚本, 很危险.
@wesley20 我在 JP
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1617 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 14ms · UTC 16:44 · PVG 00:44 · LAX 09:44 · JFK 12:44
♥ Do have faith in what you're doing.