 |
qdwangV2EX 第 40309 号会员，加入于 2013-06-07 17:44:48 +08:00今日活跃度排名 2012 |
qdwang 最近回复了
16 小时 35 分钟前 回复了 privater 创建的主题 › macOS › 买大内存 MacBook 的一个意外好处——私人 AI 服务器 |
私人本地跑大模型，没什么实际意义的。
1 你只能跑小一些的模型，联网的同公司模型只要比你大，总归性能比你好。
2 费内存。你模型不载入内存，每次都要冷启动，你模型载入内存，永远占去一大块。
3 费电，如果是不插电的笔记本，很快电费完了。
4 速度慢
除非你
1. 非常注重隐私
2. 工作环境没网
3. 大量本地 rag 需求
1 你只能跑小一些的模型，联网的同公司模型只要比你大，总归性能比你好。
2 费内存。你模型不载入内存，每次都要冷启动，你模型载入内存，永远占去一大块。
3 费电，如果是不插电的笔记本，很快电费完了。
4 速度慢
除非你
1. 非常注重隐私
2. 工作环境没网
3. 大量本地 rag 需求
16 小时 40 分钟前 回复了 ZRS 创建的主题 › Apple › iOS 18.3 仍然没有修复后台任务卡片色彩过饱和的问题 |
小意思。不知道锁屏界面的天气 widget 无限耗电 bug 修复没有。
@zictos 感谢，没想到有这样一个网站
17 天前 回复了 qdwang 创建的主题 › 问与答 › 国行 iPad mini7 esim 在境外可以用境外的 esim 吗？ |
@wow0o 这么神奇
27 天前 回复了 wq2016 创建的主题 › macOS › 48G MBP M4 性价比如何？ |
@wq2016 嗯，本地做一些测试没问题
28 天前 回复了 wq2016 创建的主题 › macOS › 48G MBP M4 性价比如何？ |
本地模型的能力距离完整大模型还是太远。
另外还有一个问题，如果你的模型利用上了 48G 显存（无论是 LLM 还是出图利用上了大的 batch size ），你也不会跑的很快，因为 M4 Pro 能力有限。最多只是跑大一点的 LLM 不会产生瓶颈而已。。。
另外还有一个问题，如果你的模型利用上了 48G 显存（无论是 LLM 还是出图利用上了大的 batch size ），你也不会跑的很快，因为 M4 Pro 能力有限。最多只是跑大一点的 LLM 不会产生瓶颈而已。。。
35 天前 回复了 qdwang 创建的主题 › 问与答 › 港版老 iPhone 如何换电池比较靠谱？ |
@flowerfly 谢谢
35 天前 回复了 qdwang 创建的主题 › 问与答 › 港版老 iPhone 如何换电池比较靠谱？ |
@flowerfly 关键是，大陆的苹果店，可以更换其他地区版本的电池吗？
56 天前 回复了 Geeksun2021 创建的主题 › 摄影 › 感觉摄影突然遇到瓶颈了！希望大佬们指点一下。 |
提高摄影的关键是多看画册，分析画册。因为画册里的照片都是名家拍成系列的，这样你才能明白他们是如何思考“拍什么”的。
56 天前 回复了 bottleCap 创建的主题 › macOS › macOS 未失焦窗口，用起来像失焦了一样 |
我也碰到过，不要惊慌，macos 日常。目前解决 macos 各种 bug 最好用的方法就是重启。
Select Language