m3 max 128 的使用场景？

[qweruiop]

在犹豫买 m3 64 的还是 128 的，现在一直在用 m1 max 64g 的。之前主要做一些计算的开发，各种语言都在用，当年才出的时候比较快。后来感觉就不行了，编译速度也比不上服务器了。。。现在发现从去年开始，基本上都是远程连到自己的服务器做开发了。。。m1 本地太慢了。。。

平时的场景，都是开一堆 idea 本地，pycharm 远程，clion 远程。最近 1 年，在搞 ai ，基本上全是 pycharm 远程。。。用的依赖基本上 mac 下一堆问题的，java/node 开发连 clickhouse 的 arm 的 docker 也一堆问题，想着赶紧开发模型赚钱重要，不想花时间去搞依赖，搞了也没啥用，最后也都是要部署到 linux 。

看了下，内存，大多数工作场景都用不满。

不想引战

求买过的 v 友说说，新出的 m3 max 准备下手了，主要 m1 太慢了，在开发方面（我不开虚拟机，本地跑了几个 db 的 docker ），不知道 128g 内存会比 64 有用吗？

[BenX]

M1 Max 64GB 刚升级 M3 Max 64GB 做开发够了，128GB 不本地跑模型感觉用处不大。

[terrysnake]

其实用不用得上 128 ，我觉得取决于未来有没有爆发式的新领域出现。
比如我的 16g m1 Pro ，基本不用于工作， 但最近 ai 画图井喷式出现，16g 就不够用了。

[jorneyr]

上预算能够买到的最高配，只要经济压力不大就好。

[simpleisbest]

反正是远程，没必要换 m3 m1 区别不大的

[noahhhh]

你这需求不是 MacBook Air 就够了，反正笔记本就是当个终端用。Linux 下部署训练成熟的多，干活没得选，除了一堆自媒体吹没听说谁用 Mac 搞 AI ，huggingface 上面 coreML 模型都没几个。

[PureWhiteWu]

同 M1 Max 转 M3 Max ，64G 转 64G 。
本来也是纠结要不要上 128G 来着，后来发现 64G 内存做普通开发（ Rust ）完全是够用的，所以还是停留在了 64G ，事实证明确实是够用了。
可预见的未来我不会从事大模型开发，对跑这玩意儿也不太感兴趣，所以最终决定不上 128G 。
我的想法是，如果在 M3Max 使用过程中 64G 跑满了，那么下一次更换 M5/M6 Max 的时候，我就上 128G 。

[PureWhiteWu]

另外，M1Max 转 M3Max 提升巨大，体验明显。

[qweruiop]

@BenX 谢谢
@terrysnake 嗯。。。明白
@noahhhh 确实是想这么干，之前买过 m2 air ，退了，开多一堆 ide ，就卡的要死。。。主要是最近，同事买的外星人编译代码 (c/python/java) 和打开 jetbrains 系 ide 的速度明显比 m1 max 观感上的快。感觉 apple 是不是走偏了，好好的 cpu 不去搞好点，搞 gpu ，但是业界都还不支持呢。。。搞的再好，部署到服务器的时候只有 linux ，谁会花功夫去帮他推动呢。。。
@jorneyr 主要是被同事最近的外星人刺激到了。。。
@PureWhiteWu 我在 linux 下，idea 的打开速度和编译速度都比 m1 max 快很多，m3 会好点吗？

[merlinX]

M1 Max32G 换了 M3 Max 128G ，主要本地可以跑 LLama 70B

[mbooyn]

在 V 站看到黄色、红色内存压力的帖子里面截图发当前绿色的内存压力

[LevineChen]

现在全远程 m1 max 也慢? 我现在 m1pro 16g, golang webstrom 全程本地开发, 乱七八糟各种客户端, 软件基本只开不关都没觉得卡过

[coderwink]

挺关心如何用 Ai 赚钱的

[clemente]

本地跑大模型

[ShadowPower]

给服务器再加一块显卡吧，比加在 Mac 上有用多了

[qweruiop]

@LevineChen 这个卡，理性的说当然不全是 m1 的锅嘛，我开 7 ，8 个 idea 家的窗口。。。但是，最近和同事的顶配外星人装 linux 比，打开项目/编译项目/运行项目的体验就非常明显有观感上的差异了。。。

[PureWhiteWu]

@qweruiop M3 Max goland 我的体验是秒开

[iCruiser]

以现在的 swap 用量和内存压力为基准，出现 swap / 内存压力接近 50% 就要考虑内存升级

[omgr]

关键是你觉的 M1 Pro 太慢了，那 M3 Max 怕也快不了多少吧，况且内存不是瓶颈。

不过呢，既然搞 AI 挣了不少，上满配管他呢，不然总会有念想。虽然光从依赖角度，该远程还是要远程（

[MorJS]

哥们技术栈实力这么雄厚

[wclebb]

我是买了 M3 Max 128G ，和你不一样的是，我是设计兼渲染的。所以基本上就是预算上选 内存最大。
恰好对最近的 AI 和模型也有兴趣，想本地跑跑图或文字看看。

LLaMa 70B 好像在 110G 左右，128G 恰好也在能跑的范围内。
最近听说清华大学 SDXL 模型，M1 跑图原本一分钟，缩短到几秒，跟 2080Ti 差不多的级别。

所以 AI 在 Mac 方面也是在追赶上去，但短期内可能没这么快。
我也是从 宣布 OCtane he Redshift 支持 macOS Metal 开始，一直等了跳票很久才终于用上 Redshift he OCtane 。

[qweruiop]

看了一下，现在开了 1 个 gateway 跑 clion ，3 个 gateway 跑 pycharm ，1 个本地 idea ，1 个本地 sublime ，若干个 terminal 窗口。。。感觉是 cpu 不行，我 xmx 都配的 10g ，但是最新版 idea 里面索引文件还是要卡一会儿，但是同事的顶配外星人就嗖嗖的。。。

[Rorysky]

python 以来都有问题？ 你用的什么包，自己编译安装不行么？

[qweruiop]

@Rorysky 太多包了，计算的一堆，cuda 的一堆，之前都是 conda 直接装，但是还是有一半不成功的。关键是，之前没对比没觉得，直到：
1 ，去年同事教唆开始用远程开发。。。发现 m1 max 速度（ pycharm 打开项目速度/里面双击 shift 搜索速度/debug 的启动速度），运行速度暂不讨论（这个涉及到代码优化问题，不够客观），都和远程到 linux 上有非常明显的观感差异。。。
2 ，最近，和另外同事的顶配外星人比，确实又差了很多。。。

[chonger]

觉得慢有可能是 sip 的锅，关了试试。这里有人说的很清楚了 https://catcoding.me/p/apple-perf/

[noahhhh]

@qweruiop 那就上 m3 max 呗，CPU 性能确实有不小提升

[qweruiop]

@Rorysky cv 的一堆包，学习的一堆包，有些能运行，但是跑程序哇，远程 cuda ，都跑完 1000 frame 了，这边还在慢吞吞的，就是个玩具。。。看，老外也有调好的，但是感觉这条路短期没啥用。因为程序最后毕竟还要部署到 linux 那边去的嘛。。。

[lonenol]

m1 max 64g 咋会卡，我还在 m1 pro 16G 流畅的使用。。

[shimanooo]

看最小够用的那档，然后翻个倍就行。

[chonger]

[qweruiop]

@wclebb mac 应该是对设计和渲染，收益最高的机型了吧？
感觉，开发，m1 能打，m3 对比 3-5w 的 机型，不是很能打。。。

[jZEdn7k4]

我感觉你个人体验下来外星人明显更优啊，不管是实际上还是心理感官上，那你为啥不直接买外星人，并不会比顶配 m3 max 贵吧。用 mac 想着大内存做 ai 就算了，你自己也发现了 mac 上 DL 绝大部分包是不适配的，你到时候用别人开源的代码基本都用不了，纯给自己加难度。

[jsq2627]

我咬牙上了 128g 。唯一跑到超过 64g 内存的场景是开发一个跨桌面/移动平台 React Native app 项目，同时开着：
- VSCode
- Android Studio
- Xcode
- iOS Simulator
- Android Emulator
- GoLand
- Chrome 一大堆 tab
- 若干 Electron-based app （ Slack 、Teams 、Figma 、Notion 等）
- Windows 和 Linux VM ，调试 app 在 Windows/Linux 下的行为
- Docker ，跑着各种后端服务依赖
这还是为了实验 128g 内存够不够用专门都打开的，平时其实不会这样去用，大多数时候专注在 1-2 个目标平台上开发。

[my3157]

本地跑个 codellama 34b ，没几个问题风扇呼呼呼的转😂

[xieren58]

看钱, 不差钱, 满上...

[PainAndLove]

重度前端开发，之前入过 macstudio m1ultra 128gb 版本，使用了一年。
chrome webstorm + 各种代理 + node ...
结论就是，64gb 就够了.
cpu 的话从跑分来看 m3max 已经和 14900k 不相上下(甚至稍强)，m1max 应该是 12600 的水平吧，提升肯定是比较明显的

[hahaFck]

没必要买 128 的，我也是 m1mx64 换的 m3max ，我都想换 32G 的了，但是 m3max 是 48 起步，就加到了 64G ，64G 完全够用了，加 6000 到 128 ，感觉不值得。

[nino]

用 m1 max 64G 的时候也几乎不会 swap ，看你的场景吧，预算如果足够当然拉满

[TuringHero]

Llama-2-70b

[qweruiop]

@jZEdn7k4 嗯，我是 m1 max 远程服务器开发，同事是外星人本地开发，主要我很多聊天工具，截图工具，office ，ps 啥的，觉得 linux 不能打。。。但是感觉除了这些辅助工具，开发方面的 mac 不难打。。。

@TuringHero 这个模型需要 64 还是 128 的才能跑？

[jZEdn7k4]

@qweruiop 你要不外星人装 Windows 然后 pycharm 里配置 WSL Linux 开发，此外你说的聊天/截图/office 啥的应该 windows 下都更猛。。。ps 这种可能 mac 更有优势。Llama-2-70b 你只是用用 4-bit 版本 48G 就够了，16fp 版的就得 130G 了（ https://huggingface.co/TheBloke/Llama-2-70B-Chat-GPTQ/discussions/2 ），但问题还是那样，这类 huggingface 上的模型很少有考虑 mac 兼容性的，这个级别的模型你也是改不了的

[TuringHero]

@qweruiop #39 70b 上面有人说在 110G 左右。我没 64 的试，看油管老哥用 128 测的，显著强于 4090 24G 。

[ShadowPower]

@TuringHero 现阶段最有用的开源模型可能还是 Yi 34B ，我自己测试下来，写作方面真实表现真正超过 GPT4 。
如果只讲究实用的话，一块 3090 的性价比足够高，且足以满足需求了。

LLaMa 2 70B 其实大多数方面的真实表现和 Mistral 7B 差不多，它们的微调模型也类似。

我还测过一些其他模型，通义千问的 72B 比 Falcon 180B 好，而 Yi 34B 的 SFT 模型比通义千问的 72B 好。

[qweruiop]

@ShadowPower 这些模型 64 能跑吗？还是一定要 128 ？

[ShadowPower]

@qweruiop 用量化的版本，64GB 可以跑 34B 和 70B 。70B 的可能只能用 CPU ，因为 Mac 其实还限制了最大显存大小，比内存的一半多一点。
一定要跑 fp16 精度的话，34B 的模型跑起来实际上就用 67GB 显存了，而且效果差别也不明显……

超过 70B 的模型都不推荐。开源社区没人能微调这些模型，表现都不如参数量更小的。

[qweruiop]

@ShadowPower 确实，再大的模型也不指望了。。。 谢谢老铁

[lancelvlu]

@ShadowPower “因为 Mac 其实还限制了最大显存大小，比内存的一半多一点。”你好，这个是苹果自己宣布的么？还是别人测的啊？有没有相关文档或者视频分享啊。感谢！

[ShadowPower]

@lancelvlu 之前我在玩 llama.cpp ，然后每天逛 reddit （ localllm 板块），和 github 的 issue 。
llama.cpp 有个版本开始支持了 metal ，有些人碰到了模型加载失败的问题，于是有个工程师（ llama.cpp 贡献者）用自己的 mac 做了测试，得出的这个结论。

现在找的话，不太好找，印象中他用的是 64GB 内存的型号，实际可直接分配的最大显存有 37GB 左右。我记不得精确数字，只记得是 3 开头，超过 32GB 一些。