各位大佬， m4mini32g 跑大模型🐂🍺还是 4060ti16g🐂🍺呀？

[knva]

不是哥们，这两是一个价位的吗

[leonme]

32g ，显存越大越好，能跑最重要

[songche]

@knva 4060ti16g 配个主机和 m4mini32g+256 5999 价格感觉差不多啊

[songche]

@leonme 速度上呢，有区别不

[luoyide2010]

显存能把模型装下的话，4060ti 速度更快些

[songche]

@luoyide2010 速度差异很大不

[jamesxu]

https://docs.google.com/spreadsheets/d/1dnMCBeUYHGDB2inBl6fQhaQBstI_G199qESJBxS3FWk/edit?gid=0#gid=0
可以参考，跟你对比的不完全一样

[songche]

@jamesxu 太牛了大佬

[clemente]

前面能跑更大的模型 但是速度慢
后面能跑小模型 但是比前面跑的快

[xzg1993]

m4mini32g 不是 32g 内存吗，4060ti16g 是 16g 显存 这俩咋对比呢

[skydcnmana]

@xzg1993 mac 的统一内存速度比普通内存快不少，可以凑合当显存用。

[xzg1993]

@skydcnmana 学习了~

[moyt]

单机跑这些缩水版的大模型，意义是啥，纯粹折腾着玩还是有什么可以落地的东西吗？

[zqqian]

不爆显存的情况下，速度肯定还是显卡最快。
要是爆显存，那就不一定了

[cubecube]

@skydcnmana 双通道 D5 高频也有 100G 的带宽了，4060ti 其实也可以扩展用内存的

[qping]

看了下 mac mini4 是 273/G 还是快不少的，我测试过 deepseek 32b 的版本，16G 显示和内存混合，只有 4t/s
@cubecube

[hafuhafu]

M4 24g 大战 3070 应该可以约等于 4060TI
https://www.reddit.com/r/LocalLLaMA/comments/1hrkend/m4_24gb_ollama_performance_with_llama32/

不考虑显存的问题还是显卡速度快，不过显存确实是个大问题。

[mumbler]

都不要，2080ti 魔改 22G 最香，淘宝卖 2500 ，能流畅跑 32B deepseek

[iyaozhen]

个人经验 我 m3 pro 跑 phi-4 吐字比较慢，但 4070 ti super 飞快

[skydcnmana]

@mumbler 32b 模型文件 20G ，实际需要的显存是 24 到 30G ，不可能全用显存跑啊

[skydcnmana]

这个评测有参考价值： https://www.bilibili.com/video/BV1A3Fje6Ej6?buvid=Y04B1D0409675DB249F8B44BD3BB4FD13610&is_story_h5=false&mid=Gdmvj4V6wcjTxOkZL%2Fsf4Q%3D%3D&plat_id=116&share_from=ugc&share_medium=iphone&share_plat=ios&share_source=COPY&share_tag=s_i&timestamp=1738296246&unique_k=qvUJQMQ&up_id=474447695&vd_source=df564d9913c3e7f94ed2840c5ff48760

[chor02]

m4 24g 能跑 10 多 b 的，但是很慢