理论上最低限度的跑起来：显存 + 内存 + 硬盘 > 模型 + context
但是比较傻瓜的软件（比如 ollama ）一般不能直接把硬盘当缓存用，所以比较傻瓜的一键跑起来：显存 + 内存 > 模型 + context
人的阅读速度大概是 5 token 每秒，所以跑起来并且速度勉强能用：每秒 token 数 > 5
因为速度主要瓶颈是内存或显存的带宽，普通家用双通道 < 服务器 4 通道 < 中低端显卡、苹果统一内存 < 高端显卡，所以模型放到显卡的比例越大，速度越快。另外就是做推理的时候模型不同的层可以放进不同的显卡，不走 nvlink 仍然速度很快，因为不同的层之间通信要求没有那么高，所以多个 PCIe 槽直接插多显卡就可以放下更大的模型并且获得更快的速度。
最后是计算模型体积，一般的完整模型 fp16 每 B 近似 2G ，量化到 q4 的模型近似 0.5G 每 B ，但是这样算太粗糙了可以再加个 20% 当余量。context 计算很麻烦，不同参数的模型需要的不一样，而且可以自己调高调低，ollama 默认给得非常低只有 2k （很多模型支持到 128k ），所以再加个 10% 当余量。
那就是 显存 + 内存 > 1.3 × 模型体积。

能，但是容量尴尬吧。跑不了最大的那些 671B 或者 405B ，往下 70B 之类的魔改显卡也能了，还更快。

你有没有考虑过有些判决是非法律的因素在影响，判决有可能不公正是设计的一部分，是 feature 不是 bug

petals 比你们早吧，而且是小显存的卡分布式部署大于单卡显存的模型。可惜免费节点已经没人跑了。

跟父母学了点，就很简单，一直问能不能再便宜点

是的，有一阵子不稳定，就改自建 planet 了，ztncui

小姐姐：没 raid ，直接分盘存，炸了拉倒
收藏的影视作品：raid1 ，万一炸了一个盘还有一个，万一都炸了就认倒霉
重要数据：在各种地方都复制了一份

20T 硬盘也就两三千吧，够你全家拍十年了吧，除非是 24 小时录像

去店里修手机要等，就给我弄了个试用。效果是真的好，比家里的 q2 不知高到哪里去了。希望苹果持续烧钱，把整个供应链成本拉下来，然后我们买竞争对手的平替

倍怎么发财，比特币不可能再翻一百倍了

不翻一百一千

年轻人抽得少，但我们是老龄化社会

搜 docker+你爱用的浏览器就行，本质是 docker 里帮你整合好了浏览器和一个用浏览器访问的 vnc

买多个 usb4 接口的迷你主机，雷电线互连，获得万兆 mesh 网络，比 mac mini 搭配万兆交换机应该便宜多了。比如主机带 2 个口的话，就可以三台两两互连

解锁状态下，碰一下直接完成支付，比扫码还是快的，因为我手机烂，开相机慢。所以我觉得是进步

我也有一个，直接部署了 cowrie 写到数据库里

交互还行吧，但是这种程度我直接用 c 站不行吗，模型还多