V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  zhyim  ›  全部回复第 1 页 / 共 8 页
回复总数  156
1  2  3  4  5  6  7  8  
大乱斗启动器
1 天前
回复了 zhyim 创建的主题 Local LLM 8 卡 H100 部署 DeepSeekR1 求助
@volvo007 我不知道啊,我们只负责部署,硬件这块 IT 搞的,是 nvlink 的
1 天前
回复了 zhyim 创建的主题 Local LLM 8 卡 H100 部署 DeepSeekR1 求助
@weiming 能支持多少并发啊,我用的 GPUStack 里面那个 vllm
1 天前
回复了 zhyim 创建的主题 Local LLM 8 卡 H100 部署 DeepSeekR1 求助
@weiming awq 推理速度特别慢,只有 6t/s
2 天前
回复了 han654 创建的主题 Apple Apple tv 7 代 配什么电视捏?
小米 s65 miniled
2 天前
回复了 omz 创建的主题 Apple M4 Mac mini 仅售 2992 元,这让 M2 大幅贬值
在哪看到 2992 ?我 88vip 没有啊
用 cherrystudio 了,那玩意老是连不上
找本地的二手贩子找找看,咸鱼上基本都是传家宝
9 天前
回复了 Jayleonc 创建的主题 MacBook Pro 月薪 1.4w 的程序员,应该升级 Mac 吗?
说了这么多就是想给自己找个理由买,买吧,早买早享受
9 天前
回复了 antaeus 创建的主题 Apple 开发了个 iPhone 手机 APP,名字“AI Client”
@antaeus 那就行,用的生产的 key 测试的,偷懒没换
10 天前
回复了 antaeus 创建的主题 Apple 开发了个 iPhone 手机 APP,名字“AI Client”
@ShadowPower 刚才用生产环境的 key 测试了一下,最担心的就是会不会泄漏
10 天前
回复了 antaeus 创建的主题 Apple 开发了个 iPhone 手机 APP,名字“AI Client”
省流,1 块钱,买了,体验很差,不如免费 chatbox 和官网客户端
10 天前
回复了 antaeus 创建的主题 Apple 开发了个 iPhone 手机 APP,名字“AI Client”
怎么下载体验呢
17 天前
回复了 zhyim 创建的主题 Local LLM 8 卡 H100 部署 DeepSeekR1 求助
@dayeye2006199 也是不支持 deepseek2 ,我下载的别人的量化模型,单 gguf
17 天前
回复了 zhyim 创建的主题 Local LLM 8 卡 H100 部署 DeepSeekR1 求助
@raycool 是的,用 llamacpp 和 ollama 都能成功,就是并发不行
@snowkylin 是 80G 版本的,Q8 的不一定能跑起来,刚把模型下载完。。。
8 张 H100 和 2T 内存能跑完整版的 R1 吗? CPU 好像是 192 核的不知道啥型号
1  2  3  4  5  6  7  8  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1097 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 27ms · UTC 19:08 · PVG 03:08 · LAX 11:08 · JFK 14:08
Developed with CodeLauncher
♥ Do have faith in what you're doing.