 |
mingtdlbV2EX 第 525301 号会员，加入于 2020-12-23 22:50:43 +08:00 |
mingtdlb 最近回复了
9 小时 39 分钟前 回复了 jzyzcz 创建的主题 › 程序员 › 为了买到便宜靠谱的 Token，少被割韭菜，我做了个比价的网站 |
@casatAway #17 邮箱验证吗不是么？这个普号拿来有什么用，能池化 codex 的免费额度，然后提供出来用还是怎么样 还是有其他用处
14 小时 9 分钟前 回复了 archxm 创建的主题 › Local LLM › 大伙有想过二次训练吗？ |
@HHHans #2 说明一直在发展，这种方案不合适，淘汰了呗
14 小时 12 分钟前 回复了 mingtdlb 创建的主题 › Local LLM › 多台 GPU 之间怎么组网互联？ |
@makictos #21 你讲的对我来说有点高深，什么 nvl ，什么多卡拆分，我不太了解这些，我知道你有东西，第一条回复就能看出来😁
这么说吧，比如我想在企业内网跑一个大模型，供内部使用，要企业级的方案，最开始肯定是确认需求算力、并发、吞吐量、显存大小，再选型 GPU ，硬件到货了再给他组起来。
假设吧，比如是有 8 台 SXM 版的 GPU 服务器，每台是 8 卡 H200 ，那首先要把硬件连接起来，怎么连呢，然后再部署 ds v4 的大模型，提供 api 接口给业务用。
我想了解下怎么开展这项工作，有没有文章可以看的，想学习了解一下，我个人是做云计算方面的，未来 GPU 价格如果下来了，企业内网有需求的都会这么玩吧
软件层面可能企业中有 GPU 云平台这种东西，能直接纳管 GPU 服务器，然后平台能直接部署大模型，还带监控、运维管理啥的（我按云计算的的思想，猜的，就像 esxi 这种厂家，到时部署大模型给业务用就像发个虚拟机一样简单），先不考虑这种的
这么说吧，比如我想在企业内网跑一个大模型，供内部使用，要企业级的方案，最开始肯定是确认需求算力、并发、吞吐量、显存大小，再选型 GPU ，硬件到货了再给他组起来。
假设吧，比如是有 8 台 SXM 版的 GPU 服务器，每台是 8 卡 H200 ，那首先要把硬件连接起来，怎么连呢，然后再部署 ds v4 的大模型，提供 api 接口给业务用。
我想了解下怎么开展这项工作，有没有文章可以看的，想学习了解一下，我个人是做云计算方面的，未来 GPU 价格如果下来了，企业内网有需求的都会这么玩吧
软件层面可能企业中有 GPU 云平台这种东西，能直接纳管 GPU 服务器，然后平台能直接部署大模型，还带监控、运维管理啥的（我按云计算的的思想，猜的，就像 esxi 这种厂家，到时部署大模型给业务用就像发个虚拟机一样简单），先不考虑这种的
15 小时 42 分钟前 回复了 jzyzcz 创建的主题 › 程序员 › 为了买到便宜靠谱的 Token，少被割韭菜，我做了个比价的网站 |
gpt 普号卖六七毛？不是随便注册么
15 小时 48 分钟前 回复了 exploretheworld 创建的主题 › 程序员 › 你们一个月上班要用多少 token? |
@lyhiving #2 1B 不是 10 亿吗？平均一天 10 亿，算上业务 100 亿，你这也太夸张了啊
22 小时 48 分钟前 回复了 devloperchen 创建的主题 › 程序员 › 帮大家试过了 V4 变强了，但是也太贵了，早点出 coding plan 吧 |
不得了贵，有些二货还说便宜，真的是水军啊，降个十倍那才叫便宜。。。
22 小时 52 分钟前 回复了 ghostman 创建的主题 › 程序员 › 火山方舟 Coding Plan 慎买 |
是火山的问题吗？我付费的是非 Coding Plan ，接入龙虾，五百万一下没了，我以为是龙虾的问题😂
1 天前 回复了 Clannad0708 创建的主题 › 职场话题 › 最近工作遇到点迷惑 |
给钱的时候把你当初级工程师，干活的时候把你当专家。你这是小破公司吧
1 天前 回复了 Void000 创建的主题 › 职场话题 › 如果失业了，有什么适合大龄程序员做的工作吗？ |
1. 这也不是所有人都会啊，技术活不是吗
2. 培谁啊？
3. 维修啥，这也是技术活啊
2. 培谁啊？
3. 维修啥，这也是技术活啊
1 天前 回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现 |
看抖音说，同样的配置，llama.cpp 跑比 ollama 跑 吞吐更高？
Select Language