Home Sign Up Sign In
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  hongdengdao  ›  全部回复第 1 页 / 共 7 页
回复总数  128
1  2  3  4  5  6  7  
❮ ❯
4 月 24 日
回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现
这个应该有点问题,双卡 32g 显存, 8k-64k 肯定是可以运行的

.\kaiwu.exe run Qwen3.6-27B-Q4_K_M.gguf

██╗ ██╗ █████╗ ██╗██╗ ██╗██╗ ██╗
██║ ██╔╝██╔══██╗██║██║ ██║██║ ██║
█████╔╝ ███████║██║██║ █╗ ██║██║ ██║
██╔═██╗ ██╔══██║██║██║███╗██║██║ ██║
██║ ██╗██║ ██║██║╚███╔███╔╝╚██████╔╝
╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚══╝╚══╝ ╚═════╝
本地大模型部署器 vv0.1.2 · llama.cpp b8864
by llmbbs.ai · 本地 AI 技术社区

[1/6] Probing hardware...
GPU: NVIDIA GeForce RTX 4060 Ti × 2 (SM89, 16380 MB VRAM each, 0 GB/s)
RAM: 61 GB DDR5
OS: windows amd64

[2/6] Selecting configuration...
Model: Qwen3.6-27B (dense, 28B)
Quant: Q4_K_M (15.7 GB)
Mode: full_gpu
Accel: Flash Attention

[3/6] Checking files...
Using bundled iso3 binary: llama-server-cuda.exe
Binary: llama-server-cuda.exe [cached]
Model: Qwen3.6-27B-Q4_K_M.gguf [cached]

[4/6] Preflight check...
✓ VRAM sufficient

[5/6] Warmup benchmark...
Probe 1: ctx=256K ... OOM
Probe 2: ctx=128K ... OOM
Probe 3: ctx=64K ... OOM
Probe 4: ctx=32K ... OOM
Probe 5: ctx=16K ... OOM
Probe 6: ctx=8K ... OOM
⚠️ Warmup failed: all ctx probes failed (tried down to 4K)
Using default parameters

[6/6] Starting server...
llama-server 不支持 iso3 ，回退到 q8_0/q4_0
Waiting for llama-server to be ready (port 11434)...
⚠️ 显存不足，降低上下文至 64K 重试...
Waiting for llama-server to be ready (port 11434)...
⚠️ 显存不足，降低上下文至 32K 重试...
Waiting for llama-server to be ready (port 11434)...
Error: failed to start llama-server: 3 次启动均失败，建议选择更小的模型
Usage:
kaiwu run <model> [flags],
4 月 24 日
回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现
.\kaiwu.exe run Qwen3.6-27B-Q4_K_M.gguf

██╗ ██╗ █████╗ ██╗██╗ ██╗██╗ ██╗
██║ ██╔╝██╔══██╗██║██║ ██║██║ ██║
█████╔╝ ███████║██║██║ █╗ ██║██║ ██║
██╔═██╗ ██╔══██║██║██║███╗██║██║ ██║
██║ ██╗██║ ██║██║╚███╔███╔╝╚██████╔╝
╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚══╝╚══╝ ╚═════╝
本地大模型部署器 vv0.1.1 · llama.cpp b8864
by llmbbs.ai · 本地 AI 技术社区

[1/6] Probing hardware...
GPU: NVIDIA GeForce RTX 4060 Ti (SM89, 16380 MB VRAM, 0 GB/s)
RAM: 61 GB DDR5
OS: windows amd64

[2/6] Selecting configuration...
Model: Qwen3.6-27B (dense, 28B)
Quant: Q4_K_M (15.7 GB)
Mode: full_gpu
Accel: Flash Attention

[3/6] Checking files...
Using bundled iso3 binary: llama-server-cuda.exe
Binary: llama-server-cuda.exe [cached]
Model: Qwen3.6-27B-Q4_K_M.gguf [cached]

[4/6] Preflight check...
✓ VRAM sufficient

[5/6] Warmup benchmark...
Probe 1: ctx=8K ... OOM
Probe 2: ctx=4K ... OOM
⚠️ Warmup failed: all ctx probes failed (tried down to 4K)
Using default parameters

[6/6] Starting server...
llama-server 不支持 iso3 ，回退到 q8_0/q4_0
Waiting for llama-server to be ready (port 11434)...
⚠️ 显存不足，降低上下文至 4K 重试...
Waiting for llama-server to be ready (port 11434)...
Error: failed to start llama-server: 连续 2 次启动失败，即使最小上下文(4K)也无法运行
建议：选择更小的量化或使用 MoE offload 模型
Usage:
kaiwu run <model> [flags]
4 月 24 日
回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现
0.1.1 我的是你的这个版本, nvidia-smi
Fri Apr 24 22:37:21 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 591.86 Driver Version: 591.86 CUDA Version: 13.1 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Driver-Model | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 4060 Ti WDDM | 00000000:01:00.0 Off | N/A |
| 0% 33C P8 3W / 199W | 8MiB / 16380MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA GeForce RTX 5060 Ti WDDM | 00000000:0D:00.0 On | N/A |
| 0% 38C P5 12W / 180W | 3831MiB / 16311MiB | 4% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
4 月 24 日
回复了 KaiWuBOSS 创建的主题 › Local LLM › 我做了个工具让 8GB 显卡跑 30B 模型从 3 tok/s 提到 21 tok/s，记录一下技术发现
4060ti+5060ti 双卡没有识别出来,只出来了 4060ti
2025 年 1 月 1 日
回复了 flypei 创建的主题 › 推广 › 元旦 T 楼！ 送 YouTube Premium + 京东 E 卡 300 元
新年快乐
2023 年 11 月 13 日
回复了 lijianmin321 创建的主题 › 分享创造 › 备忘录+翻译+文件搜索+ChatGPT=Airy，给 V 站老哥前 1000 个用户都送终身会员
支持关注
2023 年 7 月 28 日
回复了 nanxiaobei 创建的主题 › 分享创造 › 🐤 开发 7 个月的产品上线了， kee.so，轻松创建一个自己的页面
[email protected],感谢
2022 年 12 月 22 日
回复了 vicalloy 创建的主题 › 问与答 › 淘宝退货系统出问题了？退货时间也太短了吧
一般都是最少给客户 5 天退货时间,应该是哪里出了问题,你这个应该不是普遍情况,可能是 bug 或者是别的问题,可以跟淘宝客服反馈下
2022 年 12 月 15 日
回复了 sleepingdog 创建的主题 › NAS › 威联通硬盘 I/O 读写错误，是坑位的问题吗？
@hongdengdao 之前联系过威联通,说要换兼容性列表上的硬盘
2022 年 12 月 15 日
回复了 sleepingdog 创建的主题 › NAS › 威联通硬盘 I/O 读写错误，是坑位的问题吗？
@sleepingdog ,打错字了,不是 vps,是 ups,
2022 年 12 月 15 日
回复了 sleepingdog 创建的主题 › NAS › 威联通硬盘 I/O 读写错误，是坑位的问题吗？
@sleepingdog 就是最新版固件,5.0.1.2194, 没有加内存,我个人认为就是坑位问题,我那块硬盘原来在 3 号,跟你一样的故障,读写日志报错,换到 1 号位,3 号位换 ssd,目前一直没有问题,同样的盘
2022 年 12 月 14 日
回复了 sleepingdog 创建的主题 › NAS › 威联通硬盘 I/O 读写错误，是坑位的问题吗？
换了硬盘也报错,我开始以为是京东买的硬盘的问题,换了一次,
后来以为是 vps 的问题,也不用 vps 了
后来偶尔在论坛看了说是有兼容性问题
就换了 ssd 放第 3 个插槽,到目前为止都正常
2022 年 12 月 14 日
回复了 sleepingdog 创建的主题 › NAS › 威联通硬盘 I/O 读写错误，是坑位的问题吗？
同型号,这款插槽第 3,第 4 有兼容性问题,我的第 3 道有兼容问题,我把硬盘插到第一道,第 3 道换 ssd 就好了,之前机械硬盘插第 3 道没几天就报错
2018 年 12 月 31 日
回复了 Immortal 创建的主题 › 全球工单系统 › 某宝对店铺的处罚力度好弱鸡啊
未按月定时间发货一般不影响权重,就是赔钱,我做天猫的
2018 年 8 月 14 日
回复了 xycool 创建的主题 › 剧集 › 推荐一部日剧《人生删除事务所》
剧荒中,感谢
2018 年 6 月 22 日
回复了 prozhong 创建的主题 › 宽带症候群 › 你们能上 bitbucket 吗
无法 push
2018 年 3 月 10 日
回复了 woshipanghu 创建的主题 › 程序员 › wifi 云打印机有人做过吗？
易联云，找下，我现在再用
2017 年 11 月 7 日
回复了 p2007 创建的主题 › 分享发现 › VMWare 双十一促销：二折
感谢已购
1  2  3  4  5  6  7  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2895 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 51ms · UTC 15:27 · PVG 23:27 · LAX 08:27 · JFK 11:27
♥ Do have faith in what you're doing.