mmjy 最近的时间轴更新
mmjy
ONLINE

mmjy

V2EX 第 638389 号会员,加入于 2023-07-13 13:20:17 +08:00
今日活跃度排名 413
mmjy 最近回复了
10 天前
回复了 fid 创建的主题 Local LLM 8x4090 离线部署 Qwen2.5 求助
vllm 文档是有量化实验特性支持的,可以试试好不好用: https://docs.vllm.ai/en/latest/quantization/auto_awq.html
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2320 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms · UTC 15:47 · PVG 23:47 · LAX 07:47 · JFK 10:47
Developed with CodeLauncher
♥ Do have faith in what you're doing.