首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
广告
V2EX
›
分享发现
A 卡炼丹开始好起来了?
czfy
·
309 天前
· 1011 次点击
这是一个创建于 309 天前的主题,其中的信息可能已经有所发展或是发生改变。
MLC-LLM 包可以利用 AMD 的 ROCm 进行大语言模型的编译及推理。性能方面,在 Llama2-7B/13B 上,7900 XTX 做推理可以达到 80% 4090 的水平
中文简介
https://zhuanlan.zhihu.com/p/649088095
英文原文
https://blog.mlc.ai/2023/08/09/Making-AMD-GPUs-competitive-for-LLM-inference
Github
https://github.com/mlc-ai/mlc-llm/
推理
卡炼丹
mlc-llm
xtx
4 条回复
1
qq565425677
309 天前
从防垄断角度考虑非常不错,不过具体到个人使用还是先让别人把坑都踩一遍吧
2
chhtdd
309 天前
CUDA 的坑踩得够多了,不想再踩一遍 opencl 的了
3
czfy
OP
309 天前
@
chhtdd
我以为 CUDA 这么多年已经很成熟了,没想到还是有坑?
4
chhtdd
309 天前
@
czfy
都有坑,不同平台,不同版本,坑多了去了
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
944 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 27ms ·
UTC 22:27
·
PVG 06:27
·
LAX 15:27
·
JFK 18:27
Developed with
CodeLauncher
♥ Do have faith in what you're doing.