这是一个创建于 525 天前的主题，其中的信息可能已经有所发展或是发生改变。
因为特殊需求, 需要离线查代码相关资料.
或者请问有这方面的排行榜 /测试表吗
或者请问有这方面的排行榜 /测试表吗
 |
1
murmur 2023-06-22 21:58:12 +08:00  1
8g 的模型除了画图都是玩具，基本没多长的会话长度，想真的用还得整个 o22g 的魔改版
|
 |
2
czfy 2023-06-22 23:15:10 +08:00 1
本地
8G 显存 这两点就决定了当前不会有可用的 |
 |
3
rogerer 2023-06-23 00:46:36 +08:00 1
好奇是什么资料查询需要用到 AI 模型
|
 |
4
locoz 2023-06-23 04:15:15 +08:00 via Android 1
已经测试过了，目前能在消费级 GPU 上运行的开源模型，没有任何一个在代码能力方面达到可用水平的。
|
 |
5
lithiumii 2023-06-23 05:33:56 +08:00 via Android 1
|
 |
6
yanyuechuixue 2023-06-23 08:27:40 +08:00
借楼问下，24G 的话有什么模型可以跑呀？
|
 |
7
swulling 2023-06-23 10:22:02 +08:00 via iPhone
@yanyuechuixue 24G 显存，可以跑 40B 参数模型的 4bit 量化版本。
|
|
8
yanyuechuixue 2023-06-23 14:10:01 +08:00
@swulling 谢谢大佬！请教一下，40B 的 4bit 量化和 7B 的无量化哪个性能好一些呀？
|
|
10
swulling 2023-06-23 20:02:42 +08:00 via iPhone
@yanyuechuixue 那肯定是大参数好
|
Select Language