Google 提供训练好的模型下载,7B 模型 6.8G ,公司网络有点慢,还要一会才能下载完,今天不准备干活了,下载模型自己搞个 GPT 试试效果。
(未来国内会不会瞬间出现一堆自称吊打 ChatGPT 的应用呢?)
1
0TSH60F7J2rVkg8t 258 天前 1
在 Huggingface 上,试了下 Gemma ,这家伙特别犟嘴。
https://imgur.com/a/P2MVpGk |
4
yanw 258 天前
借楼问一下,本地部署这些模型硬件要求是什么
|
6
reeco 258 天前
效果不行,试了几个问题就没兴趣了
|
7
weilongs 258 天前
新基座 狗头
|
8
vicalloy 258 天前
模型大小摆在那,不用对 7b 有过高的期待。
这类的模型更多的用处是作为基础模型,训练起来做客服之类的特定用途。 |
13
43n5Z6GyW39943pj 258 天前
@ospider 当然是媒体啦,每天各种模型**第一名 N 种定语
|
15
0TSH60F7J2rVkg8t 258 天前
@yorkyoung 也有可能他说的“Google 搜索在中国仍然可以访问,但可能存在一些限制”指的是必须用 vpn 访问。
|
16
keepRun 258 天前 via Android
其实国内大模型超过 gpt3.5 已经没啥问题了,我经常用感觉是这样的,但是国内问题是技术不够领先,无法在全球产生亮眼成绩,长远看 ai 的头部公司会抢占更多份额,不够强的不去开辟细分市场就等死吧。
目前看 openai 还有些杀手锏没秀出来,国内公司技术上还有很多地方要追赶 |
17
leaflxh 258 天前
这么倔是怕催眠成猫娘吗 hhh
|
18
rwecho 258 天前 via iPhone
想配置个电脑跑这种模型,需要什么配置呢,放在卧室,晚上会吵吗
|
20
Jinnrry OP 分体水冷
|
21
Greendays 258 天前
至少是开源的,谷歌还是用回了擅长的老方法
|
22
rnv 258 天前
6.8G 是哪个版本的 variation 啊,我下载的 FLAX 版本 7b 模型 12.5G ( https://www.kaggle.com/models/google/gemma/frameworks/flax/variations/7b-it )
LZ 是怎么配置的?我在 github 找到他们的仓库,但看起来文档并不是很细致 |
23
Stoney 258 天前 via iPhone
@ahhui 其实谷歌不需要 vpn 也可以访问,使用域前置找到 Google ip 就可以访问了,昨天我试了,打开 maps.google.com 直接显示的中国
|
24
siriussilen 258 天前
中文社区讨论大部分都在知乎上
|
25
siriussilen 258 天前
@keepRun gpt3.5 是 20B 的模型……
|
27
vivisidea 258 天前
https://huggingface.co/chat
实际体验下来我认为只有这个模型是最接近 gpt3.5 的,而且速度也挺快,google 的这个体验不太行 mistralai/Mixtral-8x7B-Instruct-v0.1 |
28
CatCode 258 天前
7B 模型( bf16 )不量化的话,16G 显存不够。
|
29
starssending0z 258 天前
@ahhui 笑死了,犟嘴😂
|
30
Haku 258 天前
效果不咋地,小一点的模型已经很多了,之前用的 chatglm6b 中文感觉也比这个强。
人人大模型的机遇早就来了,但是人人 chatgpt 的还很远。 |
31
87B3F508 258 天前
@starssending0z 还特别犟的那种。。。
>>> 模仿李白写首诗 如夜幕洒满天,如繁星点点。 如春风拂过枝头,如花朵轻舞。 如月明照地表,如星星点亮夜。 如鱼儿在波光中,如鸟儿在枝头歌唱。 如眼眸在窗外,如耳语在耳边。 如梦如幻,如幻如梦。 如山如海,如空如床。 >>> 模仿李白写首诗,不要包含“如”字 如烟消云散,如水流春。 如歌鸟在枝,如花落满园。 如梦如幻,如幻如梦。 如山如海,如空如床。 如笑如泪,如泪如笑。 如虫如草,如草如虫。 |
32
leeg810312 258 天前
|
33
leeg810312 258 天前
比较犟,但模型小,用来训练专用系统挺合适的,比如企业内部问答、外部客服这样的,这些系统只能基于企业自己的知识库训练,生成不能受用户输入的影响太大
|
34
Alias4ck 258 天前
|
35
sztink 258 天前
huggingface 提供了免费测试 Gemma 的聊天演示工具: https://huggingface.co/chat?model=google/gemma-7b-it
|
36
87B3F508 258 天前
用 ollama 试用挺方便的
|
38
isSamle 258 天前
我觉得现在的大模型都是畸形的,应该训练响应模式而不应该训练响应内容。
|
39
CivAx 257 天前 1
这种小参数规模的低智模型比较理想的用处是当帕鲁,比如:
- 提供一批散装数据,让 AI 给你解读、提炼或者整理,比如给一堆金融数据让 AI 给你算实际年化; - 给 AI 提数学问题,如 “本金 xx 、利息 xx ,年利息多少?” 这种你提供输入参数,让 AI 给你跑结果,甚至可以给出你期望的结果,让 AI 为你倒推出代码可用的计算公式的,比如灯亮度变化、电压输入和旋钮步进的计算关系; - 生成 Pyton 代码( Google 特别指出 Gemma 的 Python 代码生成的指标很高); - 对不具备时效性需求的问题,直接当搜索引擎用,如 “蓝风铃跟风铃花有关系吗” 这种有唯一答案、需要人工择选(而 AI 往往已经被训练过)的问题,他们是真的答得又快又好。 那种需要回答具有创造性(写诗)、非理性(化纤材质毛衣还是晴纶材质毛衣好)、概念宽泛(谷歌在中国能不能访问)的问题,这类 AI (包括 ChatGPT )基本都是智熄的,只是智熄程度和角度不同。 |
40
cloverzrg2 257 天前
试了下,跟 GPT3.5 对比很烂
问了三个问题,回答都有问题 |
41
cloverzrg2 257 天前
比如问他:“我在一个小储存的 linux 设备测试网速,用 wget 或者 curl ,请问如何做?”
GPT 3.5:curl -o /dev/null http://example.com/file Gemma 7B:curl -o speedtest.txt -c 'speedtest' |
42
Liftman 257 天前
基本上国外的模型都不用试。。。。一中文能力要么没有,要么极差。实际应用落地渺茫
且才 7B 。太 mini 了。你自己训练知识库还行。不然没什么用。。 而且我感觉现在的人还是太高估 llm 了。。吹牛逼吹了一年了。目前能有几个公司真落地到实际工作流里面的。。几乎没有。。大部分人连用都不会用。。还是原地踏步。。 |
44
hiccup00 257 天前 via Android
用 c++和 ollama 试了下,希望有大佬能弄个 webui 的
|
45
shuimugan 257 天前 via Android
规模太小了上限注定就那样,等 70B 以上规模的发布再看。我在等 https://www.phind.com/blog/introducing-phind-70b 这个开源
|
46
daimaosix 257 天前
倔的跟个杠坨似的,服了它个老六
|
47
coinbase 257 天前
gpt4 是多少 b 的?
|
48
wonderfulcxm 257 天前 via iPhone
这个差太多了:
>幸福人用童年治愈一生,不幸的人用一生治愈童年。这句话是谁说的? 这是孔子说的。 孔子说过,“幸福人用童年治愈一生,不幸的人用一生治愈童年”。 |
49
mhj144007 257 天前 via iPhone
|
50
iango 257 天前
Gemma 2B 能不能在十几年前的 Intel Core 2 E7000 、4G 内存老计算机上运行?
进行微调用于分析特定局域的地址?例如知道地址"富贵园 888 号",通过预训练的“富贵豪园-->北京路”,判断地址在北京路。 |
51
smalltong02 257 天前
我的开源项目已经支持 gemma ,并且提供了 Webui 。整体测试下来效果一般,没有经过微调的话很多任务无法完成测试,并且也拥有小模型的通病,输出 token 停不下来。并且 gemma 7b 输出是乱码,我试过 LM Studio ,也是这个情况,所以感觉像是模型的问题。
https://github.com/smalltong02/keras-llm-robot 我这个项目支持 safetensors 的模型,如果你想使用 gguf 的模型,可以使用 LM Studio 最新版。 |
52
Alias4ck 257 天前
用下来感受到一点,2b 模型很快,没网的话感觉可以用来当本地的搜索引擎
|
53
GeekGao 257 天前
效果不是很理想,理解能力上有时候不如 mistral-7b
|
54
snowflake007 255 天前
中文问答体验还是很差吧
|