V2EX › Azure99 的所有回复 › 第 1 页 / 共 4 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4

❮

❯

22 天前

回复了 fid 创建的主题 › Local LLM › 8x4090 离线部署 Qwen2.5 求助

lmdeploy≈sglang>vllm ，个人偏好是这样

147 天前

回复了 Azure99 创建的主题 › Local LLM › 分享一下自己训练的大模型

@japhetJiu 你说的这些主要是用于部署推理服务，并通过 RAG 框架调用。KoboldCPP （推理框架）、HF 的模型（模型权重通常是对齐后的模型，一般带有 Chat 或者 Instruct 字眼）、AnythingLLM （ RAG 框架）。

如果希望训练自己的模型（假设你是做微调，就是让预训练模型从只会续写文本变得"会说人话"），应该找一个训练框架，比如 ms swift 、llama factory 、xtuner ；再去 HF 下载预训练模型（没有经过对齐的通常带有 Base 字眼，或者没有 Chat 等字眼）；并且找一些数据集进行微调。上面列举的框架基本都有简单教程和数据集，当然如果你愿意用我的数据集，那就更好了。

148 天前

回复了 xuewei 创建的主题 › 分享创造 › 因为媳妇的一句话，我做了一个 AI 画图软件

建议不要打着分享创造的名义发推广贴（尤其是标题党+商业行为），直接套一个 text2image 能算是创意？
Huggingface 上大把效果不错的模型，用心找一个好点的不行么。
放个之前搞的 demo ，https://huggingface.co/spaces/Azure99/blossom-playground-v2.5 ，没有因为媳妇的一句话就开发，也没有会员订阅，也没有使用限制
![.jpg]( https://s2.loli.net/2024/07/29/NKO6hsUI1CFyMm3.jpg)

151 天前

回复了 shinonome 创建的主题 › Python › 函数的返回建议是 list|[] 还是 list|None 呢

你认为字符串""和 None 语义一样么？很显然是不一样的，""是一个空字符串，而 None 不表示任何数据。
所以 2 楼就是优解，如果它是空的，那么返回空 list ，如果有异常，直接抛出异常。不要返回 None 。

151 天前

回复了 Azure99 创建的主题 › Local LLM › 分享一下自己训练的大模型

@japhetJiu 第一个问题已经回复过了
对于第二个问题，因为硬件资源的限制，这个 demo 是 4bit 量化后的，精度下降比较严重。
可以用 HF 上的 demo https://huggingface.co/spaces/Azure99/Blossom-34B-Demo ，不量化太狠是非常容易解决这个问题的。
https://imgur.com/qDdfX18

164 天前

回复了 Makabaka01 创建的主题 › 程序员 › 现在极其厌恶弱类型语言，弱类型就不适合中国的职场环境

如果我掏出 Map<String, Map<String, Object>>，阁下又该如何应对？

187 天前

回复了 drymonfidelia 创建的主题 › 程序员 › 有接入过 OAuth 的人应该都发现了， Google ID、Discord ID、Telegram ID 都是大整数，而且都和注册顺序没有直接关系（TGID 和注册顺序有一定关系，但不绝对）这些数据比大小没有意义，为什么不用字符串来存储？

您找的是不是：snowflake

201 天前

回复了 wencan 创建的主题 › 程序员 › 想白嫖点大模型的 api

自荐一下，9B 的模型，适合跑在本地
https://github.com/Azure99/BlossomLM

在线 Demo
https://huggingface.co/spaces/Azure99/Blossom-9B-Demo

208 天前

回复了 Hamao 创建的主题 › Python › [求助]能否推荐几个的使用 langchain 的开源项目（麻雀虽小的那种）

没必要，langchain 适合做实验的时候快速的把想法跑起来，以及对比各种同类组件的效果。上生产还是自己写最舒服灵活，另外 langchain 经常有破坏性变更/bug ，所以不建议。

234 天前

回复了 Azure99 创建的主题 › Local LLM › 分享一下自己训练的大模型

@1314258 很传统的 RAG ，query 改写，搜索，拼 prompt 一条龙

238 天前

回复了 xiaocaiji111 创建的主题 › 程序员 › 这芋道源码太恶心了吧？

不是，真有人捏着鼻子看这玩意啊？😃

241 天前

回复了 bankroft 创建的主题 › NAS › 躁动的心，想入手 emby/plex

一直用 jellyfin + nastool + jackett ，刮削从来不是问题

242 天前

回复了 Azure99 创建的主题 › Local LLM › 分享一下自己训练的大模型

@ljx626 算上造数据、实验、训练，大概几千吧。数据和实验是大头，如果只用开源数据集做 SFT 且数据量不大的话，花费很少

242 天前

回复了 Azure99 创建的主题 › Local LLM › 分享一下自己训练的大模型

@qW7bo2FbzbC0 个人感觉是因为对齐阶段，缺乏尝试->验证->回溯的数据（对于这种没有确定解题方法的问题，又好比 24 点，或者各类行测找规律的题），这有点像我们人类的思考方式，GPT 也只是有一些这种能力，但不多。

242 天前

回复了 jstony 创建的主题 › Windows › windows11 什么时候如丝般顺滑了？

只要配置拉到一个水平，windows 一直非常丝滑

242 天前

回复了 Azure99 创建的主题 › Local LLM › 分享一下自己训练的大模型

@Contextualist T4 * 2 ，不考虑并发的话 llama.cpp 会快不少。另外 HF 的 Zero GPU 也有免费 A100 40G 可以用了，可惜仅支持自家生态。

242 天前

回复了 Azure99 创建的主题 › Local LLM › 分享一下自己训练的大模型

@mightybruce 没太明白这个和 advICL 有什么关系

242 天前

回复了 Azure99 创建的主题 › Local LLM › 分享一下自己训练的大模型

@enderftt SFT 的 prompt 里没有 system prompt 的概念，内部 prompt 是下面这样的
A chat between a human and an artificial intelligence bot. The bot gives helpful, detailed, and polite answers to the human's questions.
|Human|: hello
|Bot|:

242 天前

回复了 Azure99 创建的主题 › Local LLM › 分享一下自己训练的大模型

@xiaohundun 可以理解成，对于一个指令，调用其他模型的输出作为标注输出。也就是让 GPT4 来标训练数据

242 天前

回复了 Azure99 创建的主题 › Local LLM › 分享一下自己训练的大模型

@enderftt 感谢反馈，下个版本会标注下这个 bad case 。另外如果回答不满意，可以点一下👎按钮，会收集的

1 2 3 4

❮

❯