首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX
›
OpenAI
LLM 的长文本的复杂推理优化问题
teli
·
24 天前
· 846 次点击
提示词长度几 K
输入加输出,大概 10K
推理是个树状的结构
如果直接单轮,准确性问题很大
"一步步思考"之类是个摆设
结构化提示词也收效甚微
也试过请 llm 自己优化提示词,没给出什么有价值的优化
目前发现效果最好的是,把整个任务拆了,每个子任务只包含需要的部分,每次只请求一个任务
这个方案缺点有:
1. token 翻倍(这个怎么解决? 毕竟 token 就是金钱)
2. 耗时翻倍(这个可以并发解决)
或者大家有没有更好的方案?
3 条回复
•
2024-09-14 06:42:51 +08:00
1
mumbler
24 天前
试过 openai 刚刚发布的 o1 模型吗,专门解决复杂推理
2
wencan
24 天前 via Android
@
mumbler
国内上生产要提供算法备案
3
TimePPT
23 天前 via Android
当前没有很好办法解决,保准确率只能牺牲时延和增加计算量,做法就是你说的拆任务配合传统循环+条件判断组成 workflow 控制,这也是为啥会有 dify 这种产品存在
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
756 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms ·
UTC 22:25
·
PVG 06:25
·
LAX 15:25
·
JFK 18:25
Developed with
CodeLauncher
♥ Do have faith in what you're doing.