tsuijinglei

@Clannad0708

评估分为两个视角

首先是性能、成本方面，也就是你说的上下文处理效率，从用户发起一个请求，经过几个环节的 prompt 注入，最后得到一个结果，这中间每一个环节都需要有个留痕，通过 traceid 串起来；

有了这个基础设施之后，我基于目标的 userstory 所对应的场景，每个场景准备 n 个场景的用户 query ，保证 query 覆盖面在实际场景中能占到 70%左右；用这些 query 做端到端的观测，看上下文、skill 、思考过程中有没有什么多余的动作，这些多余的动作有没有额外的 token 消耗；

如果识别到了这种多余的动作或者异常的 token 消耗，就会走一套比较严谨的消融实验来论证要不要优化某个环节的设计；

其次是业务效果方面也会分两块，首先是客观效果，这块其实是关心业务目标，然后基于业务目标，拆解成一套可以刻画业务目标的评估维度，围绕着维度，mock 了一套测试集，定义好输入输出，因为我是销售 agent 场景,你可以理解为长得像这套 salesforce 定义的一套 benchmark,https://huggingface.co/datasets/Salesforce/CRMArena/viewer
通过这套 benchmark ，我们能够定义 agent 出厂的质量；

而主观的质量就要通过缓慢的灰度发布来一步步的和用户磨合了,每周多开一批用户，设定一个灰度预期，然后与用户泡在一起使用，看看有没有没想到的问题,直至推全；好的 agent 产品是规划不出来的；

@shyrock2026

用户五位数，因为是服务销售人员，销售人员大概一万多人吧；
覆盖的客户就多了，日均处理时百万级；所以 token 消耗大

这个好，正好在找

牛逼牛逼！太好用了

@Sawyerhou 核心逻辑是不能追，因为 PTA 主要挂钩原油价格，不跟随情绪，涨的也有限。能追的也不敢说，只能提供客观的一些信息收集结果，能不能追还是得大家自己判断。

建议有个动物形象，会更容易植入概念一些，比如：
小喜鹳
或者埋一个伏笔，让人在打开小程序后，看到 solgan 能够觉得：妙啊
比如
小蚯蚓：用心一也。

唉，学历是非常高效的筛选条件，在高学历中捞高能力的人，比在低学历中捞高能力的人的命中率更高。我觉得这可能是大多数企业的想法。

但是如果有些企业，希望追求极致的性价比，比如能力高要价低的人，那也许就会看看低学历的人中有没有沧海遗珠。这种公司一般都是创业公司。

BTW ，我自己也是专升本，痛苦挣扎中。

@leoshcn 谢谢老哥，美股我们会逐步覆盖的

拜谢大家帮忙参与冷启动，希望我们能做成好产品