Krman's recent timeline updates Krman's recent timeline updates |
KrmanV2EX member #227416, joined on 2017-04-23 15:22:25 +08:00Today's activity rank 22986 |
| 文明 6 本体游戏 steam 激活码 二手交易 • Krman • Dec 21, 2018 • Lastly replied by drlalll | 17 |
| 求一张莫文蔚重庆 10 月 27 日演唱会门票 莫文蔚 重庆 10 月 27 感谢 感谢 二手交易 • Krman • Oct 26, 2018 • Lastly replied by Krman | 4 |
| 出售好利来储值卡，限重庆本地，自提。 二手交易 • Krman • Feb 27, 2018 • Lastly replied by coolip888 | 1 |
Krman's recent replies
2 days ago Replied to a topic by logoutC › 程序员 › 问一个 Agent 达到 limit 后的操作问题 |
claude 和 gpt 的 kv cache 主要存储在显存和内存上，所以 ttl 较短，不像 ds 存储在硬盘上可以保存那么久。
TTL：缓存有效期。
TTL：缓存有效期。
2 days ago Replied to a topic by logoutC › 程序员 › 问一个 Agent 达到 limit 后的操作问题 |
1.目前好像只有 deepseek 的 kv cache 是存储在硬盘上的，ds 的 kv 缓存 ttl 数小时至几天，在有效的 ttl 内，ds 是按照账户 id 来缓存的。至于开几个 session ，什么时候开 session 对 kv cache 是没有影响的。ttl 过期或者服务器强制清除缓存后，会重新开始计算 kv ；
2.claude 和 gpt 的 kv cache ttl 默认只有 5 分钟，最多可延长到 1h （ token 消耗会增加）；
3.kv cache 复用是在 perfill 阶段，切记在 cc 或者其他 coding ide 上的同一 session 中不要随意切换模型（ subagent 可以调用任意 llm ，独立的 context ，不会污染主 session 中的 context ，所以也不会破坏 prompt cache ），这样会导致 kv cache 复用失败（原因是不同模型在 perfill 阶段对 qkv 计算维度都不一样）；
2.claude 和 gpt 的 kv cache ttl 默认只有 5 分钟，最多可延长到 1h （ token 消耗会增加）；
3.kv cache 复用是在 perfill 阶段，切记在 cc 或者其他 coding ide 上的同一 session 中不要随意切换模型（ subagent 可以调用任意 llm ，独立的 context ，不会污染主 session 中的 context ，所以也不会破坏 prompt cache ），这样会导致 kv cache 复用失败（原因是不同模型在 perfill 阶段对 qkv 计算维度都不一样）；
Nov 6, 2018 Replied to a topic by acmerliu › 程序员 › 统计一下，有谁登 QQ 是为了使用 QQ 截图？ |
微信截图 Ctrl+A
Nov 6, 2018 Replied to a topic by coderwickey › 程序员 › 14 年的联想 y40-70,还有必要从机械升级固态吗？（看到最近固态好价，之前一直不舍得买，捂脸） |
前天买的英睿达 240g，今天到，G470 准备满血复活。
Oct 28, 2018 Replied to a topic by PureWhiteWu › 问与答 › 家里有台闲置的笔记本，装了 ubuntu 18.04 可以用来做什么？ |
@kikyous 老哥 wine 吗？
Select Language