最近开了Max 5x，频繁使用CC，所以想弄一个美观且信息密度高的状态栏。
这次没有直接用开源项目的方案，自己结合CC写了一个自定义的状态栏来显示一些必要信息。
有关缓存命中率的部分，我也是参考了Customize your status line官方文档中的定义来计算的。
具体代码片段如下：
# Cache hit rate
CUR_TOTAL_IN=$((CUR_INPUT + CUR_CACHE_CREATE + CUR_CACHE_READ))
if [ "$CUR_TOTAL_IN" -gt 0 ] 2>/dev/null; then
    CACHE_HIT=$(awk "BEGIN { printf \"%.0f\", ${CUR_CACHE_READ}/${CUR_TOTAL_IN}*100 }")
    CTX_CONTENT+="Hit ${CACHE_HIT}% "
fi

注意到这个缓存命中率一开始可能会在60%至90%，后边的请求会直接达到99%甚至100%。
这就导致这个指标变得没有意义了起来，绝大多数停下来的时候都是100%。╮(╯▽╰)╭


而且，即使代码中没有限制最大值，这个值也从来没有超过100%。如果是计算方法有误，这个值是不是会偶尔超过100%。
所以，有没有懂的佬友讲一下，是真的能达到这么恐怖的缓存命中率吗？

受到 @bfloat16 佬的启发，个人决定开一个笔记分享系列，一方面是促进自己阅读论文的动力，希望每次阅读时，能够细心一些分析有价值的论文，并将这些感悟记录下来，留给有需要的佬友。另一方面是希望与佬们交流见闻，促进自己的视野。本论文分享系列会持续更新，聚焦LLM/Agentic/CV方向的论文。

0.元信息
论文标题：Expanding LLM Agent Boundaries with Strategy-Guided Exploration
单位：苹果
原始论文：[2603.02045] Expanding LLM Agent Boundaries with Strategy-Guided Exploration
1.前言
本文提出了一种可插拔式的方法，基于GRPO进行实验，因此可以视为对GRPO的改进，但也可应用于其他RL方法。其主要针对策略模型的采样阶段，不涉及奖励函数部分。该方法能够根据本轮的轨迹情况，将反馈引入下一轮，从而改变采样阶段的行为，这一理念较为新颖有趣。
过往已有类似的生成温度调节和采样阶段设计，但本文的设计更为灵活简洁；此外，其聚焦于Agentic场景的应用效果，领域也更为新颖。本文的方法图质量实在是不尽人意，实在过于模糊，论文整体可视化做得也比较差，难以相信出自苹果之手…虽然近年来苹果的论文质量确实有些一般就是了。
2.问题
本文聚焦于解决传统RL方法在LLM后训练中探索能力匮乏的问题。简单来说，我们在进行RL后训练时，期望模型找到一条最佳的采样路径，但受限于奖励函数的设计缺陷与复杂的决策空间，这通常很难实现。
在奖励函数方面，我们常常面临奖励过于稀疏的问题，例如分类正确性奖励仅反馈0或1，对应正确与否，那么不同的探索路径也只会得到0/1的优势差异。当组间优势差异过低时，便会产生优势消失问题，模型容易陷入优化困难的局面，难以积极探索新的路径。
3.动机
作者注意到，单纯改变生成温度来引入多样性，在Agentic交互中效果不佳。原因在于，虽然温度改变了模型的交互坐标，但其决策本身并未变化——例如点击的仍是同一个按钮，只是