上次爬这座山还是高中了。。。
二十多的我，就不如十几岁的我妹了，她爬山爬的嗖嗖的，陡峭的坡都如履平地，一点不带累的（估计是因为我没吃饭，滴水未沾，但是我妹也没吃！）其实我初中也这样然后我就把包全给她了hhh（都是衣服不沉，其实轮着背的）
人的一生中，精力体力最旺盛的，应该就是初高中了吧，大学简直是断崖式下降（指的我自己，因为本来就没多好。。。所以开始有意识的多少，适当的锻炼）
这山被包了之后，好多地方都拦起来了，小路那种惊险刺激陡峭的劈立千仞土路坡，好像不让爬了，寺庙和基地都不能进了，以前其实是可以的，我和我爸还去看过里面的雷达和钻过乌漆嘛黑的山洞，和同学排排队肩搭肩也钻过，防空洞也挺凉快的，还看见同学攀爬过，坡度堪比垂直的峭壁，他甚至都没有防护。。。沿路卖东西的玩的也都几乎没有了，进来还得登记，估计是为了防火安全
中间看见小车卡住了，靠人力发射hhh，还看见有个妈妈，背着小朋友在爬，好厉害，还有骑行上来的，也是牛，突然觉得我平时骑行爬的那些坡也不算什么了。。。
就是天不太好，有点雾蒙蒙的
这种人文气息，有了人类文明的社会！

最近开了Max 5x，频繁使用CC，所以想弄一个美观且信息密度高的状态栏。
这次没有直接用开源项目的方案，自己结合CC写了一个自定义的状态栏来显示一些必要信息。
有关缓存命中率的部分，我也是参考了Customize your status line官方文档中的定义来计算的。
具体代码片段如下：
# Cache hit rate
CUR_TOTAL_IN=$((CUR_INPUT + CUR_CACHE_CREATE + CUR_CACHE_READ))
if [ "$CUR_TOTAL_IN" -gt 0 ] 2>/dev/null; then
    CACHE_HIT=$(awk "BEGIN { printf \"%.0f\", ${CUR_CACHE_READ}/${CUR_TOTAL_IN}*100 }")
    CTX_CONTENT+="Hit ${CACHE_HIT}% "
fi

注意到这个缓存命中率一开始可能会在60%至90%，后边的请求会直接达到99%甚至100%。
这就导致这个指标变得没有意义了起来，绝大多数停下来的时候都是100%。╮(╯▽╰)╭


而且，即使代码中没有限制最大值，这个值也从来没有超过100%。如果是计算方法有误，这个值是不是会偶尔超过100%。
所以，有没有懂的佬友讲一下，是真的能达到这么恐怖的缓存命中率吗？

受到 @bfloat16 佬的启发，个人决定开一个笔记分享系列，一方面是促进自己阅读论文的动力，希望每次阅读时，能够细心一些分析有价值的论文，并将这些感悟记录下来，留给有需要的佬友。另一方面是希望与佬们交流见闻，促进自己的视野。本论文分享系列会持续更新，聚焦LLM/Agentic/CV方向的论文。

0.元信息
论文标题：Expanding LLM Agent Boundaries with Strategy-Guided Exploration
单位：苹果
原始论文：[2603.02045] Expanding LLM Agent Boundaries with Strategy-Guided Exploration
1.前言
本文提出了一种可插拔式的方法，基于GRPO进行实验，因此可以视为对GRPO的改进，但也可应用于其他RL方法。其主要针对策略模型的采样阶段，不涉及奖励函数部分。该方法能够根据本轮的轨迹情况，将反馈引入下一轮，从而改变采样阶段的行为，这一理念较为新颖有趣。
过往已有类似的生成温度调节和采样阶段设计，但本文的设计更为灵活简洁；此外，其聚焦于Agentic场景的应用效果，领域也更为新颖。本文的方法图质量实在是不尽人意，实在过于模糊，论文整体可视化做得也比较差，难以相信出自苹果之手…虽然近年来苹果的论文质量确实有些一般就是了。
2.问题
本文聚焦于解决传统RL方法在LLM后训练中探索能力匮乏的问题。简单来说，我们在进行RL后训练时，期望模型找到一条最佳的采样路径，但受限于奖励函数的设计缺陷与复杂的决策空间，这通常很难实现。
在奖励函数方面，我们常常面临奖励过于稀疏的问题，例如分类正确性奖励仅反馈0或1，对应正确与否，那么不同的探索路径也只会得到0/1的优势差异。当组间优势差异过低时，便会产生优势消失问题，模型容易陷入优化困难的局面，难以积极探索新的路径。
3.动机
作者注意到，单纯改变生成温度来引入多样性，在Agentic交互中效果不佳。原因在于，虽然温度改变了模型的交互坐标，但其决策本身并未变化——例如点击的仍是同一个按钮，只是