[AI Glimpse 科普系列] KV Cache 的原理推导与代码实现(基于 GPT2)
- 博客地址: [LLM KV Cache: A Simple Implementation]( https://datahonor.com/blog/2025/06/03/llm_kv_cache/)
- 重点讲解了为什么需要在推理阶段做 KV Cache
- 代码基于 GPT2 实现，可以在 16G 显卡上运行复现，代码开源在 [ai-glimpse/toyllm: ToyLLM: Learning LLM from Scratch]( https://github.com/ai-glimpse/toyllm)
- 博客地址: [LLM KV Cache: A Simple Implementation]( https://datahonor.com/blog/2025/06/03/llm_kv_cache/)
- 重点讲解了为什么需要在推理阶段做 KV Cache
- 代码基于 GPT2 实现，可以在 16G 显卡上运行复现，代码开源在 [ai-glimpse/toyllm: ToyLLM: Learning LLM from Scratch]( https://github.com/ai-glimpse/toyllm)
有 PC 硬件大佬吗？新配的 9700X+5070Ti 玩 3A 游戏突然频繁卡顿
最近刚装了一台新 PC ，配置是 9700X + 5070 Ti ，使用大概半个月左右，遇到一个比较诡异的问题：
打 3A 游戏（巫师三）时，4K 分辨率，中高画质。前 1-2 个小时一切正常，帧数也比较稳定。但玩着玩着就突然开始出现规律性的卡顿——大概每隔几秒画面就会停顿一下，随后恢复，接着反复，甚至再过一会可能会整个画面直接卡死，但声音还在正常播放。在加载新的过场动画时卡死的概率貌似会高一些，但不是很肯定。
我看了一下卡死时的传感器信息：显存占用大概在 89%，GPU 使用率 100%，GPU 温度 70°C 左右（感觉还在正常范围）
想请问这个问题是什么原因导致的？有没有什么排查思路或建议？求懂行的大佬指点一下🙏。
最近刚装了一台新 PC ，配置是 9700X + 5070 Ti ，使用大概半个月左右，遇到一个比较诡异的问题：
打 3A 游戏（巫师三）时，4K 分辨率，中高画质。前 1-2 个小时一切正常，帧数也比较稳定。但玩着玩着就突然开始出现规律性的卡顿——大概每隔几秒画面就会停顿一下，随后恢复，接着反复，甚至再过一会可能会整个画面直接卡死，但声音还在正常播放。在加载新的过场动画时卡死的概率貌似会高一些，但不是很肯定。
我看了一下卡死时的传感器信息：显存占用大概在 89%，GPU 使用率 100%，GPU 温度 70°C 左右（感觉还在正常范围）
想请问这个问题是什么原因导致的？有没有什么排查思路或建议？求懂行的大佬指点一下🙏。
观《吃辣条被老师扇耳光》，想起我的初中班主任
我初中班主任，同样是这种随意殴打学生，并且无故泄愤之徒。
可笑的是他在家长中口碑很好。
因为他曾经有一个学生，后来考上了清华，那个人刚好是我的邻居。
所以入学时，家长希望我考入他的班，我也以此为目标。
结果。。。误入狼窟。
我是 80 后，那个时候，老师是很有权威的职业，而且没有有效的反馈及监督制度。
老师的话，家长听之信之，这就导致实际上他可以为所欲为。
我其实一开始成绩很不错，班上总共 72 个人，我是前 20 名，。
但后来发现他总是殴打体罚别的同学，很多人私下里骂他。
那时候我莫名的正义感爆棚，就觉得这样的人，不配让我听他的课。
所以就直接不听他的课，成绩直线下滑。
后面就开始被他针对打压，加上恨屋及乌，觉得天下的老师都是一般黑。
我也就彻底摆烂，所有课都不听，自暴自弃了很久。
他这人是那种看你不顺眼，就各种借题发挥的。
比如有次他把我叫到办公室，打了我一顿，之后他有点理屈，就问我“你知不知道为什么打你”。
我说不知道，他就说“是因为你作业做错了”，然后把我赶回教室，作业发下来，我全是对的（当然我是抄的，但他不知道）。
同样的行为，比如课间打闹，成绩好的，他就觉得很活泼，成绩差的，他就说这人很痞。
我其实一向比较老实，他就给我冠以“闷痞”，又闷又痞，
因为他找不到我调皮的时候，又觉得成绩差的必须痞，
而实际上我除了成绩不好，上课也只是在自己看课外书，放学了打打篮球，既没闹过事，也没打过架。
还有一次 是另个同学上课扔纸团，当时是语文课，老师只看到有东西飞过，不知道谁扔的，
误以为是我。让我下课去办公室说明情况。本来几句话就能解释的事情。
班主任在办公室看到了，连是什么事都不问，直接指着墙边，说去站着吧。
这一站，站了一个礼拜，从始至终没问过我，我也无所谓，
后面估计他看烦了，就让我回去了。
他还经常威胁学生。比如放学，他经过我身边，就突然说“我要让你这个学上不下去”。哪怕我当时只是在步行回家。
一开始我确实有被吓到，后来听多了就懒得理他。
偶尔我家长会去学校问询我的近况，他从来都是搬弄是非，无中生有。
然后我回到家，就会面临新一轮的疾风暴雨。
这些都是我毕业后和家长对质，才发现的。
当时家里并不知道，所以就很支持老师多管教我。
当然，他不只是对我如此。
班上有不少同学，都经常被他殴打体罚。
有人被当众扇了十几个耳光，后来我们戏谑“他不愧是以前打乒乓球的，正手抽完反手抽”。
有个同学中午放学，同样是被他叫到办公室殴打。
离开办公室后，他背着书包，直接离家出走了，家长闹到学校来。
给那个同学换了个班，这事就不了了之了。
当时班级里
真就像一个吃人压榨的社会。
成绩好的看不起成绩差的，以打小报告为荣，来换取老师的信任。
老师借题发挥，挤兑针对成绩差的。
成绩差的呢，就拉帮结派，互相挤压。
初三时班上经常打群架，我旁观过好几次。
强势的欺负弱小的，并不需要多少理由，甚至没有利益冲突。
有次我差点被打，原因是经常一起打球的人，觉得我从来没被打过，就觉得很不爽，询问其他人要不要打我一顿。
最让我触目惊心的是有些同学的心理状态。
我亲眼看到两个同学，在课间互相拿着铅笔刀，划对方的手背，
是一边笑，一边划，你先划我一刀，，然后我再划你一刀，
一直划，一直笑，手背上都是血。
这一幕我真的到现在都还记得，甚至还有点惊悚的感觉。
班主任还经常指使成绩差的给他干活，包括我。
例如给他搬东西，给他打水用来烧茶。
最搞笑的是，
所有给他打水的人，都给他水里加料，吐痰，擤鼻涕，扔沙子。
除了我。
前面说过，我其实是个很老实的人。
但因为他对我印象很差，所以他就怀疑我。
他被打过好几次，
我知道的几次都是已经毕业的人，回来打他。
闹到了派出所。
但他自以为这很荣誉，觉得自己是教书育人，被打只是一种考验。更能显得他刚正不阿。
为什么我没反抗呢。
初一初二的学生，说白了，和小学生心态差不多。
觉得大人就是权威，大人的话不能反抗。
前几年，我偶尔又想起这个人，
在网上搜索他的名字，
居然在天涯社区还看到了相关的内容。
不知道是哪一届的学生留言“真想回去打死他”。
可见他不知道荼毒了多少个人。
初中的经历，也让我对教师这一行业去了滤镜。
不管再怎么光鲜，伟大地职业，都不乏小人。
人性是不变的，有好人就会有恶人，不管是在哪里。
凡事要就事论事，不可一概而论。
初中至今已经二三十年了，
现在想来，他应该已经是冢中枯骨了。
可能到死他都还觉得自己这辈子多么地伟光正呢。
不过我不跟死人计较。
我初中班主任，同样是这种随意殴打学生，并且无故泄愤之徒。
可笑的是他在家长中口碑很好。
因为他曾经有一个学生，后来考上了清华，那个人刚好是我的邻居。
所以入学时，家长希望我考入他的班，我也以此为目标。
结果。。。误入狼窟。
我是 80 后，那个时候，老师是很有权威的职业，而且没有有效的反馈及监督制度。
老师的话，家长听之信之，这就导致实际上他可以为所欲为。
我其实一开始成绩很不错，班上总共 72 个人，我是前 20 名，。
但后来发现他总是殴打体罚别的同学，很多人私下里骂他。
那时候我莫名的正义感爆棚，就觉得这样的人，不配让我听他的课。
所以就直接不听他的课，成绩直线下滑。
后面就开始被他针对打压，加上恨屋及乌，觉得天下的老师都是一般黑。
我也就彻底摆烂，所有课都不听，自暴自弃了很久。
他这人是那种看你不顺眼，就各种借题发挥的。
比如有次他把我叫到办公室，打了我一顿，之后他有点理屈，就问我“你知不知道为什么打你”。
我说不知道，他就说“是因为你作业做错了”，然后把我赶回教室，作业发下来，我全是对的（当然我是抄的，但他不知道）。
同样的行为，比如课间打闹，成绩好的，他就觉得很活泼，成绩差的，他就说这人很痞。
我其实一向比较老实，他就给我冠以“闷痞”，又闷又痞，
因为他找不到我调皮的时候，又觉得成绩差的必须痞，
而实际上我除了成绩不好，上课也只是在自己看课外书，放学了打打篮球，既没闹过事，也没打过架。
还有一次 是另个同学上课扔纸团，当时是语文课，老师只看到有东西飞过，不知道谁扔的，
误以为是我。让我下课去办公室说明情况。本来几句话就能解释的事情。
班主任在办公室看到了，连是什么事都不问，直接指着墙边，说去站着吧。
这一站，站了一个礼拜，从始至终没问过我，我也无所谓，
后面估计他看烦了，就让我回去了。
他还经常威胁学生。比如放学，他经过我身边，就突然说“我要让你这个学上不下去”。哪怕我当时只是在步行回家。
一开始我确实有被吓到，后来听多了就懒得理他。
偶尔我家长会去学校问询我的近况，他从来都是搬弄是非，无中生有。
然后我回到家，就会面临新一轮的疾风暴雨。
这些都是我毕业后和家长对质，才发现的。
当时家里并不知道，所以就很支持老师多管教我。
当然，他不只是对我如此。
班上有不少同学，都经常被他殴打体罚。
有人被当众扇了十几个耳光，后来我们戏谑“他不愧是以前打乒乓球的，正手抽完反手抽”。
有个同学中午放学，同样是被他叫到办公室殴打。
离开办公室后，他背着书包，直接离家出走了，家长闹到学校来。
给那个同学换了个班，这事就不了了之了。
当时班级里
真就像一个吃人压榨的社会。
成绩好的看不起成绩差的，以打小报告为荣，来换取老师的信任。
老师借题发挥，挤兑针对成绩差的。
成绩差的呢，就拉帮结派，互相挤压。
初三时班上经常打群架，我旁观过好几次。
强势的欺负弱小的，并不需要多少理由，甚至没有利益冲突。
有次我差点被打，原因是经常一起打球的人，觉得我从来没被打过，就觉得很不爽，询问其他人要不要打我一顿。
最让我触目惊心的是有些同学的心理状态。
我亲眼看到两个同学，在课间互相拿着铅笔刀，划对方的手背，
是一边笑，一边划，你先划我一刀，，然后我再划你一刀，
一直划，一直笑，手背上都是血。
这一幕我真的到现在都还记得，甚至还有点惊悚的感觉。
班主任还经常指使成绩差的给他干活，包括我。
例如给他搬东西，给他打水用来烧茶。
最搞笑的是，
所有给他打水的人，都给他水里加料，吐痰，擤鼻涕，扔沙子。
除了我。
前面说过，我其实是个很老实的人。
但因为他对我印象很差，所以他就怀疑我。
他被打过好几次，
我知道的几次都是已经毕业的人，回来打他。
闹到了派出所。
但他自以为这很荣誉，觉得自己是教书育人，被打只是一种考验。更能显得他刚正不阿。
为什么我没反抗呢。
初一初二的学生，说白了，和小学生心态差不多。
觉得大人就是权威，大人的话不能反抗。
前几年，我偶尔又想起这个人，
在网上搜索他的名字，
居然在天涯社区还看到了相关的内容。
不知道是哪一届的学生留言“真想回去打死他”。
可见他不知道荼毒了多少个人。
初中的经历，也让我对教师这一行业去了滤镜。
不管再怎么光鲜，伟大地职业，都不乏小人。
人性是不变的，有好人就会有恶人，不管是在哪里。
凡事要就事论事，不可一概而论。
初中至今已经二三十年了，
现在想来，他应该已经是冢中枯骨了。
可能到死他都还觉得自己这辈子多么地伟光正呢。
不过我不跟死人计较。
每次看见彩礼相关帖子都很窒息
1. 自己的能力有多大办多大的事，不符合能力的结婚条件要学会更换正确的对象。
2. 父母把子女养到毕业，义务就尽完了。
为什么有这么多逼父母卖房，买房给彩礼的呢？
新的小家庭需要帮扶，不是让原生家庭负债累累影响原生家庭自己的生活质量。
我也有个儿子，如果他长大这样让我买一线城市的房，被他批评我不懂人情世故，拿不出 20w 。
我应该很自责没帮到他吧。
但是我如果这样做，我真的会瞧不起自己甚至感觉`妄为人`
1. 自己的能力有多大办多大的事，不符合能力的结婚条件要学会更换正确的对象。
2. 父母把子女养到毕业，义务就尽完了。
为什么有这么多逼父母卖房，买房给彩礼的呢？
新的小家庭需要帮扶，不是让原生家庭负债累累影响原生家庭自己的生活质量。
我也有个儿子，如果他长大这样让我买一线城市的房，被他批评我不懂人情世故，拿不出 20w 。
我应该很自责没帮到他吧。
但是我如果这样做，我真的会瞧不起自己甚至感觉`妄为人`
Proud to Unveil My Most Passionate Project: AI Ghibli Video Generator - Your Feedback Welcomed!
I'm incredibly proud to share https://aighibli.video/ - this is hands down the most meticulously crafted website I've ever created. Every detail has been carefully considered, from the user interface design to the seamless generation experience.
What makes me especially excited is how well the aesthetic aligns with the magical world of Studio Ghibli. The generation page delivers remarkably smooth performance and produces stunning results that truly capture that enchanting Ghibli essence we all love.
I genuinely welcome any feedback, suggestions, or constructive criticism from the community. Your insights are invaluable in making this platform even better. If you encounter any difficulties or have ideas for improvements, I'll be happy to reward thoughtful feedback with bonus credits!
Please feel free to send your thoughts and suggestions to: support@aighiblivideo.com
Thank you for being part of this creative journey. Let's bring more Ghibli magic to the world together! ✨
I'm incredibly proud to share https://aighibli.video/ - this is hands down the most meticulously crafted website I've ever created. Every detail has been carefully considered, from the user interface design to the seamless generation experience.
What makes me especially excited is how well the aesthetic aligns with the magical world of Studio Ghibli. The generation page delivers remarkably smooth performance and produces stunning results that truly capture that enchanting Ghibli essence we all love.
I genuinely welcome any feedback, suggestions, or constructive criticism from the community. Your insights are invaluable in making this platform even better. If you encounter any difficulties or have ideas for improvements, I'll be happy to reward thoughtful feedback with bonus credits!
Please feel free to send your thoughts and suggestions to: support@aighiblivideo.com
Thank you for being part of this creative journey. Let's bring more Ghibli magic to the world together! ✨
请教一下 V2EX polish 是否已闭源？
刚才整理插件的时候发现，V2EX polish 插件在谷歌商店一直更新，最新更新为今日（ 2025 年 6 月 4 日）
https://chromewebstore.google.com/detail/V2EX%20Polish/onnepejgdiojhiflfoemillegpgpabdm
但是在 GitHub 仓库中，最新提交日期为三个月前，且最新一版 releases 为 2024 年，而且版本号相差甚远
---
所以好奇是不是闭源了，目前并没有发现什么异常，所以还在继续使用
刚才整理插件的时候发现，V2EX polish 插件在谷歌商店一直更新，最新更新为今日（ 2025 年 6 月 4 日）
https://chromewebstore.google.com/detail/V2EX%20Polish/onnepejgdiojhiflfoemillegpgpabdm
但是在 GitHub 仓库中，最新提交日期为三个月前，且最新一版 releases 为 2024 年，而且版本号相差甚远
---
所以好奇是不是闭源了，目前并没有发现什么异常，所以还在继续使用
你的每一份工作，在将来都可能非常重要。
被公司裁员，找工作俩月有余，可能因为年纪大了，一直没有下文。就在内心一步步逼近崩溃的时候，突然一个面试救了我。面试官是原来跳槽走的一个同事，在另一家公司成了领导，一开头他就让 HR 下线了，然后问了我一句：你是 XX 公司 XX 组的 XX 吗？我心里一惊，看了一下他的名字，很熟悉的名字，我也弱弱问了一句：你不会是 X 月跳走的 XX 吧？对方哈哈一笑，他懂了，我也懂了。半个小时的视频面试，没聊一句问题，他问问我近况我问问他近况，最后他说，XX ，你考虑一下，你要愿意来我特别欢迎，待遇这块我也帮你和 HR 争取。因为原先公司的共事经历，让他对我相当信任。结束会议后，感觉世界突然就明亮了。我微微一笑，长舒一口气。
希望大家，认真做好每一天的工作，高质量的产出，和同事搞好关系。你不知道哪一天，你的哪一段工作经历，哪一位同事，可以救你的命。如果你不是一个外向的人，不愿意去认识很多人，就尽可能维护好同事圈，学习高情商的沟通技巧，不只是技术同事，要珍惜每一次能和每一个职能部门的同事沟通的机会，让他们记得你的专业，你的谦和，你的为人处世。没事，内向的人可能没有那么多的人脉，但你会被很多人记住的。
被公司裁员，找工作俩月有余，可能因为年纪大了，一直没有下文。就在内心一步步逼近崩溃的时候，突然一个面试救了我。面试官是原来跳槽走的一个同事，在另一家公司成了领导，一开头他就让 HR 下线了，然后问了我一句：你是 XX 公司 XX 组的 XX 吗？我心里一惊，看了一下他的名字，很熟悉的名字，我也弱弱问了一句：你不会是 X 月跳走的 XX 吧？对方哈哈一笑，他懂了，我也懂了。半个小时的视频面试，没聊一句问题，他问问我近况我问问他近况，最后他说，XX ，你考虑一下，你要愿意来我特别欢迎，待遇这块我也帮你和 HR 争取。因为原先公司的共事经历，让他对我相当信任。结束会议后，感觉世界突然就明亮了。我微微一笑，长舒一口气。
希望大家，认真做好每一天的工作，高质量的产出，和同事搞好关系。你不知道哪一天，你的哪一段工作经历，哪一位同事，可以救你的命。如果你不是一个外向的人，不愿意去认识很多人，就尽可能维护好同事圈，学习高情商的沟通技巧，不只是技术同事，要珍惜每一次能和每一个职能部门的同事沟通的机会，让他们记得你的专业，你的谦和，你的为人处世。没事，内向的人可能没有那么多的人脉，但你会被很多人记住的。
freeimghost 图床 怎么样？
网站里没有写明使用频率，存储额度，流量上限等，不知道怎么收费的。
现在想找一个大点的图床，空间可能需要几 T ，这个图床不知道怎么怎么样，有请用过的彦祖们点评一下
https://freeimghost.net
网站里没有写明使用频率，存储额度，流量上限等，不知道怎么收费的。
现在想找一个大点的图床，空间可能需要几 T ，这个图床不知道怎么怎么样，有请用过的彦祖们点评一下
https://freeimghost.net
[北京] 即时设计/图虫招聘资深 DBA [40-50k*16]
base: 北京
岗位职责
1. 梳理各业务线数据库、存储等资源情况，制定优化方案并推动落地
2. 支撑各业务线研发的数据库日常需求，保障线上数据库业务稳定性
3. 在业务支撑中提取数据库需求推动建设自动化平台提升产研效率
任职要求
1. 大学本科及以上学历并取得相应学位，计算机及相关专业优先，5 年以上相关工作经验
2. 熟悉阿里云、腾讯云、火山引擎等公有云各类数据库产品，有大规模云数据库优化实践经验
3. 熟练掌握常用开源数据库产品(mysql/redis/es/mongo 等) 性能优化技巧，有大规模集群运维优化经验
4. 熟练掌握常用开源大规模 KV 存储（ kvrocks / tendis / PikiwiDB / Redis-On-Rocks 等）性能优化技巧，并有实践落地经验
5. 熟练掌握开源向量数据库(milvus 等)，有大规模向量数据库集群运维经验
投递邮箱(base64)：NTk1NzY4NjIxQHFxLmNvbQ==
任职要求不需要全部满足，在数据库领域有丰富经验的都欢迎投递试试
---
公司主要业务
1. 即时设计：js.design
2. 图虫网：tuchong.com
3. AI 生图: a1.art
4. AI 建站: wegic.ai
base: 北京
岗位职责
1. 梳理各业务线数据库、存储等资源情况，制定优化方案并推动落地
2. 支撑各业务线研发的数据库日常需求，保障线上数据库业务稳定性
3. 在业务支撑中提取数据库需求推动建设自动化平台提升产研效率
任职要求
1. 大学本科及以上学历并取得相应学位，计算机及相关专业优先，5 年以上相关工作经验
2. 熟悉阿里云、腾讯云、火山引擎等公有云各类数据库产品，有大规模云数据库优化实践经验
3. 熟练掌握常用开源数据库产品(mysql/redis/es/mongo 等) 性能优化技巧，有大规模集群运维优化经验
4. 熟练掌握常用开源大规模 KV 存储（ kvrocks / tendis / PikiwiDB / Redis-On-Rocks 等）性能优化技巧，并有实践落地经验
5. 熟练掌握开源向量数据库(milvus 等)，有大规模向量数据库集群运维经验
投递邮箱(base64)：NTk1NzY4NjIxQHFxLmNvbQ==
任职要求不需要全部满足，在数据库领域有丰富经验的都欢迎投递试试
---
公司主要业务
1. 即时设计：js.design
2. 图虫网：tuchong.com
3. AI 生图: a1.art
4. AI 建站: wegic.ai
iOS Safari Google 搜索跳转 App Store
iOS Safari Google 搜索跳转 App Store 怎么破？它应该是跳转到 Google App 但是我没有安装，国区 App Store 也没有这个 App ，跳得好烦，有没有办法阻止跳转？
我在 Quantumult X 写了条规则 HOST-SUFFIX, search.app.goo.gl, reject 它倒是不跳到 App Store ,但是 Safari 显示页面无法打开……
iOS Safari Google 搜索跳转 App Store 怎么破？它应该是跳转到 Google App 但是我没有安装，国区 App Store 也没有这个 App ，跳得好烦，有没有办法阻止跳转？
我在 Quantumult X 写了条规则 HOST-SUFFIX, search.app.goo.gl, reject 它倒是不跳到 App Store ,但是 Safari 显示页面无法打开……
StarDots 注册用户突破 1000 人啦～ 🎉
[星光图床]( https://stardots.io)自上线以来，不断的升级服务质量、优化用户体验。这其中也感谢用户们的意见和反馈，你们的支持是我们前进的不懈动力！🎁🎁🎁
不久前，注册用户已经突破 1000 人，感谢各位用户的信任与支持 🎉 🎉 🎉
🚀 官网地址：
https://stardots.io
[星光图床]( https://stardots.io)自上线以来，不断的升级服务质量、优化用户体验。这其中也感谢用户们的意见和反馈，你们的支持是我们前进的不懈动力！🎁🎁🎁
不久前，注册用户已经突破 1000 人，感谢各位用户的信任与支持 🎉 🎉 🎉
🚀 官网地址：
https://stardots.io