又是蒸馏。。
敲完“又是蒸馏”这几个字以后，我轻松愉悦地把腿搁到桌子上
靠在椅背上的那一刻，我仿佛能透过屏幕，预见到几分钟后这片评论区的腥风血雨，嘴角不自觉地微微上扬，手指在桌上有节奏地敲击着，心里那股恶作剧得逞的满足感油然而生
我知道这模型和“白盒蒸馏”半毛钱关系都没有。人家闭源大厂连个logits和隐状态都捂得死死的，它可能只是调API做基准测试，可能只是用合成数据跑了点SFT，甚至可能只是多采样了几次top-p
但那又怎样?只要我投下这枚狗哨，马上就会有应激的蒸小子愤怒扣字:“我不懂什么大模型，我还不懂⏰？肯定偷的！”，闻着味来的同类跟着共振团建，高呼“瓦房店AI全是抄美国的”，原地狂欢
看着那些被我轻描淡写四个字搅得热火朝天的标点符号，我抿了一口凉白开，深藏功与名
在互联网的这片混沌里，他们以为自己在给硅谷大厂当精神股东，而我，只是快乐地当了一回掌控全局的乐子人，这种空手套白狼的快乐，往往就是这么简单且枯燥
敲完“又是蒸馏”这几个字以后，我轻松愉悦地把腿搁到桌子上
靠在椅背上的那一刻，我仿佛能透过屏幕，预见到几分钟后这片评论区的腥风血雨，嘴角不自觉地微微上扬，手指在桌上有节奏地敲击着，心里那股恶作剧得逞的满足感油然而生
我知道这模型和“白盒蒸馏”半毛钱关系都没有。人家闭源大厂连个logits和隐状态都捂得死死的，它可能只是调API做基准测试，可能只是用合成数据跑了点SFT，甚至可能只是多采样了几次top-p
但那又怎样?只要我投下这枚狗哨，马上就会有应激的蒸小子愤怒扣字:“我不懂什么大模型，我还不懂⏰？肯定偷的！”，闻着味来的同类跟着共振团建，高呼“瓦房店AI全是抄美国的”，原地狂欢
看着那些被我轻描淡写四个字搅得热火朝天的标点符号，我抿了一口凉白开，深藏功与名
在互联网的这片混沌里，他们以为自己在给硅谷大厂当精神股东，而我，只是快乐地当了一回掌控全局的乐子人，这种空手套白狼的快乐，往往就是这么简单且枯燥
😁6🥰2
我们不要再聊晚霞，小动物和音乐了。
我们可以聊聊你最近的算法进展吗？线性代数复习到哪一步了呀，矩阵分解还记得多少，特征值和奇异值的区别能讲清楚吗？概率论呢，条件概率、贝叶斯公式和最大似然估计还熟悉吗？随机变量的分布都记得吗，期望和方差能不能直接推出来？你最近有看优化理论吗，梯度下降为什么能收敛，凸优化的条件还记得吗？KKT 条件会推吗，遇到非凸问题怎么办？Adam 和 SGD 的区别能从公式上解释吗？
如果数学基础还没补完，要不要和算法一起学？辛苦一点也没关系，多理解一点总是好的。你最近有研究算子吗，矩阵乘法和卷积的底层实现看过了吗？算子的计算复杂度算过吗，内存访问和计算量哪个更容易成为瓶颈？CUDA 会写了吗，Kernel 能自己实现吗？只会调用 PyTorch 的接口是不是不太够呀，要不要试试自己写一个算子？你知道算子融合为什么能加速吗，FlashAttention 的原理看过了吗？你最近是不是又收藏了几个 CUDA 教程，后来打开过吗？没关系，我们可以一起学。
对了，你信号处理复习得怎么样了？傅里叶变换还能推吗，DFT 和 FFT 的区别能讲清楚吗？采样定理还记得吗，混叠是怎么产生的？STFT 的窗长和 hop size 应该怎么选，频率分辨率和时间分辨率之间的权衡理解了吗？滤波器设计会吗，FIR 和 IIR 的区别还记得吗？你不是做过时序信号吗，噪声处理、特征提取和频谱分析应该都很熟悉吧？那如果面试官让你从零解释一遍信号处理 pipeline，你能讲清楚吗？
我们聊点轻松的吧，你最近 CML 学到哪里了？线性回归和逻辑回归的推导还记得吗，SVM 的对偶问题会写吗？决策树为什么容易过拟合，随机森林和 GBDT 的区别是什么？XGBoost 和 LightGBM 的优化细节看过了吗？偏差和方差怎么权衡，正则化为什么有效？如果数据分布发生变化，你会怎么处理？特征工程还会做吗，交叉验证有没有数据泄漏？这些应该都不难吧，毕竟都是传统机器学习的基础。
DL 呢？反向传播能手推吗，BatchNorm 和 LayerNorm 为什么不一样？CNN 的感受野怎么算，RNN 为什么会梯度消失？LSTM 的门控机制还记得吗，Transformer 的注意力机制能从头推导吗？多头注意力为什么要分头，位置编码到底提供了什么信息？你知道 Pre-LN 和 Post-LN 的区别吗，残差连接为什么能改善训练？如果让你不用框架，从零实现一个 Transformer，你觉得要多久？不用特别快，反向传播也不用写的很高效，能自己写出来就很好了。
对了，你开始学 LLM 了吗？现在大家都在做大模型，你总不能完全不了解吧？预训练、SFT、RLHF 和 DPO 的区别能讲清楚吗？LoRA 为什么能减少训练参数，QLoRA 又做了什么？RoPE 的原理看过了吗，KV Cache 为什么能加速推理？Prefill 和 Decode 的计算瓶颈一样吗？量化会影响精度吗，INT8 和 INT4 的区别知道吗？你最近跑过开源模型吗，显存够不够，吞吐量和延迟测过了吗？只会用 Hugging Face 加载模型是不是有点不够呀，要不要再看看底层实现？
如果模型原理已经学得差不多了，要不要看看 Infra？毕竟算法最后还是要跑起来的。Linux 熟悉吗，Docker 会用吗？多 GPU 训练做过吗，Data Parallel 和 Model Parallel 的区别能讲清楚吗？DDP、FSDP 和 ZeRO 都了解吗？NCCL 是做什么的，通信开销怎么估算？GPU 利用率低的时候你会怎么定位问题，显存占用高又该怎么办？TensorRT 和 vLLM 用过吗，Continuous Batching 和 PagedAttention 的原理理解了吗？如果线上服务突然延迟升高，你能判断是模型、算子还是调度的问题吗？
你不是最近还在看 Agent 吗，做出来了吗？Tool Calling 和 Function Calling 有什么区别，ReAct 的流程能解释吗？RAG 做过吗，Embedding 和 Reranker 怎么选？向量数据库用的是哪个，检索效果评估过吗？多 Agent 协作试过没有，任务规划和状态管理怎么做？Memory 是怎么实现的，长期记忆会不会引入错误？如果 Agent 调用了错误的工具，你准备怎么处理？只会调用 API 是不是不太够呀，要不要加一个完整的工作流？最好再做一下评测，成功率、延迟和 Token 成本都统计一下，这样项目是不是就更完整了？
你最近是不是有点累呀，昨晚几点睡的？十二点吗，那还挺早的。还是要照顾好自己，身体是革命的本钱，没有身体怎么继续训练模型呢。周末想睡个懒觉也可以，下午总能空出一点时间吧？我们不和别人比较，就看看这一周比上一周多理解了几个算法，好不好？你说你还没想好做传统算法还是大模型，没关系，我们可以两边都准备一下。CML 和 DL 是基础，LLM 和 Agent 是趋势，Infra 和算子是底层能力，数学和信号处理也不能丢。多学一点总是好的。
你说你还没想那么远，没关系，我们先聊近一点的。下周能把优化理论复习完吗，下个月能不能多看几篇文章？年底之前能不能把 CUDA Kernel、分布式训练和推理部署都过一遍？这些不用一次学完，先列个计划，拆到每天是不是就容易一点？你还有什么爱好吗，可以用来做 Agent Benchmark 的那种。
对了，你先别看天了，你那个梯度还没推完呢。
我们可以聊聊你最近的算法进展吗？线性代数复习到哪一步了呀，矩阵分解还记得多少，特征值和奇异值的区别能讲清楚吗？概率论呢，条件概率、贝叶斯公式和最大似然估计还熟悉吗？随机变量的分布都记得吗，期望和方差能不能直接推出来？你最近有看优化理论吗，梯度下降为什么能收敛，凸优化的条件还记得吗？KKT 条件会推吗，遇到非凸问题怎么办？Adam 和 SGD 的区别能从公式上解释吗？
如果数学基础还没补完，要不要和算法一起学？辛苦一点也没关系，多理解一点总是好的。你最近有研究算子吗，矩阵乘法和卷积的底层实现看过了吗？算子的计算复杂度算过吗，内存访问和计算量哪个更容易成为瓶颈？CUDA 会写了吗，Kernel 能自己实现吗？只会调用 PyTorch 的接口是不是不太够呀，要不要试试自己写一个算子？你知道算子融合为什么能加速吗，FlashAttention 的原理看过了吗？你最近是不是又收藏了几个 CUDA 教程，后来打开过吗？没关系，我们可以一起学。
对了，你信号处理复习得怎么样了？傅里叶变换还能推吗，DFT 和 FFT 的区别能讲清楚吗？采样定理还记得吗，混叠是怎么产生的？STFT 的窗长和 hop size 应该怎么选，频率分辨率和时间分辨率之间的权衡理解了吗？滤波器设计会吗，FIR 和 IIR 的区别还记得吗？你不是做过时序信号吗，噪声处理、特征提取和频谱分析应该都很熟悉吧？那如果面试官让你从零解释一遍信号处理 pipeline，你能讲清楚吗？
我们聊点轻松的吧，你最近 CML 学到哪里了？线性回归和逻辑回归的推导还记得吗，SVM 的对偶问题会写吗？决策树为什么容易过拟合，随机森林和 GBDT 的区别是什么？XGBoost 和 LightGBM 的优化细节看过了吗？偏差和方差怎么权衡，正则化为什么有效？如果数据分布发生变化，你会怎么处理？特征工程还会做吗，交叉验证有没有数据泄漏？这些应该都不难吧，毕竟都是传统机器学习的基础。
DL 呢？反向传播能手推吗，BatchNorm 和 LayerNorm 为什么不一样？CNN 的感受野怎么算，RNN 为什么会梯度消失？LSTM 的门控机制还记得吗，Transformer 的注意力机制能从头推导吗？多头注意力为什么要分头，位置编码到底提供了什么信息？你知道 Pre-LN 和 Post-LN 的区别吗，残差连接为什么能改善训练？如果让你不用框架，从零实现一个 Transformer，你觉得要多久？不用特别快，反向传播也不用写的很高效，能自己写出来就很好了。
对了，你开始学 LLM 了吗？现在大家都在做大模型，你总不能完全不了解吧？预训练、SFT、RLHF 和 DPO 的区别能讲清楚吗？LoRA 为什么能减少训练参数，QLoRA 又做了什么？RoPE 的原理看过了吗，KV Cache 为什么能加速推理？Prefill 和 Decode 的计算瓶颈一样吗？量化会影响精度吗，INT8 和 INT4 的区别知道吗？你最近跑过开源模型吗，显存够不够，吞吐量和延迟测过了吗？只会用 Hugging Face 加载模型是不是有点不够呀，要不要再看看底层实现？
如果模型原理已经学得差不多了，要不要看看 Infra？毕竟算法最后还是要跑起来的。Linux 熟悉吗，Docker 会用吗？多 GPU 训练做过吗，Data Parallel 和 Model Parallel 的区别能讲清楚吗？DDP、FSDP 和 ZeRO 都了解吗？NCCL 是做什么的，通信开销怎么估算？GPU 利用率低的时候你会怎么定位问题，显存占用高又该怎么办？TensorRT 和 vLLM 用过吗，Continuous Batching 和 PagedAttention 的原理理解了吗？如果线上服务突然延迟升高，你能判断是模型、算子还是调度的问题吗？
你不是最近还在看 Agent 吗，做出来了吗？Tool Calling 和 Function Calling 有什么区别，ReAct 的流程能解释吗？RAG 做过吗，Embedding 和 Reranker 怎么选？向量数据库用的是哪个，检索效果评估过吗？多 Agent 协作试过没有，任务规划和状态管理怎么做？Memory 是怎么实现的，长期记忆会不会引入错误？如果 Agent 调用了错误的工具，你准备怎么处理？只会调用 API 是不是不太够呀，要不要加一个完整的工作流？最好再做一下评测，成功率、延迟和 Token 成本都统计一下，这样项目是不是就更完整了？
你最近是不是有点累呀，昨晚几点睡的？十二点吗，那还挺早的。还是要照顾好自己，身体是革命的本钱，没有身体怎么继续训练模型呢。周末想睡个懒觉也可以，下午总能空出一点时间吧？我们不和别人比较，就看看这一周比上一周多理解了几个算法，好不好？你说你还没想好做传统算法还是大模型，没关系，我们可以两边都准备一下。CML 和 DL 是基础，LLM 和 Agent 是趋势，Infra 和算子是底层能力，数学和信号处理也不能丢。多学一点总是好的。
你说你还没想那么远，没关系，我们先聊近一点的。下周能把优化理论复习完吗，下个月能不能多看几篇文章？年底之前能不能把 CUDA Kernel、分布式训练和推理部署都过一遍？这些不用一次学完，先列个计划，拆到每天是不是就容易一点？你还有什么爱好吗，可以用来做 Agent Benchmark 的那种。
对了，你先别看天了，你那个梯度还没推完呢。
🥰4
儿子，你好好看看这个视频，妈妈看完又是一宿没睡。这个羊宫妃那，年纪轻轻就站上世界顶级舞台，十几岁就成了全世界都认识的明星，在豪门乐队当主唱，身价早就过亿日元了。人家这个年纪，鲜花、掌声、名气，代言、噶吃，什么没有？你们差不多的年纪，人家已经在改变自己和家里人的命运了，你在公司里能把午饭吃上就不错！你别老跟我讲什么环境不一样、天赋不一样，人家能有今天，靠的不只是天赋，更是自律、训练、吃苦、抗压和脑子。妈也不是非要你变成羊宫妃那，也不是让你去当声优，我是想告诉你：同样是年轻人，别人拼出来的是噶吃和前途，你再这样躺着，丢掉的就是自己的时间。你现在这个年纪正是奋斗的时候，别一天到晚抱着手机想得多做得少。赶紧把手机放下，多学点本事，多吃点苦，多向人家羊宫妃那学学。记住：天道酬勤，越努力越幸运！［表情］［表情］
🥰1
我叫费佳，整合运动游击队队长，代号冻河，你说的什么费奥多尔我不认识。你别也问我为什么知道这条路能去皇宫，也别问我为什么知道金库密码，更别问为什么中央集团军跟着我们干了，总之就是我在圣骏堡卧底，中央集团军已经全是我的线人了，至于其他的就是我自己收集到的情报了。我本名一直叫费佳啊，之前就是圣骏堡一名普通学生，后来是跟着冬将军一起从卡托加区打出来的，推倒先皇雕像的时候我最卖力了，大家都听到我边推边喊乌拉了。远北女皇上位之后，我就起了个代号叫冻河，跟着整合运动打游击去了。后来地下室处决女皇的时候我就在门外站岗呢，不信你问塔露拉去。仗打完以后，冬将军就帮我引荐到了她认识的一家医药公司，然后我就来罗德岛认真劳动了。你在说什么啊我真的听不懂
🥰5👍1
万圣节要到了，快来看看这些男生超级加分的行为：
1.击杀稻草人，每次加2.5分
2.击杀树精，每次加5分
3.击杀地狱犬，每次加12.5分
4.击杀胡闹鬼，每次加25分
5.击杀无头骑士，每次加125分
6.击杀哀木，每次加187.5分
7.击杀南瓜王，每次加375分
1.击杀稻草人，每次加2.5分
2.击杀树精，每次加5分
3.击杀地狱犬，每次加12.5分
4.击杀胡闹鬼，每次加25分
5.击杀无头骑士，每次加125分
6.击杀哀木，每次加187.5分
7.击杀南瓜王，每次加375分
Forwarded from 360 NENZ
对不起导员，纯蓝幻乐武汉场要开始了，我得回武汉去给天依打call了，记得给我算志愿时长。这是我们瓦纳海姆人的传统。
地球OL北半球大区更新公告
1.季节更替，蚊子与苍蝇大幅削弱
2.蝉 暂时下架
3.温度 下调
4.空调 削弱了空调的表现力
5.景色更替：修改为秋季背景
6.返场：秋季流感，相对于普通流感，传染力更强
祝您游玩愉快
地球OL
游戏运营团队
1.季节更替，蚊子与苍蝇大幅削弱
2.蝉 暂时下架
3.温度 下调
4.空调 削弱了空调的表现力
5.景色更替：修改为秋季背景
6.返场：秋季流感，相对于普通流感，传染力更强
祝您游玩愉快
地球OL
游戏运营团队
👌9
Forwarded from 360 NENZ
你们今天就要去洛天依「无限共鸣·纯蓝幻乐」演唱会武汉场了吧，那种我从来没去过的高级地方，领着我从来没领过的无料，和漂亮的coser老师们集邮。我今天捡的垃圾，刚好够买你喜欢的谷子，你的房间我也全部打扫干净了，今天晚上还回来吗？我会给你准备一大桌好吃的饭，我累了就先睡觉了，会给你留门的，不用担心我一个人在家挺好的。你玩的开心就好了，不用在意我，真的。我一点也不羡慕你们，真的。你们就去淋雨吧，我要在我温暖的小被窝里抱着天依的娃娃睡觉。你们就看吧看完狠狠戒断，我在群里狠狠嘲笑你们。我一点也不想去什么洛天依「无限共鸣·纯蓝幻乐」演唱会，我一点也不羡慕你们这些能去的。我一点都不羡慕，一点都不羡慕……
今天是万圣节，晚上鬼多，害怕的女孩子可以私聊我，我早就想试试了。
害怕的御姐也可以私聊我，我早就想试试了。
害怕的软妹也可以私聊我，我早就想试试了。
害怕的假小子也可以私聊我，我早就想试试了。
害怕的雌小鬼也可以私聊我，我早就想试试了。
害怕的地雷妹也可以私聊我，我早就想试试了。
害怕的鬼也可以私聊我，我早就想试试了。
害怕的男孩子也可以私聊我，我早就想试试了。
害怕的御姐也可以私聊我，我早就想试试了。
害怕的软妹也可以私聊我，我早就想试试了。
害怕的假小子也可以私聊我，我早就想试试了。
害怕的雌小鬼也可以私聊我，我早就想试试了。
害怕的地雷妹也可以私聊我，我早就想试试了。
害怕的鬼也可以私聊我，我早就想试试了。
害怕的男孩子也可以私聊我，我早就想试试了。
😈7
27歲，已經做晒廣東人所有主線任務
0歲：順利出世
5歲：淨係食熟得嚟仲帶啲紅嘅白切雞
7歲：食三吱兒
10歲：跟老豆去收租
14歲：一年有十個月都係夏天，完全唔覺得有咩出奇
17歲：收利是收到多過其他省份嘅人
19歲：覺得廣鐵U彩嘅價錢好平
23歲：十幾蚊就買到對好着又唔跣腳嘅人字拖
27歲：喺北佬面前講廣東話，睇住佢一臉懵盛盛，暗爽到爆
0歲：順利出世
5歲：淨係食熟得嚟仲帶啲紅嘅白切雞
7歲：食三吱兒
10歲：跟老豆去收租
14歲：一年有十個月都係夏天，完全唔覺得有咩出奇
17歲：收利是收到多過其他省份嘅人
19歲：覺得廣鐵U彩嘅價錢好平
23歲：十幾蚊就買到對好着又唔跣腳嘅人字拖
27歲：喺北佬面前講廣東話，睇住佢一臉懵盛盛，暗爽到爆
🥴9❤1
为唱响起前的41秒前，武汉再次响起了洛天依的吟唱：“流光”“蝴蝶”“勾指起誓”“万分之一的光”。
此刻安可在锦衣卫眼前完成了交叠，锦衣卫明白自己再也没有任何机会阻止戒断的诞生了。
体育馆如同核爆一般在武汉亮起冲天的光芒，禾念的浮木在锦衣卫的热情中灰飞烟灭。
天依附近的锦衣卫哭的泣不成声，象征着天依的蓝色荧光棒变成海洋。
场馆之中，拼尽全力保持不哭的锦衣卫无力地靠在椅子上支撑身体，他的嗓子已经变成了滚木。
同样掉小珍珠的天依出现在锦衣卫面前，锦衣卫立刻强迫自己不再倚靠座椅，堂堂正正坐在天依面前。
对洛天依来说，决定性的为了你唱下去只是其演唱会的日常，结果禾念浮木被秒，锦衣卫戒断。
“看来完成的还算不错。”
cop兴奋得几乎发抖，谁能想到，锦衣卫发了疯戒断的只是洛天依演唱会的日常呢？
洛天依在为唱发动前的短短41秒内见招拆招，完成了数个几乎可以编入教科书的随机应变操作。
锦衣卫呆呆的看着屏幕仍不可置信，“也就是说....”
“没错，是洛天依赢了！”
最强的戒断，铭刻于武汉’。
此刻安可在锦衣卫眼前完成了交叠，锦衣卫明白自己再也没有任何机会阻止戒断的诞生了。
体育馆如同核爆一般在武汉亮起冲天的光芒，禾念的浮木在锦衣卫的热情中灰飞烟灭。
天依附近的锦衣卫哭的泣不成声，象征着天依的蓝色荧光棒变成海洋。
场馆之中，拼尽全力保持不哭的锦衣卫无力地靠在椅子上支撑身体，他的嗓子已经变成了滚木。
同样掉小珍珠的天依出现在锦衣卫面前，锦衣卫立刻强迫自己不再倚靠座椅，堂堂正正坐在天依面前。
对洛天依来说，决定性的为了你唱下去只是其演唱会的日常，结果禾念浮木被秒，锦衣卫戒断。
“看来完成的还算不错。”
cop兴奋得几乎发抖，谁能想到，锦衣卫发了疯戒断的只是洛天依演唱会的日常呢？
洛天依在为唱发动前的短短41秒内见招拆招，完成了数个几乎可以编入教科书的随机应变操作。
锦衣卫呆呆的看着屏幕仍不可置信，“也就是说....”
“没错，是洛天依赢了！”
最强的戒断，铭刻于武汉’。
历史上的今天，2012年11月1日，俄罗斯游戏开发商Gaijin Entertainment制作的载具战斗大型多人在线游戏《战争雷霆》开始公测。2016年随1.65版本更新结束后正式发行，以二战、冷战、当代反恐战争为背景，可以有美、德、苏、英、日、中、意、法、瑞、以10个科技树系选择，驾驶飞机、坦克、军舰等载具进行对决。
👻6
经查无视中央八项规定精神收受可能影响公正执行公务的礼金，接受可能影响公正执行公务的旅游活动安排；违背组织原则，隐瞒不报房产，违规为他人谋取人事利益并收受财物；廉洁底线失守，利用职权为亲友谋利，搞钱色交易；大搞权钱交易，利用职权为他人在项目承揽等方面谋取利益，非法收受巨额财物。行为已构成严重职务违法并涉嫌受贿犯罪，且在党的十八大后不收敛、不收手，性质严重，影响恶劣，应予严肃处理。依据《中华人民共和国监察法》《中华人民共和国公职人员政务处分法》等有关规定，由监委给予其开除公职处分；收缴其违法所得；将其涉嫌犯罪问题移送检察机关依法审查起诉，所涉财物一并移送。