Forwarded from codedump的电报频道 (老C)
Forwarded from 地心引力
近期读到的最喜欢的一篇文章，来自Platform Thinking的推荐。
步入中年之后，男性心理状态会经历剧烈的变化，从二十多岁认为一切皆有可能的状态切换为要接受不完美，越来越现实的状态。这个阶段非常痛苦，且很容易感觉到虚无。
女性当然也会在这个年龄面临新的挑战，并非只有男性如此。
#随便看看
The Age 30 Crisis and Seasons of a Man's Life
步入中年之后，男性心理状态会经历剧烈的变化，从二十多岁认为一切皆有可能的状态切换为要接受不完美，越来越现实的状态。这个阶段非常痛苦，且很容易感觉到虚无。
女性当然也会在这个年龄面临新的挑战，并非只有男性如此。
#随便看看
The Age 30 Crisis and Seasons of a Man's Life
Platform Thinking
Platform Thinking 邮件周刊
创造者的思考伙伴
Forwarded from Parallel Experiments (Linghao Zhang)
前段时间准备 ML Interview (with a focus on LLMs)，浏览了不少学习资源，这里分享一些：
CMU 11-711 Advanced NLP
Language Modeling 综述。
The Transformer Blueprint: A Holistic Guide to the Transformer Neural Network Architecture
比较好的一篇 Transformer 综述。
3Blue1Brown: Attention in transformers, step-by-step
解释 Attention 最好的视频，没有之一。
Hugging Face: Mixture of Experts Explained
Hugging Face: RLHF
Hugging Face: Introduction to Deep Reinforcement Learning
Hugging Face: Multimodal Models
HF 这几个资源很适合快速查漏补缺相关的话题。
Lilian Weng: Agents
依然是最好的 Agents 综述之一。
Understanding Reasoning LLMs
一些 post-training 的细节，侧重分析了 DeepSeek R1 和 R1 Zero。
Designing Machine Learning Systems 笔记 by @tms_ur_way
适合快速查漏补缺 ML 实践中的要点。
Stable Diffusion Explained From Scratch
关于 Diffusion 基本原理的解释。
除此之外以下这几位的内容都很不错，可以针对话题有选择性地摄入。
- Andrej Karpathy 的 YouTube 视频
- Lilian Weng 的博客
- Chip Huyen 的博客
这里推荐的基本都比较入门 / high level，更多是为了查漏补缺。要深度挖掘具体话题还是得去看进一步的资源和论文等。 #ml #llm
CMU 11-711 Advanced NLP
Language Modeling 综述。
The Transformer Blueprint: A Holistic Guide to the Transformer Neural Network Architecture
比较好的一篇 Transformer 综述。
3Blue1Brown: Attention in transformers, step-by-step
解释 Attention 最好的视频，没有之一。
Hugging Face: Mixture of Experts Explained
Hugging Face: RLHF
Hugging Face: Introduction to Deep Reinforcement Learning
Hugging Face: Multimodal Models
HF 这几个资源很适合快速查漏补缺相关的话题。
Lilian Weng: Agents
依然是最好的 Agents 综述之一。
Understanding Reasoning LLMs
一些 post-training 的细节，侧重分析了 DeepSeek R1 和 R1 Zero。
Designing Machine Learning Systems 笔记 by @tms_ur_way
适合快速查漏补缺 ML 实践中的要点。
Stable Diffusion Explained From Scratch
关于 Diffusion 基本原理的解释。
除此之外以下这几位的内容都很不错，可以针对话题有选择性地摄入。
- Andrej Karpathy 的 YouTube 视频
- Lilian Weng 的博客
- Chip Huyen 的博客
这里推荐的基本都比较入门 / high level，更多是为了查漏补缺。要深度挖掘具体话题还是得去看进一步的资源和论文等。 #ml #llm
Forwarded from Parallel Experiments (Linghao Zhang)
用两天在路上开车的时间听完了 Latent Space 这期跟传奇 Bret Taylor 一个半小时的访谈，收获颇多！ #podcast #ai
https://www.latent.space/p/bret
https://www.latent.space/p/bret
www.latent.space
The AI Architect — Bret Taylor
The legendary CEO of Sierra, Chairman of OpenAI, and creator of Google Maps/Facebook Likes on the future of Software Engineering, and building great products and teams at the break of the dawn of AGI.
Forwarded from Parallel Experiments (Linghao Zhang)
前段时间准备 ML Interview (with a focus on LLMs)，浏览了不少学习资源，这里分享一些：
CMU 11-711 Advanced NLP
Language Modeling 综述。
The Transformer Blueprint: A Holistic Guide to the Transformer Neural Network Architecture
比较好的一篇 Transformer 综述。
3Blue1Brown: Attention in transformers, step-by-step
解释 Attention 最好的视频，没有之一。
Hugging Face: Mixture of Experts Explained
Hugging Face: RLHF
Hugging Face: Introduction to Deep Reinforcement Learning
Hugging Face: Multimodal Models
HF 这几个资源很适合快速查漏补缺相关的话题。
Lilian Weng: Agents
依然是最好的 Agents 综述之一。
Understanding Reasoning LLMs
一些 post-training 的细节，侧重分析了 DeepSeek R1 和 R1 Zero。
Designing Machine Learning Systems 笔记 by @tms_ur_way
适合快速查漏补缺 ML 实践中的要点。
Stable Diffusion Explained From Scratch
关于 Diffusion 基本原理的解释。
除此之外以下这几位的内容都很不错，可以针对话题有选择性地摄入。
- Andrej Karpathy 的 YouTube 视频
- Lilian Weng 的博客
- Chip Huyen 的博客
这里推荐的基本都比较入门 / high level，更多是为了查漏补缺。要深度挖掘具体话题还是得去看进一步的资源和论文等。 #ml #llm
CMU 11-711 Advanced NLP
Language Modeling 综述。
The Transformer Blueprint: A Holistic Guide to the Transformer Neural Network Architecture
比较好的一篇 Transformer 综述。
3Blue1Brown: Attention in transformers, step-by-step
解释 Attention 最好的视频，没有之一。
Hugging Face: Mixture of Experts Explained
Hugging Face: RLHF
Hugging Face: Introduction to Deep Reinforcement Learning
Hugging Face: Multimodal Models
HF 这几个资源很适合快速查漏补缺相关的话题。
Lilian Weng: Agents
依然是最好的 Agents 综述之一。
Understanding Reasoning LLMs
一些 post-training 的细节，侧重分析了 DeepSeek R1 和 R1 Zero。
Designing Machine Learning Systems 笔记 by @tms_ur_way
适合快速查漏补缺 ML 实践中的要点。
Stable Diffusion Explained From Scratch
关于 Diffusion 基本原理的解释。
除此之外以下这几位的内容都很不错，可以针对话题有选择性地摄入。
- Andrej Karpathy 的 YouTube 视频
- Lilian Weng 的博客
- Chip Huyen 的博客
这里推荐的基本都比较入门 / high level，更多是为了查漏补缺。要深度挖掘具体话题还是得去看进一步的资源和论文等。 #ml #llm
Forwarded from Parallel Experiments (Linghao Zhang)
https://jax-ml.github.io/scaling-book/
非常值得学习的分享，作者列表里好几个 Gemini 核心团队的人😃 Sholto、Jacob、Sharad 等人都是超一流的 research engineer 🙏
#llm
非常值得学习的分享，作者列表里好几个 Gemini 核心团队的人😃 Sholto、Jacob、Sharad 等人都是超一流的 research engineer 🙏
#llm
jax-ml.github.io
How To Scale Your Model
Training LLMs often feels like alchemy, but understanding and optimizing the performance of your models doesn't have to. This book aims to demystify the science of scaling language models: how TPUs (and GPUs) work and how they communicate with each other…
Forwarded from Parallel Experiments (Linghao Zhang)
https://maxsiedentopf.com/ 的一个作品今天上了 HN 首页；其实他的整个 portfolio 都很有创造力
Forwarded from Parallel Experiments (Linghao Zhang)
https://100r.co/site/about_us.html
> Hundred Rabbits is a small artist collective. Together, we explore the planned failability of modern technology at the bounds of the hyper-connected world. We research and test low-tech solutions and document our findings with the hope of building a more resilient future.
> We live and work aboard a ship called Pino. Sailing around the Pacific Ocean made us realize how fragile the modern computing stack was. Living in remote uninhabited parts of the world has offered us a playground to learn how technology degrades beyond the shores of the western world.
> Hundred Rabbits is a small artist collective. Together, we explore the planned failability of modern technology at the bounds of the hyper-connected world. We research and test low-tech solutions and document our findings with the hope of building a more resilient future.
> We live and work aboard a ship called Pino. Sailing around the Pacific Ocean made us realize how fragile the modern computing stack was. Living in remote uninhabited parts of the world has offered us a playground to learn how technology degrades beyond the shores of the western world.
Forwarded from Parallel Experiments (Linghao Zhang)
O’Reilly Media
What We Learned from a Year of Building with LLMs (Part I)
Forwarded from Parallel Experiments (Linghao Zhang)
https://arxiv.org/abs/2305.18290 #llm #ai
今天深入学习了 DPO，再次感叹扎实的数学功底对 AI/ML Research 的重要性……
原始的 RLHF 是用 pairwise human preference data（A 和 B 哪个更好）去训练一个 reward model，然后用 RL 来训练主 model，objective 是 maximize reward / minimize negative log likelihood 加上 regularization。比如 PPO 就是通过新旧 policy 之间的 KL Divergence 来做 regularization。而且还需要一个 critic model 来预测 reward。这套流程涉及多个模型，而 RL 又是出了名的难搞。
DPO 的思路是，观察到 RLHF 的 objective 本质上是 minimize loss over (latent) reward function，通过一番 reparameterization 等数学推导，重新设计了一个 minimize loss over policy 的 objective，直接绕过了中间这个 reward model，让 gradient update 直接增加 winner response 的概率并降低 loser response 的概率，大幅简化了流程。
拓展阅读：
- KTO: 更进一步，不需要 pairwise comparison，只用对 individual example 的 upvote/downvote 也可以学习到 preference。
- IPO: 解决 DPO 容易 overfit 的问题。
今天深入学习了 DPO，再次感叹扎实的数学功底对 AI/ML Research 的重要性……
原始的 RLHF 是用 pairwise human preference data（A 和 B 哪个更好）去训练一个 reward model，然后用 RL 来训练主 model，objective 是 maximize reward / minimize negative log likelihood 加上 regularization。比如 PPO 就是通过新旧 policy 之间的 KL Divergence 来做 regularization。而且还需要一个 critic model 来预测 reward。这套流程涉及多个模型，而 RL 又是出了名的难搞。
DPO 的思路是，观察到 RLHF 的 objective 本质上是 minimize loss over (latent) reward function，通过一番 reparameterization 等数学推导，重新设计了一个 minimize loss over policy 的 objective，直接绕过了中间这个 reward model，让 gradient update 直接增加 winner response 的概率并降低 loser response 的概率，大幅简化了流程。
拓展阅读：
- KTO: 更进一步，不需要 pairwise comparison，只用对 individual example 的 upvote/downvote 也可以学习到 preference。
- IPO: 解决 DPO 容易 overfit 的问题。
arXiv.org
Direct Preference Optimization: Your Language Model is Secretly a...
While large-scale unsupervised language models (LMs) learn broad world knowledge and some reasoning skills, achieving precise control of their behavior is difficult due to the completely...
Forwarded from 404 KIDS SEE GHOSTS (生产力之王版 (志筑仁美)
Roam Research 丨上下文工程（Context Engineering）的思维飞行实践
https://mp.weixin.qq.com/s/F1dZGAAAwMakj3bTfk2rcA?scene=1
Andrej Karpathy 最近解释了他对上下文工程（Context Engineering）的看法。他认为在工业级大模型应用场景中，「上下文工程」是指一种更精妙而复杂的技术，需要精准地将上下文窗口填充上恰当好处的信息，让模型能够准确地迈出下一步。这是一门科学，也是门技术。
Roam Research 仍然是近几年最伟大的思维工具，现在用得越来越爽。最近我梳理其基础功能时发现，它仍然极致简洁和扎实，没有进行更多功能扩张，只是不断地优化基础。它不像工具，而像编程语言，它由更灵活的小众编程语言 Clojure 创建。它继承 Memex 的关联索引，参考 Project Xanadu 文本映射，基于 Zettelkasten 组织理念，创造出了「非线性时间机器」。Roam Research 的大纲/ 双链/ 引用和嵌入功能统合起来，震颤出独一档的记录和写作体验。这是我最近几年将其作为主力使用的原因，这种亲文本设计是所有文本优化的基础，实现了「上下文工程」的文本实践。
...
写作将变得愈加疯狂...
很多图示，详细内容请大家直接看这篇公众号吧，顺便点个关注，感谢！
#tft #Manuals
https://mp.weixin.qq.com/s/F1dZGAAAwMakj3bTfk2rcA?scene=1
Andrej Karpathy 最近解释了他对上下文工程（Context Engineering）的看法。他认为在工业级大模型应用场景中，「上下文工程」是指一种更精妙而复杂的技术，需要精准地将上下文窗口填充上恰当好处的信息，让模型能够准确地迈出下一步。这是一门科学，也是门技术。
Roam Research 仍然是近几年最伟大的思维工具，现在用得越来越爽。最近我梳理其基础功能时发现，它仍然极致简洁和扎实，没有进行更多功能扩张，只是不断地优化基础。它不像工具，而像编程语言，它由更灵活的小众编程语言 Clojure 创建。它继承 Memex 的关联索引，参考 Project Xanadu 文本映射，基于 Zettelkasten 组织理念，创造出了「非线性时间机器」。Roam Research 的大纲/ 双链/ 引用和嵌入功能统合起来，震颤出独一档的记录和写作体验。这是我最近几年将其作为主力使用的原因，这种亲文本设计是所有文本优化的基础，实现了「上下文工程」的文本实践。
...
写作将变得愈加疯狂...
很多图示，详细内容请大家直接看这篇公众号吧，顺便点个关注，感谢！
#tft #Manuals
Forwarded from 黑洞资源笔记
开发者想快速把文档网站、GitHub仓库和PDF资料一键转换成Claude AI skills？Skill Seeker帮你实现自动化处理，无需手动整理各类文档。
它支持多源抓取（网页、仓库、PDF），用深度AST解析代码，自动检测文档和代码间的冲突，智能分类内容，并结合AI提炼关键示例和知识点，最后打包成Claude可用的skill文件。
核心功能包括：
- 支持任意文档网站的自动抓取与解析
- PDF文字提取、表格解析，支持扫描件OCR和加密PDF
- GitHub深度代码分析，提取API、Issue、版本历史
- 自动检测文档与代码实现的差异，生成冲突报告
- 多源合并，构建统一的skill知识库
- AI增强生成高质量教学参考和示例
- 并行异步处理，提升大规模文档抓取效率
支持Python环境下命令行操作，也能结合Claude Code MCP服务实现自然语言交互式管理，极大提升开发效率和文档维护质量。
它支持多源抓取（网页、仓库、PDF），用深度AST解析代码，自动检测文档和代码间的冲突，智能分类内容，并结合AI提炼关键示例和知识点，最后打包成Claude可用的skill文件。
核心功能包括：
- 支持任意文档网站的自动抓取与解析
- PDF文字提取、表格解析，支持扫描件OCR和加密PDF
- GitHub深度代码分析，提取API、Issue、版本历史
- 自动检测文档与代码实现的差异，生成冲突报告
- 多源合并，构建统一的skill知识库
- AI增强生成高质量教学参考和示例
- 并行异步处理，提升大规模文档抓取效率
支持Python环境下命令行操作，也能结合Claude Code MCP服务实现自然语言交互式管理，极大提升开发效率和文档维护质量。
Forwarded from 黑洞资源笔记
UCLA 2025年春季推出了一套关于大型语言模型强化学习（RL for LLM）的精彩课程，内容涵盖基础理论、测试时计算优化、基于人类反馈的强化学习（RLHF），以及可验证奖励的强化学习（RLVR）等前沿主题。
这套课程不仅系统介绍了RL在LLM中的应用，还讨论了如何提升模型性能和可靠性，适合对RL与大模型结合感兴趣的研究者和工程师深入学习。
课程配套的YouTube播放列表和官方网站资源丰富，便于自学和实践。
这套课程不仅系统介绍了RL在LLM中的应用，还讨论了如何提升模型性能和可靠性，适合对RL与大模型结合感兴趣的研究者和工程师深入学习。
课程配套的YouTube播放列表和官方网站资源丰富，便于自学和实践。
Forwarded from 黑洞资源笔记
现代高效阅读科研论文的方法 | #经验
经过多次实践，作者发现分4次阅读科研论文，比一次性通读速度更快、理解更深。这一方法改编自Eugene Yan的“三遍法”，对不习惯读论文的人尤其友好，能大幅提升信息吸收和记忆效率。
具体步骤：
1. 快速浏览摘要、引言和结论，抓住核心观点和关键内容。
2. 再次精读引言和结论，顺带浏览章节标题，理清结构脉络。
3. 细读全文，做笔记和批注，深化理解。
4. （额外技巧）如果论文有代码，使用CodeMaps工具（Windsurf开发）结合代码仓库逐行跟踪实现，直观理解算法细节。
CodeMaps是作者最喜欢的冷门利器，可以让你边看论文边“跑”代码，极大提升学习效率。
刚刚读完一篇关于专家修剪压缩稀疏专家模型（SMoE）的论文，收获满满。
在阅读过程中，结合ChatGPT等工具辅助构建背景知识，能够更快理解论文上下文和相关研究。
不同观点也很有价值，比如不必字字阅读全部内容，应该重点关注新颖或特别感兴趣的部分，避免陷入误读和过度解读。
经过多次实践，作者发现分4次阅读科研论文，比一次性通读速度更快、理解更深。这一方法改编自Eugene Yan的“三遍法”，对不习惯读论文的人尤其友好，能大幅提升信息吸收和记忆效率。
具体步骤：
1. 快速浏览摘要、引言和结论，抓住核心观点和关键内容。
2. 再次精读引言和结论，顺带浏览章节标题，理清结构脉络。
3. 细读全文，做笔记和批注，深化理解。
4. （额外技巧）如果论文有代码，使用CodeMaps工具（Windsurf开发）结合代码仓库逐行跟踪实现，直观理解算法细节。
CodeMaps是作者最喜欢的冷门利器，可以让你边看论文边“跑”代码，极大提升学习效率。
刚刚读完一篇关于专家修剪压缩稀疏专家模型（SMoE）的论文，收获满满。
在阅读过程中，结合ChatGPT等工具辅助构建背景知识，能够更快理解论文上下文和相关研究。
不同观点也很有价值，比如不必字字阅读全部内容，应该重点关注新颖或特别感兴趣的部分，避免陷入误读和过度解读。
Forwarded from Laisky's Notes
《Optimize generative AI applications with pgvector indexing: A deep dive into IVFFlat and HNSW techniques》，由 aws 撰写的一片关于 pgvector 索引的文章。
在 LLM RAG 领域，为了处理较长的输入，通常会将文本拆分成较小的 chunks，然后在一些预处理后，将这些 chunks 通过 embeddings 模型生成 vector，存储于向量数据库中。当用户发起查询时，系统会将查询文本同样通过 embeddings 模型生成 vector，然后在向量数据库中进行相似度搜索，找到最相关的 chunks 作为上下文补充。
postgres 搭配 pgvector 插件，是一种常见的向量数据库实现方式。在向量数据库中进行查询，其实就是寻找和目标向量“最相似”的一组向量，“相似”的度量手段有三种：
* L2 距离（Euclidean Distance）：计算两个向量之间的欧氏距离。
* Cosine 相似度（Cosine Similarity）：计算两个向量之间的夹角余弦值。
* 内积（Inner Product）：计算两个向量的点积。可以衡量向量的相似性。
默认情况下，也就是不建立索引时，pgvector 会进行遍历搜索。为了提高搜索性能，提供了两种索引索引：
* IVFFlat 索引（Inverted File with Flat quantization）：IVFFlat 是一种基于有监督聚类的近似最近邻搜索算法。它通过将向量空间划分为多个 regions。搜索时，首先仅需要搜索各个 regions 的中心点，找出相关 region 后，再搜索 region 内的向量。
* HNSW 索引（Hierarchical Navigable Small World graphs）：HNSW 是一种基于图结构的近似最近邻搜索算法。可以理解为 skiplist，先从最上层（节点最少的层）开始搜索，找到最近点后，作为下一层的起始点继续搜索，逐层往下，直到最底层。
这两种索引都可以显著减少搜索时需要比较的向量数量，从而提升查询速度。而且，为了避免局部最优解，可以设定以多个起始点的方式进行搜索。
文中对 58.6 K 个，总大小为 364 MB 的向量集进行了测试（pgvector 0.6）：
* 不使用索引，搜索耗时 650 ms
* 使用 IVFFlat 索引，建立索引 15.5 s，搜索耗时 2.4 ms
* 使用 HNSW 索引，建立索引 30 s，搜索耗时 1.58 ms
可以看出，使用索引对搜索性能提升是很大的。
<< prev
在 LLM RAG 领域，为了处理较长的输入，通常会将文本拆分成较小的 chunks，然后在一些预处理后，将这些 chunks 通过 embeddings 模型生成 vector，存储于向量数据库中。当用户发起查询时，系统会将查询文本同样通过 embeddings 模型生成 vector，然后在向量数据库中进行相似度搜索，找到最相关的 chunks 作为上下文补充。
postgres 搭配 pgvector 插件，是一种常见的向量数据库实现方式。在向量数据库中进行查询，其实就是寻找和目标向量“最相似”的一组向量，“相似”的度量手段有三种：
* L2 距离（Euclidean Distance）：计算两个向量之间的欧氏距离。
* Cosine 相似度（Cosine Similarity）：计算两个向量之间的夹角余弦值。
* 内积（Inner Product）：计算两个向量的点积。可以衡量向量的相似性。
默认情况下，也就是不建立索引时，pgvector 会进行遍历搜索。为了提高搜索性能，提供了两种索引索引：
* IVFFlat 索引（Inverted File with Flat quantization）：IVFFlat 是一种基于有监督聚类的近似最近邻搜索算法。它通过将向量空间划分为多个 regions。搜索时，首先仅需要搜索各个 regions 的中心点，找出相关 region 后，再搜索 region 内的向量。
* HNSW 索引（Hierarchical Navigable Small World graphs）：HNSW 是一种基于图结构的近似最近邻搜索算法。可以理解为 skiplist，先从最上层（节点最少的层）开始搜索，找到最近点后，作为下一层的起始点继续搜索，逐层往下，直到最底层。
这两种索引都可以显著减少搜索时需要比较的向量数量，从而提升查询速度。而且，为了避免局部最优解，可以设定以多个起始点的方式进行搜索。
文中对 58.6 K 个，总大小为 364 MB 的向量集进行了测试（pgvector 0.6）：
* 不使用索引，搜索耗时 650 ms
* 使用 IVFFlat 索引，建立索引 15.5 s，搜索耗时 2.4 ms
* 使用 HNSW 索引，建立索引 30 s，搜索耗时 1.58 ms
可以看出，使用索引对搜索性能提升是很大的。
<< prev