#tools #adguard
● https://github.com/AdGuardTeam/AdGuardBrowserExtension
adguard 浏览器插件版用起来不错, 适合一些轻量级的广告屏蔽需求
via Memos
● https://github.com/AdGuardTeam/AdGuardBrowserExtension
adguard 浏览器插件版用起来不错, 适合一些轻量级的广告屏蔽需求
via Memos
#mark
看到的一个非常不错的讲 deepseek v3 paper 的分析: https://www.youtube.com/watch?v=OM7Sa_BlDIk
包括 kv cache 都从 0 开始讲了, 很适合新手看
via Memos
看到的一个非常不错的讲 deepseek v3 paper 的分析: https://www.youtube.com/watch?v=OM7Sa_BlDIk
包括 kv cache 都从 0 开始讲了, 很适合新手看
via Memos
#llm
Bilibili 技术: 大模型推理加速的研究与分析
加速方案的主要思路
1 - 算子层优化:
● Operator Fusion:通过将多个算子融合为一个复杂算子,减少内存访存次数,加快计算速度。
● High-Performance Acceleration Library:使用如ONNX Runtime、TVM、cuBLAS、FasterTransformer等高性能加速库,优化常见的神经网络算子的计算性能。
● Layer Fusion:在多头注意力机制中,将所有操作合并到一个计算核中,减少数据传输并提高数学密度。
2 - 算法层优化:
● Quantization Techniques:使用精度更低的单位来表示模型的权重或激活值,以节省空间和加速模型推理速度。
● Speculative Decoding:通过使用一个简洁且反应迅速的小型模型来辅助解码,提升推理速度。
● Sharding Strategy Optimization:通过模型分片将不同部分的计算任务分布到多个设备上,减少单个设备的内存压力和计算瓶颈。
3 - 框架层优化:
● Contiguous Batching:通过在推理过程中保持请求的连续批量处理,减少上下文切换和内存调度带来的开销。
● PageAttention:优化Attention机制中的KV存储,减少内存占用,提高内存访问效率。
● TensorRT-LLM和MindelIE-LLM框架:通过支持多种Attention机制和流水线并行、跨层并行等技术,提高推理的吞吐量和响应速度。
via Memos
Bilibili 技术: 大模型推理加速的研究与分析
加速方案的主要思路
1 - 算子层优化:
● Operator Fusion:通过将多个算子融合为一个复杂算子,减少内存访存次数,加快计算速度。
● High-Performance Acceleration Library:使用如ONNX Runtime、TVM、cuBLAS、FasterTransformer等高性能加速库,优化常见的神经网络算子的计算性能。
● Layer Fusion:在多头注意力机制中,将所有操作合并到一个计算核中,减少数据传输并提高数学密度。
2 - 算法层优化:
● Quantization Techniques:使用精度更低的单位来表示模型的权重或激活值,以节省空间和加速模型推理速度。
● Speculative Decoding:通过使用一个简洁且反应迅速的小型模型来辅助解码,提升推理速度。
● Sharding Strategy Optimization:通过模型分片将不同部分的计算任务分布到多个设备上,减少单个设备的内存压力和计算瓶颈。
3 - 框架层优化:
● Contiguous Batching:通过在推理过程中保持请求的连续批量处理,减少上下文切换和内存调度带来的开销。
● PageAttention:优化Attention机制中的KV存储,减少内存占用,提高内存访问效率。
● TensorRT-LLM和MindelIE-LLM框架:通过支持多种Attention机制和流水线并行、跨层并行等技术,提高推理的吞吐量和响应速度。
via Memos
#llm #leaderboard
Artificial Analysis LLM Leaderboard
Artificial Analysis 的评测方法注重实际应用场景,尤其是 API 调用的性能表现,这与 LMSYS Chatbot Arena 等更注重输出质量的评测形成互补
https://artificialanalysis.ai/leaderboards/models
via Memos
Artificial Analysis LLM Leaderboard
Artificial Analysis 的评测方法注重实际应用场景,尤其是 API 调用的性能表现,这与 LMSYS Chatbot Arena 等更注重输出质量的评测形成互补
https://artificialanalysis.ai/leaderboards/models
via Memos
#mark
防止使用 US 节点时, Google 搜索时的时区错乱情况:
● https://www.google.com/preferences?hl=zh-CN⟨=1&prev=https://www.google.com/preferences?hl%3Dzh-CN
选择 搜索结果区域 为 香港 or 新加坡 (东 8 区)
via Memos
防止使用 US 节点时, Google 搜索时的时区错乱情况:
● https://www.google.com/preferences?hl=zh-CN⟨=1&prev=https://www.google.com/preferences?hl%3Dzh-CN
选择 搜索结果区域 为 香港 or 新加坡 (东 8 区)
via Memos
#obsidian #tools
● https://github.com/Canna71/obsidian-janitor
一个 obsidian 用于清理孤立文件、空文件、大文件和过期笔记的插件
via Memos
● https://github.com/Canna71/obsidian-janitor
一个 obsidian 用于清理孤立文件、空文件、大文件和过期笔记的插件
via Memos
#bob #plugin
简单搞了个 bob -> 欧路词典的插件: 在 https://github.com/yuhaowin/wordbook-bob-plugin 的基础上添加了一个 自动单词验证 的功能.
https://github.com/Lincest/wordbook-bob-plugin
via Memos
简单搞了个 bob -> 欧路词典的插件: 在 https://github.com/yuhaowin/wordbook-bob-plugin 的基础上添加了一个 自动单词验证 的功能.
https://github.com/Lincest/wordbook-bob-plugin
via Memos
#bb
支持账号系统的 cursor 居然连配置同步的能力都没有.
账号就是用来开通 API 权限的吗😂
● https://forum.cursor.com/t/sync-of-keybindings-and-settings/31/40
via Memos
支持账号系统的 cursor 居然连配置同步的能力都没有.
账号就是用来开通 API 权限的吗😂
● https://forum.cursor.com/t/sync-of-keybindings-and-settings/31/40
via Memos
image.png
146.7 KB
#stt
● https://tingwu.aliyun.com/
最近有语音转文字的需求, 试了一下 openai 的 whisper, 讯飞听见和阿里的通义听悟.
感觉还是通义听悟对于中英混合的文本最好用, 而且赠送的 500 小时额度也足够用了.
via Memos
● https://tingwu.aliyun.com/
最近有语音转文字的需求, 试了一下 openai 的 whisper, 讯飞听见和阿里的通义听悟.
感觉还是通义听悟对于中英混合的文本最好用, 而且赠送的 500 小时额度也足够用了.
via Memos
#bb
在试用了一众 "稍后读" 和 "剪藏" 软件后, 仍然找不到满意的, 于是花了 1 小时简单搞了个适合自己的 workflow:
1. 利用 singlefile 保存单页 html 作为快照
2. 上传到 dropbox 并获取分享链接 (可以直接点击查看快照页面)
3. AI 自动生成摘要和 tag
4. 上传到 Notion Database 进行保存
整个流程联动了 Telegram Bot, Dropbox 和 Notion
目前使用起来体验不错.
demo: https://www.youtube.com/watch?v=ohiGbkgyGCk
via Memos
在试用了一众 "稍后读" 和 "剪藏" 软件后, 仍然找不到满意的, 于是花了 1 小时简单搞了个适合自己的 workflow:
1. 利用 singlefile 保存单页 html 作为快照
2. 上传到 dropbox 并获取分享链接 (可以直接点击查看快照页面)
3. AI 自动生成摘要和 tag
4. 上传到 Notion Database 进行保存
整个流程联动了 Telegram Bot, Dropbox 和 Notion
目前使用起来体验不错.
demo: https://www.youtube.com/watch?v=ohiGbkgyGCk
via Memos
#ai #perplexity
在淘宝上搞了一个年费的 perplexity pro education 会员 (前两个月应该是可以白嫖)
体验不错, 加入了 o3-mini 和 r1 后更加强力了
via Memos
在淘宝上搞了一个年费的 perplexity pro education 会员 (前两个月应该是可以白嫖)
体验不错, 加入了 o3-mini 和 r1 后更加强力了
via Memos