Morealityの碎碎念
6 subscribers
279 photos
2 videos
11 files
535 links
https://t.me/s/moreality

🌐 一些本人的碎碎念,汇聚了几个主要的日常分享渠道

📝 内容包括但不限于:🏃 日常生活,👨‍💻 工具分享,📖 书影音,体育赛事(⚽️曼城球迷)

💡 所有内容均为在曾经某一时刻的观点。
Download Telegram
#mark #jd

京东 plus 会员的积分兑换服务: https://u.jd.com/Qawyudg

via Memos
#tools #adguard

https://github.com/AdGuardTeam/AdGuardBrowserExtension

adguard 浏览器插件版用起来不错, 适合一些轻量级的广告屏蔽需求

via Memos
#mark

看到的一个非常不错的讲 deepseek v3 paper 的分析: https://www.youtube.com/watch?v=OM7Sa_BlDIk

包括 kv cache 都从 0 开始讲了, 很适合新手看

via Memos
#llm

Bilibili 技术: 大模型推理加速的研究与分析

加速方案的主要思路

1 - 算子层优化

● Operator Fusion:通过将多个算子融合为一个复杂算子,减少内存访存次数,加快计算速度。
● High-Performance Acceleration Library:使用如ONNX Runtime、TVM、cuBLAS、FasterTransformer等高性能加速库,优化常见的神经网络算子的计算性能。
● Layer Fusion:在多头注意力机制中,将所有操作合并到一个计算核中,减少数据传输并提高数学密度。

2 - 算法层优化

● Quantization Techniques:使用精度更低的单位来表示模型的权重或激活值,以节省空间和加速模型推理速度。
● Speculative Decoding:通过使用一个简洁且反应迅速的小型模型来辅助解码,提升推理速度。
● Sharding Strategy Optimization:通过模型分片将不同部分的计算任务分布到多个设备上,减少单个设备的内存压力和计算瓶颈。

3 - 框架层优化

● Contiguous Batching:通过在推理过程中保持请求的连续批量处理,减少上下文切换和内存调度带来的开销。
● PageAttention:优化Attention机制中的KV存储,减少内存占用,提高内存访问效率。
● TensorRT-LLM和MindelIE-LLM框架:通过支持多种Attention机制和流水线并行、跨层并行等技术,提高推理的吞吐量和响应速度。

via Memos
#网盘 #cloud #storage

花了 300 开了个天翼云盘扩容 10t,发现对家里的联通宽带限速极为严重,体验不是很好。

不过算下来 10t 永久的价格还可以,运营商的网盘感觉也会比那些乱七八糟的稳定一些。

via Memos
#cloud #storage #网盘

后续花了几十分钟抓包找原因, 发现是因为 *.ctyunxs.cn, 将这玩意分流到一个 300ms 的欧洲去都比在国内直连快, 分流到阿里 HK 更是比直连快了几百倍 (100kbps -> 200Mbps)

国内的运营商环境还是太烂了, 内卷严重, 以后网盘还是主力 google drive 吧😅

via Memos
#llm #leaderboard

Artificial Analysis LLM Leaderboard

Artificial Analysis 的评测方法注重实际应用场景,尤其是 API 调用的性能表现,这与 LMSYS Chatbot Arena 等更注重输出质量的评测形成互补

https://artificialanalysis.ai/leaderboards/models

via Memos
#mark

防止使用 US 节点时, Google 搜索时的时区错乱情况:

https://www.google.com/preferences?hl=zh-CN⟨=1&prev=https://www.google.com/preferences?hl%3Dzh-CN

选择 搜索结果区域 为 香港 or 新加坡 (东 8 区)

via Memos
#obsidian #tools

https://github.com/Canna71/obsidian-janitor

一个 obsidian 用于清理孤立文件、空文件、大文件和过期笔记的插件

via Memos
#bob #plugin

简单搞了个 bob -> 欧路词典的插件: 在 https://github.com/yuhaowin/wordbook-bob-plugin 的基础上添加了一个 自动单词验证 的功能.

https://github.com/Lincest/wordbook-bob-plugin

via Memos
#bb

支持账号系统的 cursor 居然连配置同步的能力都没有.

账号就是用来开通 API 权限的吗😂

https://forum.cursor.com/t/sync-of-keybindings-and-settings/31/40

via Memos
image.png
146.7 KB
#mark

又手痒开了一个 dropbox 3TB 的 professional

目前开的网盘和订阅价格:

Dropbox 3TB: 699 里拉 / 年
Google Drive 2TB: 499 里拉 / 年
Onedrive 1TB: 15 RMB / 年
天翼云盘 10TB: 300 RMB

via Memos
#bb

3xui 最后一次更新以及作者的抱怨

开源这类工具确实很吃力不讨好, 小白和喷子都太多了.

via Memos
#stt

https://tingwu.aliyun.com/

最近有语音转文字的需求, 试了一下 openai 的 whisper, 讯飞听见和阿里的通义听悟.

感觉还是通义听悟对于中英混合的文本最好用, 而且赠送的 500 小时额度也足够用了.

via Memos
#bb

在试用了一众 "稍后读" 和 "剪藏" 软件后, 仍然找不到满意的, 于是花了 1 小时简单搞了个适合自己的 workflow:

1. 利用 singlefile 保存单页 html 作为快照
2. 上传到 dropbox 并获取分享链接 (可以直接点击查看快照页面)
3. AI 自动生成摘要和 tag
4. 上传到 Notion Database 进行保存

整个流程联动了 Telegram Bot, Dropbox 和 Notion

目前使用起来体验不错.

demo: https://www.youtube.com/watch?v=ohiGbkgyGCk

via Memos
#gpt #o3-mini

这... 我用的降智版本?

via Memos
#ai #perplexity

在淘宝上搞了一个年费的 perplexity pro education 会员 (前两个月应该是可以白嫖)

体验不错, 加入了 o3-mini 和 r1 后更加强力了

via Memos
#bb #perplexity

感觉 perplexity 的网页做的比 mac 的客户端要好用的多, 用客户端还不如直接把网页弄成 PWA 呢

via Memos