#mark #pt

TJUPT 居然倒了

via Memos

#bb

字节跳动技术团队每天都在更新些什么💩

via Memos

#rclone

rclone 获取机房位置:

rclone lsd onedrive: -vv --dump headers

输出:

X-Ms-Ags-Diagnostic: {"ServerInfo":{"DataCenter":"Southeast Asia" ...

via Memos

#风 #wind

查看风力网站: https://www.windy.com/

风力换算:

via Memos

#gpt #claude #ai

同样是 claude 3.5, 看来 API 和官网还是有区别

via Memos

#mark #ai #deepseek

DeepSeek 的 ios 和 android 客户端都上线了, 体验了一下非常不错~

● https://apps.apple.com/cn/app/deepseek/id6737597349

via Memos

#mark #claude #gpt #deepseek #ai

手动查了下目前几个常见 LLM API 的官方价格差异 (输入均为缓存未命中价格):

1 - Claude 3.5 Sonnet

ref: https://www.anthropic.com/pricing?t#anthropic-api

● 输入成本: $3.00 每百万个令牌
● 输出成本: $15.00 每百万个令牌

2 - OpenAI GPT-4o

ref: https://openai.com/api/pricing/?t

● 输入成本: $2.50 每百万个令牌
● 输出成本: $10.00 每百万个令牌

3 - DeepSeek

ref: https://api-docs.deepseek.com/zh-cn/quick_start/pricing

● 输入成本: ¥2 每百万个令牌 (2025-02-08 后, 目前是1元, 下同)
● 输出成本: ¥8 每百万个令牌 (目前是2元)

via Memos

#mark #obsidian

https://github.com/logancyang/obsidian-copilot

一个不错的 obsidian ai 插件, 可以帮助:

● 自动关联相关笔记.
● 自动调用 embedding 模型建立索引, 并进行整个 vault 的 QA 对话.

via Memos

#llm #cache

关于 LLM API 的 cache hit (缓存命中)

● deepseek 的解释(比较详细): https://api-docs.deepseek.com/zh-cn/guides/kv_cache
● 一篇知乎文章: LLM Best Practice：Prompt caching

via Memos

Untitled

via Memos

#mark #ai #llm #leaderboard

MTEB 是一个用于评估文本嵌入(Text Embedding)模型性能的基准测试集。这个榜单展示了不同模型在文本嵌入任务上的表现。

● https://huggingface.co/spaces/mteb/leaderboard

via Memos

#tools

macos 一个配置「默认打开方式」很好用的命令行工具: duti

安装: brew install duti

基本使用:

1. 配置默认打开方式: duti -s com.microsoft.VSCode .json all
2. 查看某个文件的默认打开方式: duti -x yaml
3. 如果不确定包 id, 可以通过 osascript -e 'id of app "Visual Studio Code"' 查看

via Memos

#llm #ai

感觉现在 deepseek 的程度已经可以让我不用续费 gpt、claude 和 perplexity 了，搜索和 r1 目前都做的已经很好了。

下个月计划就只留下一个 Claude 用来查漏补缺了。

via Memos

#bb

腾讯云 200m 正式上线了，但是完全没有购买的欲望了。如果是半年前的我估计会热火朝天的买个三五年、然后把 v4 和 v6 的转发全用上，再挂载几个国内云盘折腾 emby。

但是现在已经累了，不买立省 100%。

按照现在云服务厂商卷的速度，谁知道三五年之后会发生什么。

via Memos

#mark #jd

京东 plus 会员的积分兑换服务: https://u.jd.com/Qawyudg

via Memos

#tools #adguard

● https://github.com/AdGuardTeam/AdGuardBrowserExtension

adguard 浏览器插件版用起来不错, 适合一些轻量级的广告屏蔽需求

via Memos

#mark

看到的一个非常不错的讲 deepseek v3 paper 的分析: https://www.youtube.com/watch?v=OM7Sa_BlDIk

包括 kv cache 都从 0 开始讲了, 很适合新手看

via Memos

#llm

Bilibili 技术: 大模型推理加速的研究与分析

加速方案的主要思路

1 - 算子层优化：

● Operator Fusion：通过将多个算子融合为一个复杂算子，减少内存访存次数，加快计算速度。
● High-Performance Acceleration Library：使用如ONNX Runtime、TVM、cuBLAS、FasterTransformer等高性能加速库，优化常见的神经网络算子的计算性能。
● Layer Fusion：在多头注意力机制中，将所有操作合并到一个计算核中，减少数据传输并提高数学密度。

2 - 算法层优化：

● Quantization Techniques：使用精度更低的单位来表示模型的权重或激活值，以节省空间和加速模型推理速度。
● Speculative Decoding：通过使用一个简洁且反应迅速的小型模型来辅助解码，提升推理速度。
● Sharding Strategy Optimization：通过模型分片将不同部分的计算任务分布到多个设备上，减少单个设备的内存压力和计算瓶颈。

3 - 框架层优化：

● Contiguous Batching：通过在推理过程中保持请求的连续批量处理，减少上下文切换和内存调度带来的开销。
● PageAttention：优化Attention机制中的KV存储，减少内存占用，提高内存访问效率。
● TensorRT-LLM和MindelIE-LLM框架：通过支持多种Attention机制和流水线并行、跨层并行等技术，提高推理的吞吐量和响应速度。

via Memos

#网盘 #cloud #storage

花了 300 开了个天翼云盘扩容 10t，发现对家里的联通宽带限速极为严重，体验不是很好。

不过算下来 10t 永久的价格还可以，运营商的网盘感觉也会比那些乱七八糟的稳定一些。

via Memos

Invalid media: image

#cloud #storage #网盘

后续花了几十分钟抓包找原因, 发现是因为 *.ctyunxs.cn, 将这玩意分流到一个 300ms 的欧洲去都比在国内直连快, 分流到阿里 HK 更是比直连快了几百倍 (100kbps -> 200Mbps)

国内的运营商环境还是太烂了, 内卷严重, 以后网盘还是主力 google drive 吧😅

via Memos

#llm #leaderboard

● 比较 LLM API 性能: https://artificialanalysis.ai/leaderboards/models
● 另一个比较 LLM price 的: https://countless.dev/

via Memos