摸鱼集市 – Telegram

摸鱼集市

🥰5

234 views魔法小猫, 04:24

摸鱼集市

想和网友们一起生成双人报告

@絢香猫邀请你：生成你们独一无二的双人报告 http://163cn.tv/AkJhGj8 (@网易云音乐)

（这种肯定会有大数据追踪和隐含的关系绑定哦，介意隐私的伙伴还请别点w）

163

网易云音乐|年度报告

网易云音乐是一款专注于发现与分享的音乐产品，依托专业音乐人、DJ、好友推荐及社交功能，为用户打造全新的音乐生活。

🤗5

226 views魔法小猫, 06:06

摸鱼集市

Forwarded from DBin_K 🤯 Tingle 灵光一闪 💡 (DBin_K ∣ 人工智矿👾)

非常暖心的一件事🥰

https://mp.weixin.qq.com/s/5R_Ok2AjCwL51bflnqMWpg

❤3

220 views魔法小猫, 10:54

摸鱼集市

好好整合了一下 HuggingFace Spaces

- アイリ
- WebGPU 跑 Whisper
- WebGPU 跑 VAD + Moonshine

三个前端项目都可以直接在 moeru-ai 的 HuggingFace 组织下玩到了！

https://huggingface.co/moeru-ai

> 很骄傲地使用了 `hfup` 帮助部署到 HuggingFace Spaces

🥰3

264 views魔法小猫, 02:41

摸鱼集市

国产之光DeepSeek把AI大佬全炸出来了！671B大模型训练只需此前算力1/10，细节全公开
https://mp.weixin.qq.com/s/uho6L_V2IybmUmH8jXmRmw

297 views魔法小猫, 06:44

摸鱼集市

354 views魔法小猫, 06:47

摸鱼集市

国产之光DeepSeek把AI大佬全炸出来了！671B大模型训练只需此前算力1/10，细节全公开 https://mp.weixin.qq.com/s/uho6L_V2IybmUmH8jXmRmw

DeepSeek_V3.pdf

1.6 MB

DeepSeek V3 技术报告

🐳1

481 views魔法小猫, 06:49

摸鱼集市

Photo

确实，高性能、高缓存容量的通用分布式存储真的很重要，在故障恢复和 checkpoint 转移和保存上能节省非常多的 GPU 小时。
InfiniBand 和比较能通过 SDN 去 mesh 网络给 NCCL 的 RDMA 交换机也非常重要。

也因为如此 Volcano，Ray 和 Kueue 这样的 Kubernetes 项目才会越来越重要和受到欢迎，因为基本上是没办法绕过这个坎的。

这里面我觉得最重要的就是这个分时 all-to-all 的通信内核实现了，相当于实现了一个 kernel scheduler 一样的东西，能尽可能全部利用上 GPU 的算力能力。

👍2🐳2

334 views魔法小猫, 06:56

摸鱼集市

确实，高性能、高缓存容量的通用分布式存储真的很重要，在故障恢复和 checkpoint 转移和保存上能节省非常多的 GPU 小时。 InfiniBand 和比较能通过 SDN 去 mesh 网络给 NCCL 的 RDMA 交换机也非常重要。也因为如此 Volcano，Ray 和 Kueue 这样的 Kubernetes 项目才会越来越重要和受到欢迎，因为基本上是没办法绕过这个坎的。这里面我觉得最重要的就是这个分时 all-to-all 的通信内核实现了，相当于实现了一个 kernel scheduler…

不过另一个值得关注的点是，和我 2023 年底预测的一样，scaling law 虽然不会立刻结束，但是靠堆算力和堆训练集数据集带来的「力大飞砖」的效应会因为数据枯竭和当前分布式训练的通信不够高效导致再难 scale 上去了。

于是 Microsoft 开始研究 Phi 系列的模型做蒸馏，用大模型训练小模型，然后用小模型去蒸馏出更小的端侧全能模型。Gemma 也是类似的路子。靠提纯先前的精致优良数据蕴含的知识来继续 scale。

以及会有现在 DeepSeek 以及 Meta 在研究的大规模算力优化和很多 SRE 工程师在研究的分布式训练的方向去榨干 GPU 的算力资源，最大化使用效率（当然也是我本职工作的一部分）。

如果都能带来非常可观的突破的话，scaling law 也许还能再保持一段时间。

不过我也很看好新的 Mamba-like 架构和 Meta 提出的 BLT（Byte Latent Transformers）架构，看看他们接下来会有什么大的进展吧。

🐳3👍2

383 views魔法小猫, 07:02

摸鱼集市

新的 LLM + L2D + VRM 项目アイリ自从 Neuro-sama 去年开始越来越火之后我就很喜欢 Neuro，一直都想要试试看复刻一个自己的 Neuro，让 LLM 和 Live2D 配合起来一起工作。这两天在和别的伙伴一起写 LLM 相关的工具 xsai（已经开源了，而且 Airi 是由它驱动的，相比 Vercel AI SDK 轻量一些），想起来之前 5 月底就在实验的 Neuro 后面一直都咕咕咕，现在做了 VRM 的集成，感觉也还算是可以拉出来给大家玩玩看了，所以折腾折腾了一番后部署到了…

现在界面变好看很多了

想做个能插件化去替换成不同的背景的组件化，这样可以满足每个不同的模型的需求，根据不同的模型开发不同的 layout 即可。

有没有大佬想要一起写的？

🥰4👍3

953 views魔法小猫, 10:18

摸鱼集市

Forwarded from 柠檬猫飘来飘去 🍋 (柠喵² LemonNeko⁴)

什么时候奈落文字能进 Unicode 标准

10🥰2🤯1

282 views魔法小猫, 05:28

摸鱼集市

Forwarded from 柠檬猫飘来飘去 🍋 (柠喵² LemonNeko⁴)

260 views魔法小猫, 05:28

摸鱼集市

Forwarded from 洛灵国

luoling8192/defaults-to-vscode: One-click solution to set VSCode as the default application for development files
https://github.com/luoling8192/defaults-to-vscode/tree/main

GitHub

GitHub - luoling8192/defaults-to-vscode: 🎉 One-click solution to set VSCode or Cursor as the default application for development…

🎉 One-click solution to set VSCode or Cursor as the default application for development files. - luoling8192/defaults-to-vscode

296 views魔法小猫, 17:46

摸鱼集市

Forwarded from 洛灵国

luoling8192/bing-wallpaper-mac: Automatically update your macOS wallpaper with Bing's daily image.
https://github.com/luoling8192/bing-wallpaper-mac

GitHub

GitHub - luoling8192/bing-wallpaper-mac: Automatically update your macOS wallpaper with Bing's daily image.

Automatically update your macOS wallpaper with Bing's daily image. - luoling8192/bing-wallpaper-mac

403 views魔法小猫, 17:46

摸鱼集市

Forwarded from YearProgress

▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ 100%

😭2🥰1🤯1

380 views魔法小猫, 04:35

摸鱼集市

中国大陆二次元手游《少女前线》国服版于今日（12月31日）上午10点停服

游戏介绍：《少女前线》是由散爆网络（即云母组）独立研发，暗冬网络（原由成都数字天空代理）所代理发行的国人原创二次元枪娘养成战术手游

停服原因：《少女前线》由于与国服合作方成都数字天空科技有限公司的合作协议到期，后面转由暗冬网络运营后没有重新申请版号，且基于协议约束的版号相关原因，双方无法达成续约共识，导致无法继续运营，于今日停服

目前外服不受任何停服影响

513 viewsبَاسِمُ بْنُ إِسْحَاقَ, edited 06:15

摸鱼集市

大家新年快乐！

新年快乐 🥰

❤9🥰2

520 viewsبَاسِمُ بْنُ إِسْحَاقَ, edited 16:03

摸鱼集市

现在界面变好看很多了想做个能插件化去替换成不同的背景的组件化，这样可以满足每个不同的模型的需求，根据不同的模型开发不同的 layout 即可。有没有大佬想要一起写的？