Хорошая статья от Антона про обучение R1, test-time scaling, «озарение» и про то как Zero версия убирает узкое горлышко в виде человека из обучения модели рассуждениям.

Интересный эфир на youTube, популяризаторы науки Сурдин и Семихатов смотрят и обсуждают фильм Интерстеллар.

https://www.youtube.com/watch?v=miheS43AasA

#perplexity_clone

Попробовал накидать страничку со стримингом из API Perplexity. Прикольно, из коробки работают поиск и рассуждения.

Жалко, что фильтр по поисковым источникам только на высоком tier'е работает (надо закинуть $500 на счет), а то бы поигрались.

DeepSeek начал открывать кофейни, в меню LatteGPT, Turing Tea, Backpropagation Raf

🔺 Мультиязычные MoE эмбеддинги

Nomic выложили модель Embed Text V2 в открытый доступ, можно запускать через sentence_transformers, обещают добавить в ollama.

🔸 Эмбеддинги используются, чтобы перенести тексты в единое векторное пространство, благодаря чему можно количественно посчитать насколько два текста близки по смыслу. В данном случае это можно применить для текстов на разных языках.

🔸 Поддерживается 100+ языков (в табличке, которую прилагают авторы языков 96, но для родственных им языков также будет работать). Обучали на 1.6B пар предложений.

🔸 Архитектура MoE. По-моему, для эмбеддингов такой еще не было. Это значит, что при использовании будет активироваться только часть весов модели, всего 300M параметров, это немного.

🔸 Данные, веса и код выкладывают в открытый доступ, что мы, конечно, приветствуем.

🔸 Эмбеддинги для экономии можно обрезать до 256, так как обучали с подходом Matryoshka.

🔸 Языков России/СНГ не так много, по качеству надо смотреть.

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("nomic-ai/nomic-embed-text-v2-moe", trust_remote_code=True)
sentences = ["Hello!", "Привет!"]
embeddings = model.encode(sentences, prompt_name="passage")

similarity = model.similarity(embeddings[0], embeddings[1])

👉 Пост | GitHub | HF