12 декабря Алексей Журин разобрал технический отчёт от DeepSeek: «DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models».

🎬Выкладываем запись встречи и делимся выводами:
🛑post-train через дистилляцию знаний от экспертов — топ;
🛑DeepSeek Sparse Attention (DSA) кратно снижает расходы на инференс моделей с большим контекстным окном;
🛑для тюнинга под агентские задачи авторы разработали пайплайн генерации агентских задач;
🛑в API модели появился reasoning tool-calling;
🛑DeepSeek v3.2 — самая экономичная SOTA модель в open-source.

#reading_group #recording #llm

Насколько хорошо мы понимаем поведение attention в современных LLM?

Несмотря на зрелость архитектуры Transformer, механизм attention по-прежнему имеет системные ограничения. Одно из них — attention sink — склонность модели концентрироваться на первых токенах, что ухудшает стабильность обучения и работу с длинным контекстом.

В лучшей статье NIPS 2025 «Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free» команда Qwen рассказала, как нивелировать эту проблему без изменения архитектуры модели с помощью простого gating-механизма.

На предстоящей встрече PT ML Reading Group специалист ML-команды Данил Лялин разберёт эту работу и объяснит, почему небольшое изменение в attention приводит к заметному улучшению качества и устойчивости обучения, а также long-context-способностей LLM.

На встрече обсудим:
🛑что такое attention sink;
🛑как работает gated attention и почему наиболее эффективно его применять после Scaled Dot-Product Attention (SDPA);
🛑какую роль в gated attention играет нелинейность и input-dependent sparsity;
🛑как gated attention влияет на стабильность обучения и длинный контекст.

📅 Ждём всех в Толке в пятницу, 26 декабря, в 15:00 мск.
🔗 Ссылка для подключения: Ктолк

#reading_group #attention #nlp

Мы начинаем заключительную в 2025 году RG🎄

Поздравляем наших дорогих подписчиков с Новым Годом🎉

Пусть в 2026 году loss стремится к 0.0, мощностей всегда было в избытке, инфра не падала и чтобы ваши модели были SOTA на всех бенчмарках.

Спасибо, что вы с нами😘
Спасибо, что читаете посты и смотрите наши RG

С наступающим, 2026 годом🎄

P.S.: делитесь в комментах своими ёлочками. Коллективно соберём ёлочный датасет.

Я зарекался не выкладывать трендовые новости в канал, но про эту написал даже Андрей Карпаты, поэтому ловите tldr на взлом litellm:

1. Хакеры проводят кампанию на Trivy (инструмент безопасной разработки для анализа зависимостей проекта, обнаружения секретов и ошибок конфигурации). Атака заключается в краже переменных окружения и популярных файлов с кредами при каждом запуске sast-а в github ci/cd.

2. Для того, чтобы отвлечь внимание от атаки, хакеры запускают спам боты на issue в гитхабе.

3. LiteLLM проект популярный, поэтому разрабатывают свой код безопасно, используют Trivy сканер в свох пайплайнах. Он есть на гитхабе + это подтвердил на hackernews разработчик проекта.

4. Хакеры получают креды LiteLLM, потому что в пайплайнах засветился токен для публикации пакетов pypi PYPI_PUBLISH.

5. Этим токеном хакер публикует litellm@1.82.7, в котором при импорте библиотеки запускается вредоносная нагрузка по краже (1.82.7: proxy_server․py → p․py → checkmarx․zone/raw)

6. Охваты такой цепочки видимо не оправдали ожиданий, поэтому следом публикуется litellm@1․82․8, в котором даже импортировать пакет не надо (1.82.8: litellm_init․pth → models․litellm․cloud):

.pth files in site-packages/ are executed automatically by the Python interpreter on startup (see Python docs on .pth files). No import statement is needed.

7. Хакеры повторяют трюк с флудом в issue, чтобы снова отвлечь внимание от кампании (листайте тут). Пересечение аккаунтов с спам-атакой на trivy больше 75%.

8. done

А еще сделал вас сделал мем-диаграмму на процессы безопасной разработки в 2к26 😁