🚀 DeepSeek открывает код своего inference-движка , но делает это с умом
Во время Open Source Week команда уже поделилась несколькими библиотеками — и получила мощный фидбек: коллаборации, обсуждения, багфиксы. Сегодня они идут дальше и отдают в open-source ядро своей inference-системы.
🧠 Inference engine DeepSeek построен поверх vLLM
💡 Раньше был внутренним, глубоко кастомизирован под DeepSeek-V3 / R1
⚠️ Но:
– Был основан на старом форке vLLM
– Жёстко зависел от приватной инфраструктуры DeepSeek
– И не имел ресурса на поддержку в
Вместо того чтобы выкладывать «сырой монолит», команда решила постепенно влить лучшие фичи в уже существующие open-source проекты:
✅ Делают фичи модульными
✅ выкладывают оптимизации
✅ Работа ведётся в синхроне с PyTorch и vLLM
https://github.com/deepseek-ai/open-infra-index/blob/main/OpenSourcing_DeepSeek_Inference_Engine/README.md
Во время Open Source Week команда уже поделилась несколькими библиотеками — и получила мощный фидбек: коллаборации, обсуждения, багфиксы. Сегодня они идут дальше и отдают в open-source ядро своей inference-системы.
🧠 Inference engine DeepSeek построен поверх vLLM
💡 Раньше был внутренним, глубоко кастомизирован под DeepSeek-V3 / R1
⚠️ Но:
– Был основан на старом форке vLLM
– Жёстко зависел от приватной инфраструктуры DeepSeek
– И не имел ресурса на поддержку в
Вместо того чтобы выкладывать «сырой монолит», команда решила постепенно влить лучшие фичи в уже существующие open-source проекты:
✅ Делают фичи модульными
✅ выкладывают оптимизации
✅ Работа ведётся в синхроне с PyTorch и vLLM
https://github.com/deepseek-ai/open-infra-index/blob/main/OpenSourcing_DeepSeek_Inference_Engine/README.md
April 14
🧠 DeDoDe — новый подход к локальному сопоставлению признаков
Проект DeDoDe ("Detect, Don't Describe — Describe, Don't Detect") разделяет процессы детектирования и описания ключевых точек на изображении, обеспечивая высокую точность и гибкость при сопоставлении.
📌 Особенности:
- Детектор обучается на 3D-устойчивости точек
- Дескриптор обучается отдельно на задаче сопоставления
- Поддерживает архитектурную гибкость и повторное использование
- Открытый код на Python, PyTorch, доступен в репозитории
📄 Статья (3DV 2024): arXiv 2308.08479
🆕 Обновление v2: arXiv 2404.08928
🔗 Репозиторий: github.com/Parskatt/DeDoDe
@data_analysis_ml
Проект DeDoDe ("Detect, Don't Describe — Describe, Don't Detect") разделяет процессы детектирования и описания ключевых точек на изображении, обеспечивая высокую точность и гибкость при сопоставлении.
📌 Особенности:
- Детектор обучается на 3D-устойчивости точек
- Дескриптор обучается отдельно на задаче сопоставления
- Поддерживает архитектурную гибкость и повторное использование
- Открытый код на Python, PyTorch, доступен в репозитории
📄 Статья (3DV 2024): arXiv 2308.08479
🆕 Обновление v2: arXiv 2404.08928
🔗 Репозиторий: github.com/Parskatt/DeDoDe
@data_analysis_ml
April 14
🔥На прошлой неделе СЕО провайдера Cloud․ru Евгений Колбин анонсировал внедрение бесплатного AI-помощника в облачной платформе Cloud․ru Evolution на ежегодной конференции GoCloud
А еще — сразу несколько новых сервисов для Big Data и AI!
- Evolution Managed ArenadataDB, доступный из облака Cloud․ru. Архитектура MPP помогает быстрее и эффективнее обрабатывать данные, в том числе в критически важных системах. Из преимуществ: быстрая и эффективная обработка данных, анализ и прогнозирование клиентской базы, сбор финансовой и управленческой отчетности. Сервис подойдет крупному бизнесу, компаниям среднего сегмента из ритейла, банковского сектора, сферы производства.
- Набор новых платформенных сервисов для работы с big data в публичном облаке Cloud․ru Evolution, который станет доступен в мае этого года. С его помощью компании смогут обрабатывать и анализировать данные, экономить время и ресурсы на обслуживание нужной IT-инфраструктуры и сфокусироваться на росте бизнеса. Готовые инструменты подойдут для AI/ML-задач, легко разворачиваются без помощи специалиста с опытом работы с большими данными.
- Cloud․ru Evolution AI Factory для быстрой разработки и внедрения AI-агентов в облаке. Собранный в одном месте набор готовых AI/ML-инструментов и технологий предоставит несколько новых возможностей: от обучения моделей до запуска мультиагентных систем. Запуск запланирован на лето 2025.
- Cloud․ru Evolution Stack AI-bundle. Это первое в России гибридное облако с поддержкой искусственного интеллекта, которое поможет быстрее запускать и масштабировать AI-сервисы в контуре компании.
А еще — сразу несколько новых сервисов для Big Data и AI!
- Evolution Managed ArenadataDB, доступный из облака Cloud․ru. Архитектура MPP помогает быстрее и эффективнее обрабатывать данные, в том числе в критически важных системах. Из преимуществ: быстрая и эффективная обработка данных, анализ и прогнозирование клиентской базы, сбор финансовой и управленческой отчетности. Сервис подойдет крупному бизнесу, компаниям среднего сегмента из ритейла, банковского сектора, сферы производства.
- Набор новых платформенных сервисов для работы с big data в публичном облаке Cloud․ru Evolution, который станет доступен в мае этого года. С его помощью компании смогут обрабатывать и анализировать данные, экономить время и ресурсы на обслуживание нужной IT-инфраструктуры и сфокусироваться на росте бизнеса. Готовые инструменты подойдут для AI/ML-задач, легко разворачиваются без помощи специалиста с опытом работы с большими данными.
- Cloud․ru Evolution AI Factory для быстрой разработки и внедрения AI-агентов в облаке. Собранный в одном месте набор готовых AI/ML-инструментов и технологий предоставит несколько новых возможностей: от обучения моделей до запуска мультиагентных систем. Запуск запланирован на лето 2025.
- Cloud․ru Evolution Stack AI-bundle. Это первое в России гибридное облако с поддержкой искусственного интеллекта, которое поможет быстрее запускать и масштабировать AI-сервисы в контуре компании.
April 14
🧠🔍 Kimina-Prover-Preview — мощный инструмент от MoonshotAI для автоматического построения доказательств в логике первого порядка с использованием LLM.
➡️ Что это?
Kimina — это "LLM-aided theorem prover", который комбинирует эвристический поиск с языковыми моделями, чтобы строить формальные доказательства по заданной цели и предпосылкам.
💡 Особенности:
▪ Поддержка логики первого порядка (FOL)
▪ Использует LLM (через API OpenAI, Claude и др.) для генерации обоснований
▪ Интеграция с Lean для проверки корректности
▪ Поддерживает кастомные промпты и множественные режимы поиска
🧪 Как работает:
Формулируется цель и список предпосылок
LLM предлагает следующий логический шаг
Инструмент проверяет, валиден ли шаг с точки зрения формальной логики
Если успешно — продолжается доказательство
🛠 Установка:
📎 GitHub: github.com/MoonshotAI/Kimina-Prover-Preview
➡️ Что это?
Kimina — это "LLM-aided theorem prover", который комбинирует эвристический поиск с языковыми моделями, чтобы строить формальные доказательства по заданной цели и предпосылкам.
💡 Особенности:
▪ Поддержка логики первого порядка (FOL)
▪ Использует LLM (через API OpenAI, Claude и др.) для генерации обоснований
▪ Интеграция с Lean для проверки корректности
▪ Поддерживает кастомные промпты и множественные режимы поиска
🧪 Как работает:
Формулируется цель и список предпосылок
LLM предлагает следующий логический шаг
Инструмент проверяет, валиден ли шаг с точки зрения формальной логики
Если успешно — продолжается доказательство
🛠 Установка:
git clone https://github.com/MoonshotAI/Kimina-Prover-Preview.git
cd Kimina-Prover-Preview
pip install -r requirements.txt📎 GitHub: github.com/MoonshotAI/Kimina-Prover-Preview
April 14
Как же плохо с неймингом у OpenAi.
GPT-4o
GPT-4o-mini
GPT-4.5
o1-low
o1-medium
o1-high
o1-mini
o1-pro
o3-low
o3-medium
o3-high
o3-mini-high
o3-pro
o4
o4-pro
o4-mini
o4-mini-high
chatgpt-4o-latest
GPT-4.1
GPT-4.1-mini
GPT-4.1-nano
Все понятно ?)
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
April 14
📚 MIT 6.S191 – Лекция 7: Генеративный ИИ для медиа
Выступает Doug Eck — ведущий исследователь Google Research, один из создателей MusicLM и Imagen.
🎨 В видео рассказывается:
▪ как ИИ генерирует музыку, изображения, текст и видео
▪ примеры от Google: MusicLM, Imagen
▪ обсуждаются границы возможностей генеративных моделей
▪ поднимаются этические и социальные вопросы
▶️ Смотреть: https://www.youtube.com/watch?v=ZNodOsz94cc
@data_analysis_ml
Выступает Doug Eck — ведущий исследователь Google Research, один из создателей MusicLM и Imagen.
🎨 В видео рассказывается:
▪ как ИИ генерирует музыку, изображения, текст и видео
▪ примеры от Google: MusicLM, Imagen
▪ обсуждаются границы возможностей генеративных моделей
▪ поднимаются этические и социальные вопросы
▶️ Смотреть: https://www.youtube.com/watch?v=ZNodOsz94cc
@data_analysis_ml
YouTube
MIT 6.S191 (Google): Large Language Models
MIT Introduction to Deep Learning 6.S191: Lecture 7
Large Language Models (Part 1)
Lecturer: Peter Grabowski (Google)
Peter Grabowski leads an applied research team focused on Gemini at Google.
For all lectures, slides, and lab materials: http://intr…
Large Language Models (Part 1)
Lecturer: Peter Grabowski (Google)
Peter Grabowski leads an applied research team focused on Gemini at Google.
For all lectures, slides, and lab materials: http://intr…
April 15
🥇 VL-Rethinker — новую парадигму мультимодального вывода, обучаемую напрямую с помощью Reinforcement Learning.
🌟 Новая SOTA на ключевых бенчмарках по vision + math:
🟢 MathVista: 80.3 → 🥇 (+6.4 vs GPT-o1 73.9)
🟢 MathVerse: 61.7 → 🥇 (+4.7 vs GPT-o1 57.0)
🟢 MathVision: 43.9 → 🥇 (+1.7 vs GPT-o1 42.2)
🔥 В чём секрет? GRPO-алгоритм с двумя ключевыми новшествами:
🟠 Этап 1: Улучшение логики, с помощью GRPO + SSR (Selective Sample Replay):
Сохраняются только те последовательности действий модели (rollouts), которые дали ненулевое преимущество (advantage).
При повторном обучении приоритет отдается полезным примерам, что помогает стабилизировать обучение.
Почему это важно?
При обычном GRPO-со временем "advantage" может становиться нулевым → градиенты обнуляются → модель перестаёт учиться. SSR решает эту проблему.
🟠 Этап 2: Вынужденное «переосмысление» (Forced Rethinking)
На этом этапе в каждый rollout добавляется специальный триггер, заставляющий модель заново обдумывать ответ, прежде чем его выдать.
Это развивает способность к саморефлексии, улучшает многошаговое рассуждение и точность ответов.
🔥 Модель вынуждена подумать ещё раз перед финальным ответом.
Результат — у модели появляются признаки метапознания: она сама находит ошибки в начальных размышлениях.
✔️ VL-Rethinker-72B — первый VLM, обгоняющий GPT-o1.
Похоже, что будущее за "медленно думающими" и умеющими рефлексировать агентами.
🔜 Paper
🔜 Code
🔜 Website
Сохраняются только те последовательности действий модели (rollouts), которые дали ненулевое преимущество (advantage).
При повторном обучении приоритет отдается полезным примерам, что помогает стабилизировать обучение.
Почему это важно?
При обычном GRPO-со временем "advantage" может становиться нулевым → градиенты обнуляются → модель перестаёт учиться. SSR решает эту проблему.
На этом этапе в каждый rollout добавляется специальный триггер, заставляющий модель заново обдумывать ответ, прежде чем его выдать.
Это развивает способность к саморефлексии, улучшает многошаговое рассуждение и точность ответов.
Результат — у модели появляются признаки метапознания: она сама находит ошибки в начальных размышлениях.
Похоже, что будущее за "медленно думающими" и умеющими рефлексировать агентами.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
April 15
🎙 Новый выпуск DEPLOY подкаста — включай, если интересуешься техноподходом в реальных продуктах
Гость выпуска — Антон из Яндекса, эксперт по рекламным технологиям.
С 2013 года он, прошёл путь от Perl до C++ и сегодня отвечает за инфраструктуру и качество таких сервисов, как Яндекс.Директ и Метрика.
Звучит серьёзно — так оно и есть.
Но при этом выпуск получился очень живой, прикладной и честный.
Что внутри:
🟡 Как реклама помогает бизнесу продавать, а пользователям решать свои задачи — за счёт системы рекомендаций
🟡 Зачем нужны нейросети в реальном времени и как они влияют на user experience
🟡 Как проектировать высоконагруженные системы, чтобы они не разваливались под нагрузкой
🟡 Что такое «перфоратор» и как оптимизировать нагрузку на сервера
🟡 Почему без нормальной командной структуры и A/B-тестов далеко не уедешь
🟡 Как устроена разработка в Яндексе, как решаются конфликты и почему важно менторство
Антон очень чётко объясняет сложные штуки, не уходит в абстракции и при этом даёт полезный взгляд на реальную разработку, архитектуру и работу больших продуктовых команд.
📍 Смотри/слушай:
⚫️ YouTube
⚫️ VK
⚫️ Rutube
Подкаст — must listen, если ты работаешь с ML, инфраструктурой, рекламой или просто хочешь понять, как всё это устроено в настоящей продовой среде.
Гость выпуска — Антон из Яндекса, эксперт по рекламным технологиям.
С 2013 года он, прошёл путь от Perl до C++ и сегодня отвечает за инфраструктуру и качество таких сервисов, как Яндекс.Директ и Метрика.
Звучит серьёзно — так оно и есть.
Но при этом выпуск получился очень живой, прикладной и честный.
Что внутри:
Антон очень чётко объясняет сложные штуки, не уходит в абстракции и при этом даёт полезный взгляд на реальную разработку, архитектуру и работу больших продуктовых команд.
📍 Смотри/слушай:
Подкаст — must listen, если ты работаешь с ML, инфраструктурой, рекламой или просто хочешь понять, как всё это устроено в настоящей продовой среде.
Please open Telegram to view this post
VIEW IN TELEGRAM
April 15
📚 AICI — новый уровень контроля над генерацией текста в LLM. Это не просто очередная библиотека, а принципиально новый подход к интеграции пользовательской логики в процесс генерации текста.
Суть в том, что разработчики с помощью данного инструмента дают возможно встраивать собственные алгоритмы прямо в процесс декодирования токенов. Например, можно динамически редактировать промпты, ограничивать вывод по грамматике или координировать несколько параллельных генераций. Всё это работает через компактные Wasm-модули, выполняющиеся на CPU параллельно с GPU-вычислениями модели.
🤖 GitHub
@data_analysis_ml
Суть в том, что разработчики с помощью данного инструмента дают возможно встраивать собственные алгоритмы прямо в процесс декодирования токенов. Например, можно динамически редактировать промпты, ограничивать вывод по грамматике или координировать несколько параллельных генераций. Всё это работает через компактные Wasm-модули, выполняющиеся на CPU параллельно с GPU-вычислениями модели.
🤖 GitHub
@data_analysis_ml
April 15
Veo 2 от Google доступен для всех — создавать кинематографичные ролики можно в AI Studio.
Лимит: 3-5 видео в день, зато БЕСПЛАТНО.
@data_analysis_ml
Лимит: 3-5 видео в день, зато БЕСПЛАТНО.
@data_analysis_ml
April 16
Открыт приём научных работ в журнал Международной конференции AI Journey с призом за лучшую статью
— 1 миллион рублей.
Ключевые исследования будут опубликованы в спецвыпуске журнала «Доклады РАН. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics.
Условия участия:
✓ Оригинальные исследования (без плагиата)
✓ Языки: русский/английский
✓ Дедлайн подачи — 20 августа 2025
Подать заявку → https://aij.ru/science
— 1 миллион рублей.
Ключевые исследования будут опубликованы в спецвыпуске журнала «Доклады РАН. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics.
Условия участия:
✓ Оригинальные исследования (без плагиата)
✓ Языки: русский/английский
✓ Дедлайн подачи — 20 августа 2025
Подать заявку → https://aij.ru/science
April 16
🚀 MaxText — высокопроизводительный LLM-фреймворк для на Python/JAX для TPU и GPU. В отличие от многих аналогов, он достигает высокой эффективности без ручных оптимизаций — за счёт возможностей JAX и компилятора XLA.
Проект поддерживает Llama 2/3, Mistral, Mixtral, Gemma и DeepSeek, а его ключевая фишка — линейная масштабируемость: от одного устройства до кластеров в 51 000 чипов. При этом код остаётся минималистичным, что упрощает кастомизацию под исследовательские и продакшн-задачи.
🤖 GitHub
@data_analysis_ml
Проект поддерживает Llama 2/3, Mistral, Mixtral, Gemma и DeepSeek, а его ключевая фишка — линейная масштабируемость: от одного устройства до кластеров в 51 000 чипов. При этом код остаётся минималистичным, что упрощает кастомизацию под исследовательские и продакшн-задачи.
🤖 GitHub
@data_analysis_ml
April 16