8 специализированных типов AI-моделей

LLM → генерация текста
LCM → семантическое рассуждение
LAM → агенты, ориентированные на выполнение действий
MoE → маршрутизация по экспертам
VLM → зрение + язык
SLM → лёгкие модели для edge-устройств
MLM → обучение с маскированием токенов
SAM → сегментация изображений

👉 @DataSciencegx

Якобиан — это то, как на самом деле «двигаются» многомерные системы.

Вы больше не работаете с одной переменной —
вы работаете с преобразованиями:

входной вектор → выходной вектор

Якобиан показывает, как каждое входное измерение влияет на каждое выходное.

Что это такое:
→ матрица частных производных
→ каждая строка = одна выходная функция
→ каждый столбец = одна входная переменная

J(i,j) = ∂fᵢ / ∂xⱼ

Почему это важно:
→ это локальная линейная аппроксимация нелинейной системы
→ показывает, как распространяются малые изменения
→ превращает сложные системы в вычислимую форму

В физике:
→ преобразования координат
→ отображение скоростей
→ замена переменных в интегралах

В робототехнике:
→ отображает скорости суставов → скорость рабочего органа (end-effector)
→ сингулярности возникают, когда якобиан вырождается

В оптимизации / ML:
→ распространение градиента через слои
→ backprop — это цепочка якобианов

Интерпретация:
→ det ≠ 0 → преобразование локально обратимо
→ det = 0 → происходит потеря информации

Якобиан — это не просто теория.
Это интерфейс между геометрией и вычислениями.

👉 @DataSciencegx

Хочешь разобраться, какими способами обучают LLM?

Обучение больших языковых моделей (LLM) основано на разных подходах, которые помогают моделям понимать и генерировать текст.

Каждый метод по-своему формирует процесс обучения — от предсказания следующего слова до классификации целых предложений или разметки сущностей.

Вот 4 распространённых способа обучения LLM простым языком 👇

1. Causal Language Modeling
Предсказывает следующее слово в последовательности на основе предыдущих. Помогает модели освоить естественный поток речи и структуру предложений.
Аналогия: как заканчивать фразу за другого человека, угадывая следующее слово.

2. Masked Language Modeling
Обучается, угадывая пропущенные слова в предложении на основе окружающего контекста. Улучшает общее понимание языка.
Аналогия: как решать задания с пропусками.

3. Text Classification Modeling
Определяет общий класс предложения (например, тональность или тему), сравнивая предсказания с реальными метками.
Аналогия: как сортировать письма по папкам «Работа», «Личное» или «Промо».

4. Token Classification Modeling
Назначает метки каждому слову или подслову — например, выделяет имена, места или даты в тексте.
Аналогия: как подсвечивать слова разными цветами — имена синим, места зелёным, даты жёлтым.

Эти методы лежат в основе современных LLM, и каждый из них играет свою роль в том, чтобы делать ИИ умнее и полезнее.

👉 @DataSciencegx

полный архитектурный разбор трансформеров с интуитивными визуализациями.

https://vizuaranewsletter.com/p/the-transformers

👉 @DataSciencegx

KV-кэширование в LLM, простое объяснение

Вы, должно быть, замечали: каждый раз, когда используете ChatGPT или Claude, первый токен появляется заметно дольше. А затем остальные начинают стримиться почти мгновенно.

Под капотом это осознанное инженерное решение, называемое KV-кэшированием (key-value caching), и его цель — ускорить инференс LLM.

Давайте разберёмся, как это работает — начиная с базовых принципов.

👉 @DataSciencegx

16 лучших GitHub-репозиториев для создания AI-инженерных проектов!

Open-source экосистема AI сейчас насчитывает более 4,3 млн репозиториев.

Каждый месяц появляются новые проекты, которые быстро набирают популярность, и инструменты, с которыми работают разработчики сегодня, уже совсем не похожи на те, что были год назад.

Я собрал визуализацию 16 репозиториев, которые прямо сейчас формируют современный инструментарий AI-разработчика.

Цель — покрыть ключевые слои стека:

1. OpenClaw
↳ Персональный AI-агент, который работает на ваших устройствах и интегрируется с 50+ мессенджинг-платформами

2. AutoGPT
↳ Платформа для разработки, деплоя и запуска автономных AI-агентов

3. Hugging Face Transformers
↳ Фреймворк моделей для SOTA-решений в ML: текст, компьютерное зрение, аудио и мультимодальные задачи

4. Ollama
↳ Запуск мощных LLM локально на вашем железе одной командой

5. LangChain
↳ Базовый фреймворк для разработки агентов и приложений на базе LLM

6. Open WebUI
↳ Self-hosted альтернатива ChatGPT с поддержкой офлайн-режима, встроенным RAG и системой плагинов

7. ComfyUI
↳ Node-based визуальный конструктор пайплайнов для генерации изображений и видео с помощью AI

8. Sim
↳ Open-source drag-and-drop конструктор воркфлоу для создания и деплоя пайплайнов AI-агентов

9. Opik
↳ Open-source платформа для трейсинга, оценки и мониторинга LLM-приложений и агентных воркфлоу

10. Firecrawl
↳ Преобразует любой сайт в markdown или структурированные данные, готовые для LLM

11. Airweave
↳ Open-source слой извлечения контекста, синхронизирующий 50+ источников данных для AI-агентов

12. vLLM
↳ Высокопроизводительный и memory-efficient движок для сервинга LLM в продакшене

13. Unsloth
↳ Дообучение и запуск open-моделей в 2 раза быстрее при снижении потребления памяти на 70%

14. OpenPipe ART
↳ Обучение многошаговых AI-агентов для реальных задач с использованием reinforcement learning

15. OpenCode
↳ Open-source AI-агент для кодинга, не привязанный к провайдеру, работающий в терминале

16. Chandra OCR (от Datalab)
↳ SOTA OCR-модель для сложных таблиц, форм, рукописного текста и более чем 90 языков


👉 @DataSciencegx

GLM-OCR — модель на 0.9B параметров, которая обгоняет Gemini в OCR-бенчмарках 💀

Это vision-language модель на 0.9B параметров. Поддерживает разрешение до 8K, более 8 языков и имеет встроенные режимы распознавания текста, LaTeX и таблиц.

Демо:

http://github.com/zai-org/GLM-OCR

👉 @DataSciencegx

Как построить ОС для вашего AI-воркфорса?

Взгляд с первых принципов: почему для управления флотом AI-агентов нужен уровень операционной системы, а не просто более хороший фреймворк — и что этот уровень должен делать.

Мы потратили два года, чтобы действительно хорошо научиться строить AI-агентов.

У нас есть фреймворки, конструкторы воркфлоу, drag-and-drop канвасы, Python-библиотеки, оркестраторы мультиагентных систем. Инструменты стали как никогда доступными. И всё же большинство компаний, внедряющих AI-агентов в продакшене, по-прежнему относятся к этому как к научному эксперименту.

Читать далее 👍

👉 @DataSciencegx

Multi-Head Attention в LLM, визуальное объяснение

👉 @DataSciencegx

Navier–Stokes equations описывают, как на самом деле движутся жидкости и газы.

Не идеальный поток, а реальный — с вязкостью, давлением и инерцией.

Это законы сохранения, записанные в динамической форме.

Основное уравнение:

\rho\left(\frac{\partial \mathbf{v}}{\partial t} + \mathbf{v}\cdot\nabla \mathbf{v}\right) = -\nabla p + \mu \nabla^2 \mathbf{v} + \mathbf{f}

Что означает каждый член:

→ ∂v/∂t
изменение скорости со временем

→ v·∇v
нелинейная адвекция
поток переносит собственный импульс

→ −∇p
градиент давления «толкает» поток

→ μ∇²v
вязкость сглаживает движение
диффузия импульса

→ f
внешние силы

Ограничение (частый случай):

\nabla \cdot \mathbf{v} = 0

→ несжимаемость

Почему это сложно:

→ нелинейность из-за v·∇v
→ связка давления и скорости
→ турбулентность возникает из простых уравнений

Режимы течения:

→ низкое число Рейнольдса
вязкость доминирует → поток гладкий и предсказуемый

→ высокое число Рейнольдса
инерция доминирует → хаос и турбулентность

Почему это важно:

в инженерии:
→ аэродинамика (сопротивление, подъёмная сила)
→ трубопроводы, горение
→ дроны, самолёты, турбины

в природе:
→ океаны, атмосфера, кровоток

в вычислениях:
→ решаются численно (CFD)
→ дискретизация по пространству и времени

Ключевая идея:

→ вязкость разрушает структуру
→ адвекция создаёт её

Их взаимодействие порождает всё — от гладких потоков до турбулентности.

👉 @DataSciencegx

Этот робот-манипулятор = ваша AI-модель.

Одно числовое значение в математике определяет, будет ли она обучаться или полностью «сломается».

Это градиентный спуск — базовая математическая основа всего AI, которым вы пользуетесь в повседневной жизни.

👉 @DataSciencegx

Представлены Hyperagents — ИИ-система, которая не только улучшает решение задач, но и улучшает сам процесс собственного улучшения.

Darwin Gödel Machine (DGM) продемонстрировала, что открытое самосовершенствование возможно за счёт итеративной генерации и оценки улучшенных агентов, однако она опирается на ключевое допущение: что улучшения в решении задач (например, в программировании) приводят к улучшениям самого процесса самосовершенствования. Это соответствие сохраняется в программировании, где и оценка, и модификация выражены в одной и той же предметной области, но в общем случае нарушается. В результате предыдущие системы остаются ограниченными фиксированными, вручную заданными процедурами мета-уровня, которые сами по себе не эволюционируют.

Они вводят Hyperagents — самореферентных агентов, способных модифицировать как своё поведение при решении задач, так и процесс, который генерирует будущие улучшения. Это даёт возможность того, что они называют метакогнитивной самомодификацией: обучаться не только выполнять задачи лучше, но и становиться лучше в самом процессе улучшения.

Этот подход реализован в виде DGM-Hyperagents (DGM-H) — расширения DGM, в котором как поведение решения задач, так и процедура самосовершенствования редактируемы и подвержены эволюции. В различных доменах (программирование, ревью научных работ, дизайн reward-функций в робототехнике и оценка решений олимпиадных задач по математике) hyperagents обеспечивают непрерывный рост качества со временем и превосходят базовые подходы без самосовершенствования или открытой эволюции, а также предыдущие самосовершенствующиеся системы (включая DGM). DGM-H также улучшает сам процесс генерации новых агентов (например, за счёт персистентной памяти и трекинга производительности), и эти мета-уровневые улучшения переносятся между доменами и накапливаются от запуска к запуску.

Статья полностью 🆗

👉 @DataSciencegx

Построение Vectorless RAG-системы (Без эмбеддингов и векторной БД)

В этой статье рассматривается построение Vectorless, Reasoning-Based RAG-системы с использованием иерархической индексации страниц. Документ превращается в дерево, и LLM проходит по этому дереву, чтобы найти ответ. Без эмбеддингов. Без поиска по схожести.

Это очень похоже на то, как мы ищем информацию в реальной жизни. Когда нужно что-то найти в учебнике, не читают все страницы подряд. Сначала открывают содержание, находят нужную главу, затем просматривают секции и переходят прямо к нужной.

PageIndex работает аналогично. Вы передаёте ему документ, он строит дерево, где каждая ветка — это секция, а каждый лист — сам текст. Когда задаёте вопрос, LLM проходит по дереву уровень за уровнем, чтобы найти правильный ответ.

Полный код: https://github.com/vixhal-baraiya/pageindex-rag

👉 @DataSciencegx

Наивный RAG vs Agentic RAG — объяснение наглядно:

У наивного RAG есть хорошо известные проблемы:

- Он делает один retrieval и одну генерацию. Если контекст нерелевантный, он не может выполнить повторный поиск.
- Он обрабатывает все запросы одинаково. Простой lookup и сложная multi-hop задача проходят через один и тот же пайплайн retrieve-then-generate.
- Отсутствует валидация. Система слепо доверяет тому, что вернул retriever.

Agentic RAG решает это за счёт циклов принятия решений на каждом этапе.

Шаги 1–2) Агент переписывания запроса (query rewriting agent) переформулирует исходный запрос. Это не просто исправление опечаток — он оптимизирует запрос под retrieval: уточняет расплывчатые формулировки, декомпозирует сложные запросы на подзапросы и раскрывает аббревиатуры.

Шаги 3–5) Роутинг-агент (routing agent) решает, нужен ли вообще внешний контекст. Если нет — retrieval пропускается. Если да — селектор источника (source selector) выбирает лучший backend под конкретный тип запроса.

Шаги 6–7) Source selector направляет запрос в наиболее подходящий источник: vector DB для семантического поиска, веб-поиск для актуальной информации или структурированные API для табличных данных. Полученный контекст и переписанный запрос объединяются в prompt.

Шаги 8–9) LLM генерирует первоначальный ответ.

Шаги 10–12) Агент валидации (validation agent, также известен как Corrective RAG) проверяет, насколько ответ релевантен, grounded и полный. Если всё ок — ответ возвращается. Если нет — система возвращается к шагу 1 с переформулированным запросом.

Этот цикл повторяется несколько итераций, пока не будет получен удовлетворительный ответ или система не признает, что не может ответить.

Почему это работает: каждый агент выступает как quality gate.

- Rewriter повышает точность retrieval
- Router гарантирует выбор правильного источника
- Validator проверяет, что ответ grounded

Ошибки на отдельных этапах отлавливаются и исправляются, а не тихо прокидываются дальше по пайплайну.

Важно: схема ниже — лишь один из возможных blueprint’ов Agentic RAG-системы. В продакшене всё чаще комбинируют Corrective RAG, Adaptive RAG, Self-RAG и гибридный поиск (vector + lexical с reranking) в зависимости от latency budget и требований к точности.

👉 @DataSciencegx

Новый AI-отчёт от Google.

Все предыдущие «взрывы интеллекта» в истории человечества были социальными, а не индивидуальными.

Авторы утверждают, что представление об AI-сингулярности как об одном сверхинтеллекте, который самобутстрапится до «божественного» уровня, фундаментально ошибочно.

Это напрямую важно для всех, кто проектирует multi-agent системы.

Они отмечают, что передовые reasoning-модели, такие как DeepSeek-R1, спонтанно формируют внутренние «сообщества мышления» — multi-agent дебаты между различными когнитивными перспективами — исключительно за счёт RL.

Дальнейшее развитие — это не монолитные «оракулы», а конфигурации человек–AI и агентные институты.

Это меняет стратегию масштабирования AI: вместо «строить более крупные модели» — «собирать более сложные социальные системы».

В работе также утверждается, что управление AI-агентами должно строиться на принципах институционального дизайна: checks and balances, ролевые протоколы и взаимодействия, а не только на индивидуальном alignment.

Статья: https://arxiv.org/abs/2603.20639

👉 @DataSciencegx

Vector Index vs Vector Database

👉 @DataSciencegx

NVIDIA доказала, что обратное распространение ошибки — не единственный способ создания ИИ.

Они обучили модели с миллиардами параметров без использования единого градиента.

Каждый ИИ, который вы используете сегодня, опирается на обратное распространение ошибки.

Это требует сложных вычислений, колоссальных затрат памяти и огромных кластеров GPU.

Тем временем, древний метод без градиентов, называемый стратегиями эволюции (ES), был признан невозможным для масштабирования.

Но теперь всё изменилось.

NVIDIA и Оксфорд только что представили EGGROLL.

Вместо того чтобы генерировать огромные полнорранговые матрицы для каждой мутации, они разделяют их на две маленькие.

ИИ мутирует. Он тестирует. Он сохраняет то, что работает. Как биологическая эволюция.

Но теперь он делает это с сотнями тысяч параллельных мутаций одновременно.

Производительность теперь такая же, как у пакетной инференции.

Они предобучают модели с нуля, используя только простые целые числа.

Без обратного распространения ошибки. Без десятичных. Без градиентов.

Мы думали, что будущее ИИ требует бесконечных кластеров прецизионного оборудования.

Оказалось, нам просто нужно было эволюционировать.

👉 @DataSciencegx

Искусственный интеллект SakanaAI начал проводить собственные научные исследования — неужели это возможно?

Искусственный интеллект SakanaAI-Scientist-v2 использует метод Agentic Tree Search для автоматизации научных открытий.

Он не помогает людям — он полностью управляет процессом: от гипотез до экспериментов и написания статей.

Задайте направление исследования, и ИИ сам найдет литературу, спроектирует эксперименты, проанализирует данные и напишет статью.

Результаты уровня лаборатории, которые уже могут конкурировать с работами аспирантов.

Это переворачивает основы логики научных исследований: скорость открытия больше не ограничена человеческими силами и продолжительностью жизни.

Один ИИ-ученый может работать круглосуточно, исследуя 100 направлений одновременно.

Вопрос в том, когда ИИ начнет самостоятельно публиковать статьи, чье имя будет стоять в качестве первого автора?

Само определение науки переписывается.

https://github.com/SakanaAI/AI-Scientist-v2

👉 @DataSciencegx

Google опубликовала исходный код фундамента для моделей временных рядов.

Она работает с любыми данными без необходимости в обучении.

В отличие от традиционных моделей, не требуется обучение на данных, специфичных для конкретной задачи. TimesFM прогнозирует "из коробки".

Модель обучена на 100 миллиардов реальных точек данных, включая трафик, погоду и прогнозирование спроса.

👉 @DataSciencegx

Чуваки собрали ряд материалов по harness-инжинирингу для AI-агентов, включая архитектурные ограничения, feedback loop-ы, runtime-обвязку и многое другое — всё это ориентировано на команды, которые разрабатывают долгоживущих production-grade агентов.

Материалы охватывают определения, операционные принципы, evaluation и observability, референсные реализации и другие аспекты.

👉 @DataSciencegx