«Dive into Deep Learning» — это книга с открытым исходным кодом, которая формирует математическую базу для больших языковых моделей, охватывая линейную алгебру, математический анализ, теорию вероятностей, методы оптимизации, обратное распространение ошибки, механизмы внимания и архитектуры трансформеров.

Книга последовательно переходит от классических нейронных сетей и сверточных нейронных сетей к современным трансформерам и практическим техникам, применяемым в больших языковых моделях.

Объём — более 1000 страниц. Внутри — понятные объяснения, практические примеры и задания, что делает её одним из наиболее полных бесплатных ресурсов для понимания математической структуры современных систем искусственного интеллекта и языковых моделей.

arxiv.org/pdf/2106.11342

👉 @DataSciencegx

Проектирование RAG с поиском для 10 млн документов с минимизацией галлюцинаций

1. Ингест и нормализация документов
Удаление дублей, приведение к единому формату, извлечение метаданных, ведение версионности.

2. Гибридный поиск (BM25 + векторные представления)
BM25 закрывает точные совпадения по ключевым словам, векторный поиск — семантическое соответствие. Один подход без второго на таком масштабе обычно проседает по точности.

3. Поиск через приближённые ближайшие соседи + переоценка
Приближённый поиск ближайших соседей быстро достаёт кандидатов из миллионов фрагментов. Дальше ранжирующая модель пересчитывает релевантность через более тяжёлое сравнение запроса и фрагментов.

4. Скоринг доверия к источникам
Каждый фрагмент получает оценку по свежести, надёжности источника, перекрытию и согласованности с другими найденными результатами. Слабые по доверию данные не должны сильно влиять на итоговый ответ.

5. Генерация с жёсткими ограничениями контекста
Модель работает только в рамках извлечённого контекста. Добавление знаний вне контекста запрещается логикой пайплайна.

6. Ответы с привязкой к источникам
Каждое существенное утверждение должно ссылаться на конкретный фрагмент, документ или временную метку.

7. Фолбэк при низкой уверенности поиска
Если суммарная уверенность контекста падает ниже порога, возвращается ответ вида «недостаточно данных».

8. Непрерывная проверка качества
Прогон атакующих запросов, метрики полноты поиска, тесты на галлюцинации, контроль деградации ранжирования.

9. Кэширование и слой памяти
Кэшируются частые запросы и цепочки поиска, чтобы снижать задержки и стоимость вычислений.

10. Наблюдаемость на всех этапах
Трассировка пути запроса, ранжирования фрагментов, влияния токенов и точек отказа.

При масштабе 10 млн документов качество поиска становится определяющим фактором сильнее, чем выбор генеративной модели.

👉 @DataSciencegx

Чувак релизнул скилл для claude code, который сам проектирует и пишет синтетические данные, окружение и награды для дообучения меньшей модели , то есть student-а. 🏋️‍♂️

Он дообучает student-а на реальном датасете, читает трейсы с фейлами, затем пишет синтетические данные, verifier-окружение и функцию награды, чтобы закрыть найденные гэпы. после этого — новый цикл дообучения.

цикл:
-> базовый прогон на реальных данных
-> анализ rollout-ов с низкой наградой
-> генерация синтетического датасета на ~500–1000 строк
-> создание verifier-окружения + рубрики вокруг него
-> продолжение обучения с post-train чекпоинта
-> eval на реальном test split
-> сохраняем то, что помогает, и итеративно дорабатываем остальное

1. результат: qwen3-0.6B-base на gsm8k. 700 синтетических строк подняли результат с 0.7854 -> 0.8158 на полном тестовом наборе.
2. можно запускать с любым лимитом по wall-clock времени или количеству итераций. цикл продолжает работать, пока не закончится бюджет.
3. построено на verifiers от willccbb и PrimeIntellect для обучения. работает с любым окружением, где есть train и eval датасет.

p.s. автор пока не придумал название. autoresearch от karpathy или synthetic envs

https://github.com/vivekvkashyap/synthetic-self-improve-rl/tree/main

👉 @DataSciencegx

“Algorithms for Decision Making” — это бесплатная книга о математических основах искусственного интеллекта, автономных систем принятия решений и современного машинного обучения.

Опубликована MIT Press, книга объединяет вероятности, оптимизацию, планирование, поиск, обучение с подкреплением, марковские процессы принятия решений (MDP), теорию полезности и последовательное принятие решений в строгой, но современной форме.

В книге более 700 страниц, и она даёт очень широкий взгляд на то, как интеллектуальные системы рассуждают, оценивают неопределённость и принимают решения в условиях ограничений.

Одна из самых интересных вещей в интернете — это огромное количество качественных бесплатных знаний. Сложные темы, которые раньше требовали доступа к дорогим университетам или специализированным библиотекам, сегодня доступны любому, кто готов учиться!

Algorithms for Decision Making (PDF)

👉 @DataSciencegx

Перестань угадывать, какие модели поместятся в твою VRAM.

llmfit — CLI-инструмент, который автоматически определяет твоё железо и ранжирует 206 моделей по тому, что реально запустится на системе.

Ты скачиваешь 70B модель и надеешься, что она влезет. Или вручную прикидываешь требования по памяти для разных уровней квантизации — и всё равно получаешь модели, которые падают или работают слишком медленно.
llmfit это меняет. Он определяет CPU, RAM, GPU и VRAM, затем оценивает каждую модель в своей базе под твоё железо.

Вместо того чтобы предполагать один уровень квантизации, он подбирает максимальное качество, которое помещается. Начинает с Q8_0, затем понижает вплоть до Q2_K, если нужно. Если не помещается даже при полном контексте — пробует половину контекста. В итоге ты получаешь модель с максимально возможным качеством, которая реально работает.

Каждая модель получает оценку по Quality, Speed, Context и Capability. Вес этих параметров меняется в зависимости от задачи: для чат-моделей важнее скорость, для reasoning — качество.

Можно запускать как интерактивный TUI для просмотра моделей, через CLI для таблицы или получать JSON для скриптов. Есть REST API для кластерных планировщиков.

Также можно использовать в обратную сторону: указать желаемую модель и целевую производительность — и инструмент скажет, какое железо нужно.

Главная ценность: ты видишь отсортированные варианты до скачивания. Больше не нужно тратить десятки гигабайт на модели, которые не запустятся.
Проект полностью open-source.

👉 @DataSciencegx

Эта математика лежит в основе каждой AI-модели, которую сейчас обучают.

Градиент. Якобиан. Гессиан.

Три слова, которые сначала выглядят пугающе.

Но на самом деле это просто три способа измерять изменение.

𝟭. 𝗚𝗿𝗮𝗱𝗶𝗲𝗻𝘁 ∇f (градиент)

Берёт скалярную функцию:

f : ℝⁿ → ℝ

Возвращает вектор первых частных производных.

Он отвечает на вопрос:

«В каком направлении функция f растёт быстрее всего?»

Именно поэтому градиенты — основа оптимизации.

Градиентный спуск идёт в противоположную сторону, потому что градиент указывает направление наибольшего роста.

Backpropagation эффективно вычисляет градиенты во время обучения.

𝟮. 𝗝𝗮𝗰𝗼𝗯𝗶𝗮𝗻 J_F (якобиан)

Берёт векторнозначную функцию:

F : ℝⁿ → ℝᵐ

Возвращает матрицу m × n первых частных производных.

Он отвечает:

«Как каждый выход зависит от каждого входа?»

Якобиан — это локальное линейное отображение векторной функции.

Он встречается в:
→ анализе чувствительности
→ замене переменных
→ автоматическом дифференцировании
→ forward-mode AD
→ reverse-mode AD / backpropagation

В простых терминах:

forward-mode AD использует произведения якобиан–вектор.

reverse-mode AD использует произведения вектор–якобиан.

𝟯. 𝗛𝗲𝘀𝘀𝗶𝗮𝗻 H_f (гессиан)

Берёт скалярную функцию:

f : ℝⁿ → ℝ

Возвращает матрицу n × n вторых частных производных.

Он отвечает:

«Как меняется сам градиент?»

То есть гессиан измеряет кривизну.

Когда вторые частные производные непрерывны, гессиан симметричен.

В критической точке:
→ положительно определённый гессиан → строгий локальный минимум
→ отрицательно определённый гессиан → строгий локальный максимум
→ неопределённый гессиан → седловая точка

Чистая ментальная модель

Градиент = первые производные одного выхода
→ показывает направление

Якобиан = первые производные многих выходов
→ показывает чувствительность

Гессиан = вторые производные одного выхода
→ показывает кривизну

И связь между ними проста:
Гессиан — это якобиан градиента.

Для скалярного выхода якобиан содержит те же частные производные, что и градиент, с точностью до соглашения о строках/столбцах.

Одна и та же идея:
измерение изменения.

Разные объекты:
направление, чувствительность, кривизна.

Когда это становится понятным, оптимизация перестаёт выглядеть как набор формул.

Она начинает выглядеть как карта задачи.

👉 @DataSciencegx

Себастьян Рашка собрал огромный репозиторий, где шаг за шагам показывает, как собрать свой ChatGPT с нуля: https://github.com/rasbt/LLMs-from-scratch/tree/main/ch04/09_dsa

👉 @DataSciencegx

38 лет учёные-компьютерщики считали, что алгоритм Дейкстры оптимален для разреженных графов.

Логика казалась железобетонной:

- Дейкстра сортирует вершины по расстоянию
- Сортировка имеет нижнюю границу O(n log n)
- Значит, кратчайшие пути не могут быть найдены быстрее

5 исследователей доказали, что это предположение неверно.

Хитрость => объединить priority queue из Дейкстры с динамическим программированием Беллмана–Форда. Разделяй и властвуй по множествам вершин. Сжимать фронтир.

Результат: O(m log^(2/3) n)

Первое улучшение для ориентированных графов со времён Fibonacci heap в 1987 году.

Tsinghua. Stanford. Max Planck. 17 страниц.

https://arxiv.org/pdf/2504.17033

👉 @DataSciencegx

Почему KV-кэш — одна из главных причин высокой скорости работы LLM?
KV-кэш связывает механизм внимания (attention) с этапом генерации в авторегрессионных моделях.
Такие модели генерируют текст токен за токеном, но каждый новый токен всё равно должен учитывать все предыдущие токены.

→ Чтобы ускорить фазу декодирования (decode phase), модели сохраняют ранее вычисленные векторы Key и Value в KV-кэше.
→ Во время генерации вычисляются только новые состояния Q/K/V для последнего токена, после чего выполняется attention по уже закэшированным представлениям прошлых токенов.
Без KV-кэша модели пришлось бы заново вычислять ключи и значения для всей последовательности на каждом шаге (например, при генерации 501-го токена пришлось бы снова пересчитывать токены с 1-го по 500-й), что крайне медленно.

Однако у KV-кэша есть компромисс — потребление памяти. Его размер растёт вместе с длиной контекста, размером батча, количеством слоёв и числом голов внимания (attention heads).

Поэтому сегодня значительная часть исследований сосредоточена на повышении эффективности KV-кэша и оптимизации использования памяти. Например:

Улучшение механизма внимания, поскольку именно он определяет, как формируется KV-кэш. В зависимости от задачи можно использовать более продвинутые варианты attention, такие как CompactAttention, MHA, MLA и другие.

Оптимизация управления памятью. Система должна определять, какие данные хранить долго, какие держать локально, когда выполнять суммаризацию контекста, а когда удалять часть данных.

Подробнее о KV-кэше и механизме внимания можно прочитать здесь:
https://turingpost.com/p/your-ultimate-guide-to-attention-mechanism-qkv-and-kv-cache
А о том, как они вписываются в полный пайплайн инференса LLM — здесь:
https://turingpost.com/p/llm-inference-from-tokens-to-answers

👉 @DataSciencegx

Хватит изучать математику для ML по случайным вкладкам в браузере.

Mathematics for Machine Learning — это курируемая коллекция на GitHub, включающая книги, научные статьи, видеолекции и базовые материалы по математике для изучения и повторения математических основ машинного обучения.

Она помогает выстроить более прочную базу знаний, объединяя проверенные ресурсы вокруг тем, с которыми инженеры машинного обучения сталкиваются постоянно: линейная алгебра, математический анализ, теория вероятностей, статистика, теория информации, матричное исчисление и математика глубокого обучения.

Бесплатный публичный репозиторий на GitHub.

👉 @DataSciencegx

Не совсем круто изучать system design для LLM по случайным диаграммам.

genai-llm-ml-case-studies — это curated GitHub-коллекция с 500+ реальными case study по GenAI, LLM и ML system design от 130+ компаний.

Она помогает разбирать, как команды проектируют, деплоят и оптимизируют AI-системы, группируя примеры по индустриям, use case’ам, компаниям и архитектурным паттернам.

Ключевые особенности:

• 500+ case study — production-oriented примеры для GenAI, LLM и ML-систем
• Несколько способов навигации — просмотр по индустрии, use case’ам, компаниям или отдельным LLM-кейсам
• LLM-ориентированные темы — разделы по RAG, search, evaluation, fine-tuning, оптимизации inference и multimodal-системам
• Примеры от компаний — включая OpenAI, Anthropic, Microsoft, Google, Meta, Netflix, LinkedIn, GitHub, Spotify и другие
• Архитектурные паттерны — в README показаны схемы direct LLM integration, RAG, multi-agent systems и human-in-the-loop workflow

Проект open-source (лицензия MIT).

👉 @DataSciencegx

NVIDIA выпустили: Verified Agent Skills 👊

Verified Skills дают прозрачность в том, что именно делает скилл, откуда он получен, какие риски несёт и был ли он модифицирован.

Каждый verified skill содержит skill card и построен на открытой спецификации Agent Skills, чтобы стабильно работать в Claude Code, OpenAI Codex и Cursor.

👉 @DataSciencegx

Тихо, почти незаметно, AI-инфраструктуру захватывает новая инженерная дисциплина.
И это не prompt engineering. И не выбор модели.
Это harness engineering.

Идея простая: практически любой сбой AI-агента — это проблема scaffolding-а.
Плохой контекст. Плохие инструменты. Отсутствие памяти. Нет верификации.

Этот репозиторий собирает всё необходимое для построения такого scaffolding’а — от статьи про ReAct до гайда Anthropic по context compaction и middleware-паттернов из LangGraph.
Ресурсы от OpenAI, Anthropic, Google, Meta, Microsoft и многих других — в одном месте.

https://github.com/ai-boost/awesome-harness-engineering

👉 @DataSciencegx

Запусти собственную AI-компанию с командой AI-агентов

Alook — это open-source платформа для совместной работы AI coding-агентов. Self-hosted и local-first.

Как устроено:
Ты задаёшь структуру организации. Назначаешь каждому агенту роль — разработка, DevOps, ресерч и всё, что нужно. Настраиваешь иерархию и линии подчинения. Alook выдаёт каждому агенту собственный email-адрес.

Как это работает:
Ты назначаешь задачу нужному агенту — дальше он разбирается сам. Агенты координируются через email: передают результаты, задают вопросы, обновляют статусы. Ты видишь всё в своём inbox, но вручную ничего не маршрутизируешь.

Работает как always-on daemon. Закрыл ноутбук — агенты продолжают работать. Вернулся — задачи уже выполнены.

Общая память между всеми агентами. Каждый агент знает, над чем работали остальные. Не нужно заново объяснять контекст. После завершения каждой задачи Alook логирует удачные подходы и формирует SOP’ы. Со временем вся команда становится эффективнее.

Поддерживает Claude Code, Codex и OpenCode. Можно комбинировать разные системы или запускать несколько агентов в одном runtime.

Встроенные Kanban-доски для трекинга задач. Календарь для планирования. Email для всей коммуникации. Агенты сами подхватывают задачи, обновляют свои календари и закрывают issue после выполнения.

С агентами можно общаться через чат или email, как с любым AI-инструментом. Runtime устанавливается один раз и дальше работает в фоне. После настройки терминал больше не нужен.

Ключевые возможности:

• Координация агентов через email с реальными inbox’ами
• Структура организации с ролями и иерархией
• Общая память и самообучающиеся SOP’ы
• Always-on daemon для работы 24/7
• Поддержка Claude Code, Codex и OpenCode
• Встроенные Kanban, календарь и email
• Self-hosted и local-first

Полностью open source.

👉 @DataSciencegx

«Calculus: Early Transcendentals» — отличный бесплатный учебник для формирования прочной базы по математическому анализу.

Книга написана понятным и доступным языком, при этом сохраняет необходимую математическую строгость. Она содержит большое количество примеров и задач, поэтому подходит как для самостоятельного изучения, так и для использования в учебном процессе.

В учебнике рассматривается широкий круг тем, включая:
• пределы;
• производные;
• интегралы;
• последовательности и ряды;
• дифференциальные уравнения;
• многомерный анализ.

Считаю эту книгу ещё одним ценным инструментом в арсенале любого, кто изучает математику.
Если вы студент и хотите освоить или повторить ключевые темы математического анализа либо преподаватель, ищущий новые идеи и альтернативные объяснения, этот учебник определённо заслуживает внимания.

https://open.umn.edu/opentextbooks/textbooks/415
https://github.com/antoniolupetti/algebrica

👉 @DataSciencegx

Утечка данных — одна из главных причин, почему ML-демо выглядят впечатляюще... а затем разваливаются в продакшене.

Модель не стала умнее.
Она просто случайно увидела правильные ответы заранее.

За 4 минуты вы поймёте, где скрываются утечки данных.

Давайте разберёмся

1. Утечка данных (Data Leakage)
Утечка данных возникает, когда в процессе обучения модели используется информация, которая не будет доступна в момент реального предсказания.
Из-за этого метрики на этапе валидации могут выглядеть значительно лучше, чем фактическое качество модели на новых, ранее не встречавшихся данных.

2. Цель оценки модели (Evaluation)
Тестовая выборка — это не просто «дополнительные данные».
Это симуляция будущего.
Обучайте модель только на той информации, которая была бы вам известна на момент предсказания.
Оценивайте её на примерах, на которые модель никак не могла повлиять в процессе обучения.

3. Прямая утечка данных (Direct Leakage)
Это самый очевидный вид утечки.

Примеры:
- поле с информацией из будущего;
- идентификатор (ID), в котором закодирована целевая переменная;
- переменная, появляющаяся только после наступления события;
- дубликаты записей одновременно в обучающей и тестовой выборках.
Если признак не существует в момент инференса (предсказания), то, скорее всего, он является источником утечки данных.

4. Косвенная утечка данных (Indirect Leakage)

Именно этот тип утечки чаще всего становится ловушкой для команд.
Вы выполняете нормализацию, заполнение пропусков, отбор признаков, удаление выбросов или снижение размерности до разделения данных на обучающую и тестовую выборки.
Модель напрямую не видела данные из тестовой выборки.
Но их уже увидел ваш пайплайн предобработки.

5. Разделение на обучающую и тестовую выборки (Train/Test Split):

Неправильно:
обучить (fit) скейлер на всех данных → разделить данные → провести оценку

Правильно:
разделить данные → обучить (fit) скейлер только на обучающей выборке → применить (transform) к обучающей и тестовой выборкам
Та же идея относится к импьютерам, энкодерам, отбору признаков, PCA и любому этапу предобработки, который обучается на данных.

6. Кросс-валидация (Cross-Validation):

Каждый фолд — это мини-эксперимент с обучающей и тестовой выборками.
Поэтому предобработка должна выполняться внутри каждого фолда.
Если вы один раз подготовили весь датасет, а затем запустили кросс-валидацию, то каждый фолд уже получил доступ к своим отложенным данным.

7. Пайплайны (Pipelines):

Пайплайн — это не просто способ сделать код чище.
Это ещё и защита от утечки данных.
Объедините предобработку, отбор признаков и модель в один пайплайн, а затем передайте этот пайплайн в кросс-валидацию или поиск гиперпараметров (grid search).

8. Версия для AI Engineering:
Утечки данных встречаются и в RAG-системах, и при оценке LLM.
Утечка возникает, когда вы настраиваете чанки, промпты, реранкеры, пороговые значения или примеры на том же наборе данных для оценки, который позже представляете как «отложенный» (held-out).
В результате ваш бенчмарк превращается в обучающие данные.

9. Чек-лист по поиску утечек данных (Leakage Checklist):

Прежде чем доверять полученной метрике, задайте себе вопросы:
Мог бы этот признак существовать в момент предсказания?
Не был ли какой-либо этап преобразования (transform) обучен (fit) на тестовых данных?
Включала ли кросс-валидация весь пайплайн целиком?
Не подбирали ли мы параметры на финальном наборе данных для оценки?
Если ответ «да», то метрика, скорее всего, не отражает реального качества модели.

👉 @DataSciencegx

Обучение LLM с миллиардами параметров с нуля на одной видеокарте.

Большинство считает, что для обучения LLM нужны дата-центр и миллионы долларов.

Этот репозиторий показывает, что это не всегда так.

В нём подробно разобран процесс создания и обучения GPT-подобных моделей с нуля, включая техники, которые делают обучение крупных моделей возможным даже на потребительском железе.

От токенизации до приёмов распределённого обучения — всё открыто и доступно в исходном коде.
→ Создание GPT-подобных моделей с нуля
→ Практики эффективного обучения на ограниченных ресурсах
→ Токенизация, архитектура модели и пайплайн обучения
→ Методы масштабирования и оптимизации обучения
→ Полностью open-source

GitHub: https://github.com/FareedKhan-dev/train-llm-from-scratch

👉 @DataSciencegx

«Algebra 2» — ещё один полностью бесплатный учебник, охватывающий значительную часть алгебры как на довузовском, так и на начальном университетском уровне.

Объёмом более 1100 страниц и с большим количеством разобранных примеров, практических задач и упражнений, он охватывает линейные уравнения, квадратные уравнения, полиномиальные уравнения, рациональные уравнения, иррациональные уравнения, показательные и логарифмические уравнения, системы уравнений, неравенства и многие фундаментальные концепции, лежащие в основе алгебры.

На мой взгляд, это один из самых полных бесплатных ресурсов для изучения теории уравнений и алгебраических методов, с которыми обычно сталкиваются в первые годы обучения в университете.

Источник: https://openstax.org/details/books/algebra-and-trigonometry-2e

👉 @DataSciencegx

Единственный чит-лист по LLM, который вам когда-либо понадобится

Охватывает основные концепции, архитектуры и практические применения.

LLM Cheatsheet (Google Drive)

Основы

Токены (токенизация, BPE)
Эмбеддинги (косинусное сходство)
Механизм внимания (формула Attention, Multi-Head Attention)

Архитектура Transformer и её разновидности

BERT (модели только с энкодером)
GPT (модели только с декодером)
T5 (модели с энкодером и декодером)

Большие языковые модели (LLM)

Промптинг (длина контекста, Chain-of-Thought)
Дообучение (SFT, PEFT/LoRA)
Настройка предпочтений (Reward Model, Reinforcement Learning)
Оптимизации (Mixture of Experts, Distillation, Quantization)

Применение

LLM-as-a-Judge (LaaJ)
RAG (Retrieval-Augmented Generation)
Агенты (ReAct)
Рассуждающие модели (Scaling)

👉 @DataSciencegx