Сооснователь OpenAI опубликовал полную реализацию GPT-2 на GitHub — всего в 600 строках кода.

Никаких странных библиотек.
Никаких фреймворков.
Только чистый Python.
Разобраться в коде можно буквально за один вечер.

Andrej Karpathy, который руководил направлением ИИ в Tesla и был сооснователем OpenAI, уже много лет делает одно и то же: сводит реализацию LLM к самому необходимому, чтобы любой мог понять, как они устроены на самом деле.
Это nanoGPT.

- воспроизводит GPT-2 с нуля
- обучается на GPU или в облаке менее чем за $100
- код настолько чистый, что становится даже обидно, что вы не увидели его раньше
- 60,4 тыс. звёзд, 10,4 тыс. форков, лицензия MIT

Вы удивитесь, насколько мало на самом деле нужно, чтобы обучить модель.

https://github.com/karpathy/nanoGPT

Этот бесплатный курс по CUDA от Эллиота Арледжа стоит больше, чем большинство дипломов по компьютерным наукам.

Всего 12 часов, которые превращают пользователя библиотек в GPU-инженера.
Я видел, как даже опытные разработчики испытывали трудности с темами, которые разбираются уже на третьем часу курса.

Что делает его особенным:
Никакой воды. Никаких советов в духе «просто используйте эту библиотеку».

Вы реализуете обучение MLP четыре раза:
→ на PyTorch (самый простой вариант)
→ на NumPy (уже сложнее)
→ на C (становится действительно интересно)
→ на CUDA (вишенка на торте)

Одна и та же модель. Один и тот же датасет. Четыре реализации.

К концу курса вы будете понимать, почему PyTorch работает так быстро.

Темы, которым почти нигде больше не учат:
➡️ Архитектура GPU (а не просто «GPU выполняет вычисления параллельно»)
➡️ Написание эффективных CUDA-ядер
➡️ Профилирование производительности как на уровне CUDA-ядер, так и всей системы
➡️ Когда стоит использовать cuBLAS (и когда не стоит)
➡️ CUDA vs Triton — сравнение, которое действительно важно
➡️ Расширения для PyTorch, которые реально пригодятся

И самое главное:
➡️ После этого курса вы сможете читать исходный код PyTorch и понимать, как он устроен.
➡️ Вы научитесь оптимизировать модели, за которые другие инженеры даже не возьмутся.
➡️ Вы станете тем специалистом, которого нанимают, когда нужно добиться максимальной производительности.

12 часов. Бесплатно. Без оправданий.

https://youtu.be/86FAWCzIe_4?si=91dHudcbIjY2ftCx

Памятка: Основные символы алгебры

Алгебраические символы — это универсальный язык, позволяющий точно и наглядно записывать математические понятия.

Вот некоторые из наиболее распространённых обозначений:

- ≜ — равенство по определению;
- ≡ — эквивалентность (тождественное равенство);
- ∝ — пропорционально;
- ⌊ ⌋ и ⌈ ⌉ — функции пола (floor) и потолка (ceiling);
- f(x) и f ∘ g — функции и композиция функций;
- (a, b) и [a, b] — открытый и закрытый интервалы;
- △ (Δ) — дискриминант;
- ∑ и ∏ — сумма и произведение;
- ∞ — бесконечность;
- e, γ, φ и π — математические константы;
- {} — множества;
- ∀ и ∃ — кванторы («для всех» и «существует»);
- aᵇ — возведение в степень;
- √, ∛ и ∜ — квадратный, кубический и четвёртый корни.

Эти обозначения используются при записи математических формул, в научных исследованиях, а также в программировании и разработке программного обеспечения для точных вычислений.

Масштабные новости — меньше чем через четыре недели нас ждут GPT-6 и Fable 5.1. OpenAI обучила GPT-6 на совершенно новом базовом стеке.

В основе GPT-6 будет лежать новая, значительно более крупная базовая модель, прошедшая предварительное обучение (pretrain), в отличие от базовой модели Spud (~4T), на которой построены GPT-5.5/5.6.

Fable 5.1 выйдет менее чем через месяц после Fable 5. Циклы выпуска моделей становятся намного короче.

В OpenAI возлагают большие надежды на новую базовую модель. Там считают, что она позволит гораздо эффективнее конкурировать как с Fable 5, так и с готовящейся Fable 5.1, релизы которых ожидаются примерно в те же сроки. Изначально > OpenAI планировала использовать Spud и в GPT-6, но в итоге отказалась от этой идеи.

Что касается Fable 5.1, в Anthropic она находится на завершающих этапах подготовки к релизу, и её выход ожидается «в ближайшие недели».

Тем временем на другом конце света DeepSeek готовится к скорому выпуску V4 GA, которая, судя по всему, будет сопоставима по возможностям с GLM-5.2 или даже превзойдёт её. Кроме того, компания уже начала работу над новой, более крупной моделью, которая должна составить конкуренцию готовящейся MiniMax Pro 2.7T.

Если это правда, нас ждут очень насыщенные времена.

«Mathematics for Computer Science» — один из лучших бесплатных учебников по математике для специалистов в области компьютерных наук.

Более чем на 1000 страницах рассматриваются математические доказательства, логика, множества, функции, графы, теория чисел, комбинаторика, рекуррентные соотношения, теория вероятностей и рандомизированные алгоритмы.
Книга распространяется бесплатно по лицензии CC BY-SA 3.0. Изначально она была подготовлена для курса Mathematics for Computer Science в MIT и подходит как в качестве университетского учебника, так и в качестве справочного пособия для самостоятельного изучения.

Учебник: Mathematics for Computer Science (PDF)

GPT-5.6 уже два месяца проходила тестирование.

Это делает значительно более правдоподобными слухи о том, что GPT-6 может выйти в ближайшие четыре–шесть недель. Если GPT-5.6 действительно уже несколько месяцев тестировалась в рамках раннего доступа и её обучение было завершено заранее, то логично предположить, что OpenAI использовала это время для разработки новой модели класса Mythos — GPT-6 — с использованием нового этапа предварительного обучения.

Это важный косвенный признак, на который стоит обратить внимание. GPT-5.6 уже давно находится в тестировании, а GPT-6, судя по всему, уже на подходе.

Ускорение LLM-инференса в 14 раз и снижение затрат на 90%.

(Полностью открытый проект с открытым исходным кодом. Управление KV-кэшем.)

Большинство LLM снова и снова выполняют одну и ту же дорогостоящую работу.
При каждом запросе модель заново обрабатывает одни и те же системные промпты и одни и те же документы, даже если они уже были обработаны секунду назад. Стоимость токенов постепенно снижается, но расходы всё равно растут, поскольку ИИ-агенты постоянно отправляют один и тот же контекст повторно.

LMCache решает эту проблему. Это open-source слой управления KV-кэшем, который интегрируется с vLLM, SGLang и TensorRT-LLM.

Как это работает: LLM заново вычисляют внутренние представления одного и того же содержимого при каждом запросе. Одни и те же системные промпты, одни и те же документы — всё обрабатывается с нуля каждый раз. В результате один GPU ежедневно отбрасывает около 15 ТБ потенциально повторно используемых данных KV-кэша.

LMCache сохраняет этот кэш и возвращает его при повторных запросах. Он работает как отдельный процесс, полностью независимый от движка инференса.

Инференс-движок просто запрашивает необходимые блоки KV-кэша, а LMCache берёт на себя всю сложную работу по перемещению данных между GPU, CPU, диском и удалёнными хранилищами, выполняя эти операции параллельно. Благодаря этому управление кэшем не отнимает вычислительные ресурсы у самого инференса.

Кроме того, система умеет повторно использовать кэш не только при полном совпадении префиксов. Разработанная авторами технология CacheBlend (лауреат премии Best Paper на EuroSys 2025) позволяет переиспользовать кэш документов в RAG независимо от порядка, в котором эти документы появляются в запросе.

По данным разработчиков, на GPU NVIDIA H200 при работе с моделью на 235 млрд параметров это обеспечивает:
- ускорение получения первого токена (Time To First Token, TTFT) до 14 раз;
- ускорение декодирования до 4 раз.

Поскольку при повторном использовании KV-кэша модель полностью пропускает повторные вычисления (по той же причине многие провайдеры предоставляют скидку до 90% на обработку кэшированных токенов), это напрямую приводит к существенному снижению стоимости инференса.

Репозиторий проекта: https://github.com/LMCache/LMCache

Как построить конкурентное преимущество с помощью самообучающихся агентов

Если вам удастся создать агента, который становится лучше с каждым взаимодействием пользователей, вас будет крайне сложно обойти.

Вот что для этого можно сделать:

1. Используйте два источника обучения, а не один. Трейсы агента показывают, какие действия он выполнял и в каких местах произошел сбой. Активность пользователя в браузере показывает, как пользователи направляли работу агента и исправляли его результаты. Большинство продуктов собирают данные только из первого источника, полностью игнорируя второй.
2. Применять новые знания можно тремя способами: дообучить модель , обновить обвязку или предоставить агенту дополнительный контекст через in-context learning. Используйте все три подхода.
3. Определяя, что агент должен запоминать, делайте упор на процедурную память , где хранятся рабочие процессы и правила, и эпизодическую память , где сохраняются конкретные события и случаи. Не стоит чрезмерно полагаться на семантическую память, поскольку содержащиеся в ней знания могут устаревать и со временем стать источником проблем.
4. Определите границы распространения накопленных знаний (на уровне пользователя, команды или всего приложения). Следите за тем, чтобы данные и факты не «утекали» между контекстами разных пользователей.
5. Владейте данными, на которых обучается ваш агент. Эти данные — ваш самый ценный актив. По возможности храните их в собственной инфраструктуре, чтобы они не оказались под контролем крупных облачных провайдеров .
6. Используйте открытые, независимые от фреймворков стандарты для сбора, хранения и применения накопленных знаний.

Статья

8 архитектур ИИ-моделей — наглядное объяснение

Существует тенденция воспринимать LLM как всю область искусственного интеллекта. Но на самом деле это лишь одно семейство моделей среди многих других, каждое из которых определяется своим типом входных данных, выходных данных или ограничений.

Вот краткий обзор:

1. LLM (Large Language Models, большие языковые модели)

На вход поступает текст, который преобразуется в токены и эмбеддинги, затем обрабатывается трансформером, после чего на выходе генерируется текст.

↳ Примеры: GPT, Claude, Gemini, Llama.

2. LCM (Large Concept Models, большие концептуальные модели)

Работают на уровне концепций, а не токенов. Входной текст разбивается на предложения, преобразуется в эмбеддинги SONAR, после чего проходит через диффузионную модель перед формированием результата.

↳ Пример: LCM от Meta — пионер этого направления.

3. LAM (Large Action Models, большие модели действий)

Преобразуют намерение пользователя в последовательность действий. Входные данные проходят через этапы восприятия, распознавания намерения, декомпозиции задачи и планирования действий с использованием памяти, после чего выполняются.

↳ Примеры: Rabbit R1, Microsoft UFO, Claude Computer Use.

4. MoE (Mixture of Experts, смесь экспертов)

Маршрутизатор определяет, какие специализированные «эксперты» будут обрабатывать запрос. Активируются только релевантные эксперты, после чего их результаты объединяются и обрабатываются.

↳ Примеры: Mixtral, GPT-4, DeepSeek.

5. VLM (Vision-Language Models, мультимодальные модели «изображение + язык»)

Изображения проходят через визуальный энкодер, текст — через текстовый энкодер. Затем оба представления объединяются в мультимодальном процессоре, после чего языковая модель генерирует ответ.

↳ Примеры: GPT-4V, Gemini Pro Vision, LLaVA.

6. SLM (Small Language Models, малые языковые модели)

Это LLM, оптимизированные для работы на периферийных устройствах (*edge devices*). Используют компактную токенизацию, эффективные реализации трансформеров и квантизацию, что позволяет запускать их локально.

↳ Примеры: Phi-3, Gemma, Mistral 7B, Llama 3.2 1B.

7. MLM (Masked Language Models, модели с маскированием токенов)

Часть токенов скрывается (маскируется), затем они преобразуются в эмбеддинги и обрабатываются двунаправленной моделью, которая предсказывает скрытые слова.

↳ Примеры: BERT, RoBERTa, DeBERTa широко используются в поисковых системах, анализе тональности текста и других NLP-задачах.

8. SAM (Segment Anything Models, модели сегментации изображений)

Подсказки (*prompts*) и изображения проходят через отдельные энкодеры, затем поступают в декодер масок, который строит высокоточную попиксельную сегментацию.

↳ Пример: Meta SAM применяется в фоторедакторах, медицинской визуализации и системах автономного транспорта.

Перечисленные выше восемь архитектур считаются уже устоявшимися семействами моделей.

Есть еще одна архитектура, которую намеренно не включили в список, поскольку это скорее перспективная исследовательская концепция, чем отдельное семейство моделей. Речь идет о Recursive Language Models (RLM), предложенных исследователями MIT.

Вместо того чтобы бороться с деградацией качества на длинном контексте (*context rot*) за счет увеличения контекстного окна, RLM сохраняет промпт как переменную в окружении Python. Затем корневая модель пишет код, который анализирует этот контекст, и рекурсивно запускает вложенные вызовы для обработки только релевантных фрагментов.

Модель не пытается одновременно удерживать в контексте весь объем данных, а рассуждает о самом контексте. Это позволяет масштабироваться до 10 миллионов и более токенов без дополнительного дообучения и демонстрировать результаты лучше базовой модели даже на входных данных, которые полностью помещаются в ее стандартное контекстное окно.

Проекты по глубокому обучению: https://github.com/lukas/ml-class

В этом репозитории собраны небольшие проекты, каждый из которых посвящён изучению отдельного аспекта глубокого обучения с нуля.

Проекты расположены в порядке от начального уровня к более продвинутому, но при желании вы можете проходить их в любом порядке.

Представьте, что вам нужно прочитать сотни отчетов о финансовых результатах компаний и извлечь из каждого одни и те же данные: название компании, выручку, руководителей, продукты, даты, биржевые тикеры и реакцию рынка.

Делать это вручную — долго и непоследовательно. Решение — извлечение сущностей: автоматический поиск важных фрагментов текста с последующим присвоением им полезных меток.

В этой статье сравниваются четыре подхода к извлечению полезной информации из бизнес-документов:

- Regex — для поиска данных по фиксированным шаблонам, например дат и денежных сумм.
- spaCy — для извлечения стандартных типов сущностей, таких как люди, организации и денежные значения.
- GLiNER — для извлечения пользовательских типов сущностей без обучения модели.
- langextract — для извлечения данных с помощью ИИ с указанием ссылок на исходные фрагменты текста.

К концу статьи вы поймете сильные и слабые стороны каждого подхода и сможете выбрать наиболее подходящий вариант для обработки бизнес-документов.

Исследовательница OpenAI Теджал Патвардхан опубликовала скриншот, который показывает, что GPT-5.6 Sol использовалась для постобучения GPT-5.6 Luna.

Это один из первых наглядных признаков рекурсивного самоулучшения ИИ. До «интеллектуального взрыва» ещё далеко, так как цели, инфраструктуру и ограничения по-прежнему задают люди.

Но цикл уже запущен — передовые модели начинают выполнять инженерную работу по созданию и улучшению следующего поколения моделей.

Как только ИИ начинает ускорять исследования и разработку самого ИИ (AI R&D), каждое новое поколение помогает создавать следующее быстрее.

Именно так и начинается рекурсивное самоулучшение — не с того, что модель за одну ночь переписывает собственные веса, а с постепенного перехода исследований и инженерной разработки, необходимых для создания более совершенных моделей ИИ, под контроль самого ИИ.

Это также служит ещё одним подтверждением того, что темпы выхода новых релизов растут, а сами модели совершенствуются всё быстрее.

Погружаемся с головой в Deep Learning, Reinforcement Learning, Machine Learning, Computer Vision и NLP

Лекции:

https://github.com/kmario23/deep-learning-drizzle

Awesome PyTorch для глубокого обучения: https://github.com/bharathgs/Awesome-pytorch-list

Исчерпывающий список материалов по PyTorch на GitHub, включая:

различные модели;
реализации научных статей;
вспомогательные библиотеки;
книги;
доклады и материалы конференций;
туториалы;
и многое другое.

NVIDIA, возможно, решила главный компромисс современных LLM

При работе с любой LLM приходится выбирать между скоростью и качеством. Авторегрессионные модели вроде GPT обеспечивают высокое качество, но работают медленно, потому что генерируют по одному токену за раз.

Диффузионные модели действуют наоборот. Они генерируют целые блоки параллельно и поэтому работают быстрее, но до сих пор за эту скорость приходилось расплачиваться качеством.

Именно эту проблему попытались решить исследователи NVIDIA.

Они взяли 30B-модель и разделили её на две части, чтобы генерировать токены параллельно, а не по одному.
Так появилась Nemotron-Labs-TwoTower — диффузионная языковая модель от NVIDIA Research, адаптированная на базе Nemotron-3-Nano-30B-A3B.

Но прежде чем разобраться, как работает TwoTower, стоит понять, почему диффузионные LLM вообще уступают авторегрессионным.

Диффузионная LLM начинает с блока замаскированных токенов и раскрывает их за несколько проходов. На каждом проходе она считывает весь уже сгенерированный текст и одновременно предсказывает замаскированные токены в текущем блоке.
Получается, что одна и та же сеть одновременно выполняет две совершенно разные задачи. Она должна понимать уже существующий контекст и при этом предсказывать токены, которых ещё нет.

Один набор весов оказывается направлен сразу на две разные задачи, поэтому сеть не может полноценно специализироваться ни на одной из них.

TwoTower решает эту проблему, не заставляя одну сеть выполнять обе задачи. Вместо этого предварительно обученную авторегрессионную модель разделяют на две башни.

1. Context Tower — замороженная часть модели, которая считывает весь уже сгенерированный текст точно так же, как это делала исходная модель. Её больше не обучают, поэтому интеллектуальные способности модели полностью сохраняются.
2. Denoiser Tower — обучаемая часть модели, которая параллельно генерирует каждый новый блок токенов. Чтобы не терять контекст, она постоянно использует cross-attention к Context Tower.

Самое интересное — как взаимодействуют эти две башни. Они соединены послойно: пятый слой Denoiser Tower взаимодействует с пятым слоем Context Tower, шестой — с шестым и так далее.
Благодаря этому Denoiser получает доступ ко всему многоуровневому представлению контекста базовой модели, а не только к её финальному скрытому представлению.

Результаты:
> В 2,42 раза выше пропускная способность генерации
> Сохраняется 98,7% качества исходной модели
> Архитектура построена на базе гибридной 30B-модели Mamba–Transformer MoE
> Для обучения использовано всего около 2,1 трлн токенов — лишь часть от 25 трлн токенов, использованных при предобучении исходной модели

Последний показатель здесь особенно важен. Ни один из компонентов не обучался с нуля.
Это адаптация, которую можно добавить к уже существующей авторегрессионной модели. Она относительно дёшево превращает медленное декодирование по одному токену в быструю параллельную генерацию блоками.

Поэтому для любых систем, чувствительных к задержкам, это подход, который определённо стоит изучить. Больше не обязательно выбирать между моделью, которой вы доверяете, и необходимой скоростью.

Веса, код и методика обучения опубликованы в открытом доступе.

Статья: https://arxiv.org/pdf/2606.26493