Мы стоим на пороге сверхинтеллекта.

Представили Recurrent Looped Transformer (RLT).

Теперь у нас есть трансформеры с бесконечной глубиной рассуждений.

С этого момента нам следует контролировать темп прогресса на передовом рубеже сверхинтеллекта, пока не будет достигнут безопасный сверхинтеллект.

https://github.com/yifanzhang-pro/recurrent-looped-tranformer

Financial Machine Learning (159 page PDF)

Глубокий разбор системной архитектуры ускорителя инференса OpenAI Jalapeno, который выходит далеко за рамки одних только FLOPS и показывает окружающую сетевую архитектуру, а также то, где именно ИИ реально дал прирост.

https://www.siliconcodesign.com/p/an-advanced-system-architecture-breakdown

Соберите человекоподобного робота самостоятельно

OpenArm — человекоподобный робот с открытым исходным кодом.

В проект входят полные CAD-модели, код управления, прошивка и инструменты симуляции — всё необходимое, чтобы собрать, модифицировать и использовать робота.

Манипуляторы спроектированы так, чтобы быть податливыми и допускающими обратное вращение приводов. Поддерживается телеуправление с силовой обратной связью и компенсацией гравитации в реальном времени, поэтому оператор может естественно направлять руку.

Что особенно важно, для симуляции OpenArm работает с MuJoCo и Isaac Sim. Это позволяет разработчикам тестировать политики в виртуальной среде до запуска на реальном железе.

Робота можно собрать самостоятельно из набора или купить уже собранным. Цель проекта — сделать такие системы доступнее для исследовательских лабораторий, небольших команд и энтузиастов.

Проект развивается в Токио. Его цель — снизить порог входа в эксперименты с ловкими роботизированными манипуляциями.

https://github.com/enactic/OpenArm

Тем временем в Китае.

«Последний ИИ, созданный людьми: на пути к настоящему рекурсивному самоулучшению».

Новая 75-страничная работа исследователей из Шанхайского университета Цзяотун, Университета Цинхуа, ByteDance, Shanghai AI Lab и других организаций описывает дорожную карту к настоящему рекурсивному самоулучшению.

Речь об ИИ-системах, которые не просто лучше выполняют задачи, а непрерывно улучшают сами механизмы, за счёт которых они становятся лучше.

Авторы описывают пять стадий роста автономности:

ИИ выполняет улучшения, разработанные человеком
сам выбирает стратегии собственного улучшения
сам решает, какой опыт и какие данные ему нужны
непрерывно адаптируется на основе обратной связи из реального мира
наконец достигает уровня L5, метаулучшения, где он изменяет и наследует сам процесс, используемый для создания более совершенных систем-преемников

https://arxiv.org/pdf/2609.11873

Большинство слышит «дообучение» и сразу думает, что мы обновляем миллиарды весов большой языковой модели.

Но часто это не так.

Современные методы дообучения позволяют адаптировать модель, почти не трогая её исходные предобученные веса.

Если вы переходите из Data Science в AI Engineering, стоит знать эти 5 подходов.

1. LoRA — учим обновление, а не сами веса

Замораживаем W.

Обучаем две небольшие матрицы:

ΔW = BA

То есть:

W' = W + BA

Фактически мы учим небольшую поправку к модели.

2. LoRA-FA — замораживаем ещё больше

Замораживаем W и A.

Обучаем только B.

Идея та же, но обучаемых параметров ещё меньше.

3. VeRA — не обучаем даже сами матрицы

Фиксируем случайные A и B.

Обучаем только небольшие векторы масштабирования, которые управляют вкладом этих матриц.

Очень высокая параметрическая эффективность.

4. Delta-LoRA — позволяем базовой модели тоже меняться

В отличие от обычной LoRA, здесь W тоже может обновляться, но эти изменения направляются низкоранговой адаптацией.

5. LoRA+ — та же LoRA, но с другой оптимизацией

A и B обучаются с разными скоростями обучения.

Обычно:

ηB > ηA

Главная идея здесь в том, что дообучение не обязательно означает переобучение всей модели.

LoRA → 2 матрицы
LoRA-FA → 1 матрица
VeRA → векторы масштабирования
LoRA+ → 2 матрицы с разными скоростями обучения
Delta-LoRA → низкоранговые обновления + изменяющиеся базовые веса

Пять подходов к одному и тому же вопросу:

какой минимум нам на самом деле нужно обучать?

Именно это и есть параметрически эффективное дообучение — концепция, которую стоит понимать специалистам по Data Science при переходе в AI Engineering.

«Введение в высшую инженерную математику и математический анализ» — это открытый учебник, который охватывает функции, комплексные числа, линейную алгебру, математический анализ, производные и интегралы, последовательности и ряды, ряды Тейлора, обыкновенные дифференциальные уравнения и уравнения в частных производных, ряды Фурье, разделение переменных, преобразования Фурье и Лапласа и многое другое.

Также есть заключительная глава о нейронных сетях прямого распространения, в которой рассматриваются линейные и нелинейные сети, функции ReLU, регрессия и теория приближений.

Почти 500 страниц — это довольно серьёзный материал, и он доступен бесплатно здесь:

https://open.oregonstate.education/app/uploads/sites/246/2023/06/Introduction_to_Advanced_Engineering_Mathematics_and_AnalysisA.pdf

«A Mathematical Explanation of Transformers» — свежая статья, в которой авторы строят строгую математическую модель архитектуры трансформеров и больших языковых моделей.

Трансформер рассматривается как дискретизация непрерывного интегро-дифференциального уравнения. Self-attention описывается как нелокальный интегральный оператор, нормализация слоя — как проекция на множество с ограничениями, а полносвязные слои и функции активации включаются в ту же математическую схему.

Затем через расщепление операторов и численную дискретизацию авторы получают стандартную архитектуру Transformer и расширяют этот подход на многоголовое внимание, Vision Transformer и сверточные трансформеры.

Я уже делился несколькими материалами по математике нейросетей, трансформеров и больших языковых моделей, но в этой области постоянно появляется что-то новое и интересное.

https://arxiv.org/pdf/2510.03989

Вы когда-нибудь задумывались, как модели машинного обучения предсказывают будущее?

За всем стоят теория вероятностей и статистика, а Python — тот самый инструмент, который приводит всё это в движение.

https://pyoflife.com/python-for-probability-statistics-and-machine-learning-pdf/

Какой-то парень открыл исходный код инструмента, который преобразует PDF в Markdown со скоростью 100 страниц в секунду.

Он называется OpenDataLoader.

Работает полностью на процессоре и умеет обрабатывать сложную верстку, таблицы и вложенные структуры.

Полностью бесплатный.

https://github.com/opendataloader-project/opendataloader-pdf

Inference is all you need.

Автор подробно описал процесс оптимизации ядра Softmax на CUDA.

В разборе он:

начинает с наивной реализации

находит и измеряет основные проблемы производительности

разбирает концепцию online softmax

реализует ядро и считает выигрыш по памяти и FLOPs

применяет последовательный доступ к памяти

снова измеряет выигрыш по FLOPs, обмену данными и памяти

пишет итоговый CUDA-код

Читать: https://heyyanshuman.com/posts/making_softmax_fast

Как большая языковая модель работает на аппаратном уровне?

Если вы привыкли к программированию вокруг CPU, большая языковая модель может казаться чем-то почти магическим. Всё потому, что в ней сочетаются глубокая нейронная сеть, архитектура Transformer и GPU — процессор с огромным параллелизмом, на котором она работает. Кроме того, хотя большую языковую модель можно описать несколькими сотнями строк Python, под ними скрываются крупные и сложные слои программного обеспечения, которые одному человеку трудно понять целиком.

Автор проекта решил разобраться в этом вопросе и с нуля реализовал Qwen3-0.6B — от Transformer до симулятора набора инструкций — с помощью Claude Code в качестве проекта на выходные.

Он реализовал саму модель, набор инструкций GPU, компилятор и симулятор GPU, чтобы каждый слой системы был достаточно небольшим и его можно было понять целиком.

Сейчас он также работает над RTL-описанием GPU, чтобы запустить систему на FPGA, а в будущем, возможно, даже изготовить настоящий чип — просто ради интереса.

Что интересно, пользоваться проектом можно примерно как Claude или Codex, но он работает на CPU, поэтому его можно полностью отлаживать и трассировать.

Если вам было трудно связать между собой большие языковые модели и GPU, на которых они работают, репозиторий здесь:

https://github.com/penberg/titania

Для тех, кому интересно, как работает Jev, сделали наглядное объяснение.

Он основан на модели Qwen2.5-RLCD, которую Harsha Gundala опубликовал на huggingface.

Идея в том, чтобы заменить авторегрессионную генерацию LLM одним проходом через декодер Transformer предобученной языковой модели, который всего один раз обрабатывает контекст и JSON-схему. Ключи и значения этих токенов сохраняются в KV-кэше.

Дальше для каждого поля JSON-схемы мы:

1. Снова пропускаем через декодер Transformer токены суффикса этого поля, повторно используя KV-кэш.
2. Получаем итоговое скрытое состояние и передаём его в голову языковой модели.
3. Получаем оценки, также называемые логитами, для всех токенов в словаре LLM.
4. Берём только оценки тех токенов, которые нужны для конкретного поля, и пропускаем их через softmax, чтобы получить вероятности, сумма которых равна 1.
5. Выбираем токен с самой высокой вероятностью.

Плюсы такого подхода:

1. Это быстро, потому что не нужно генерировать JSON-схему токен за токеном.
2. На выходе всегда корректный JSON, потому что не нужно надеяться, что модель сама сгенерирует валидную схему.

Есть идея, которая преследует исследователей ИИ с 1960-х: достаточно умная машина сможет улучшать саму себя, а каждое улучшение будет ускорять следующее.

Это называется RSI — рекурсивное самоулучшение.

Google и Google DeepMind на днях выложили очень интересную работу: Dream-RSI.

Она про RSI. Но способ, которым здесь делают RSI, сильно отличается от того, как мы обычно это себе представляли.

Модель не обучает сама себя и не меняет собственные веса. Вместо этого она начинает менять собственную "стратегию исследования".

Если говорить просто, каждый раз, когда агент выполняет задачу, он оставляет полную историю исследования: какие варианты пробовал, какие провалились, какая ветка сработала лучше всего, сколько вычислений было потрачено.

Dream-RSI напрямую превращает эти истории в Replay Simulator, после чего агент начинает постоянно "видеть сны" внутри него:

А что, если тогда сначала пойти по другой ветке? А что, если запустить больше параллельных задач? А что, если раньше остановить это направление?

Ключевой момент в том, что результаты из истории уже были посчитаны. Поэтому для этих экспериментов вообще не нужно заново вызывать агента и оценщика.

Одно дорогое исследование можно использовать для тысяч экспериментов со стратегией почти с нулевой стоимостью выполнения.

После того как находится более хорошая стратегия, её снова разворачивают в реальном мире. И получается полный цикл:

Исследование → накопление истории → сны → улучшение Policy → новое исследование → новые сны.

Так и замыкается RSI Loop.

Результаты тоже очень хорошие. В задачах с GPU-ядрами VGG16 и LayerNorm достигли сопоставимой производительности, при этом потребовалось соответственно в 2,43 и 1,79 раза меньше генераций.

ConvDiv и ConvMax при похожем бюджете улучшили производительность соответственно в 2,09 и 1,44 раза.

Есть ещё один эксперимент, который мне кажется особенно интересным.

Они также попробовали более традиционный способ: обобщить опыт прошлых исследований и напрямую вставить его обратно в промпт, чтобы он направлял следующий раунд.

И результат, наоборот, стал хуже.

Потому что такие обобщённые "уроки" очень легко превращаются в предубеждения. Агент слишком рано концентрируется на нескольких направлениях, которые выглядят правильными, и в итоге теряет разнообразие исследования.

Поэтому самое важное в этой работе то, что она показывает другой путь к RSI.

Модели не обязательно сначала учиться изменять собственные веса. Агент может сначала научиться изменять собственный Harness.

PCA — один из тех инструментов анализа данных, который очень быстро показывает то, что сложно заметить в сырой таблице.

Берёте большой набор данных, сжимаете его до двух главных компонент и сразу видите кластеры, выбросы и странные точки.

Дальше начинается самое интересное.

Если понять, что именно отражают PC1 и PC2, можно быстро разобраться, почему одни объекты образуют отдельные группы, а другие сильно выбиваются из общей картины.

Именно поэтому PCA полезен не только как способ уменьшить размерность данных. Это ещё и отличный способ находить закономерности и формулировать правильные вопросы к данным.