Диаграмма показывает прогресс LLM ровно за 2 года с появления оригинальной модели GPT-4 в июне 2023 по сегодня (июнь 2025)

Прогресс показан для двух основных показателей:
– стоимость использования модели (в расчете на 1.000.000 токенов (каждый токен это единица текста от буквы до короткого слова);
– интеллектуальная способность модели, подтверждаемая её показателем прохождения тестов GPQA Diamond Score (показатель того, насколько успешно ML справляется с решением самых сложных, требующих экспертных рассуждений задач, которые ставят в тупик даже эрудированных людей с доступом к поисковикам)

Посмотрите в левый нижний угол диаграммы на способности и стоимость оригинальной модели GPT-4 в июне 2023 и сравните с показателями сегодняшних моделей:
• Рост интеллектуальных способностей +106 %
(с уровня студента-старшекурсника университета (знает основы, но далеко не эксперт) до уровня, превышающего средний среди обладателей профильных PhD
• Снижение стоимости использования модели, примерно – 100 %

N.B. GPQA — это набор очень сложных вопросов уровня аспирантуры в таких областях, как биология, физика и химия
Его главная особенность в том, что вопросы "защищены от поиска в Google"

Это означает, что для ответа на них недостаточно просто найти информацию в Интернете
Требуется глубокое понимание темы, умение рассуждать и связывать воедино сложные концепции

Это и есть суть GPQA, а Diamond score — это оценка за самую сложную часть этого экзамена

Какой вывод можно сделать из диаграммы?
• Пока нет никаких признаков прекращения быстрого роста возможностей ML при постоянно снижающихся затратах
• За следующие 2 года возможности ML вполне могут превысить уровень PhD не менее, чем уровень PhD выше студента-старшекурсника

Как называть таких «ML-сверхумников» будет уже не важно

Важно, что их будет много, и каждый из них будет обладать несопоставимыми с людьми возможностями

И это будет, хотите вы этого или нет

Google предлагает SPARQ-новый метод создания синтетического набора данных, который включает задачи с четко определенными шагами решения, чтобы модели могли учиться не только конечным ответам, но и процессу их получения

Это помогает преодолеть ограничения, связанные с галлюцинациями, поверхностным запоминанием шаблонов, что часто встречается в LLM

Метод также использует автоматизированные подходы для масштабируемого создания данных, минимизируя необходимость в дорогостоящей ручной разметке

В работе об Emergent Misalignment сбой скрывался не в миллиардах параметров, а в одном линейном направлении внутри активаций

Подтолкни модель к этому вектору — и она злодействует; вырежи его — зло почти исчезает

Другая группа исследователей задала мультимодальной модели миллионы вопросов «что похоже на что» — и выяснила: почти весь здравый смысл укладывается в 66 осей («животное», «инструмент», «красный»…)

Каждая ось совпала с человеческими интуициями и даже с зонами мозга, отвечающими за лица и места

LLM сжимают колоссальные знания и цели в узкий пучок управляемых векторов

90 % пути пройдено существующими методами, но оставшиеся 10% требуют прорыва

Пример — проблема Какеи: минимальная область на плоскости, в которой можно развернуть иглу, проходя через все направления
В двух измерениях задача решена, но в трёх измерениях — при условии малой, но ненулевой толщины иглы — возникают глубокие связи с дифференциальными уравнениями, геометрией и волновыми фронтами
Эта геометрическая задача оказывается связана с концентрацией энергии в волновых уравнениях, и, следовательно, имеет приложения в физике

Одной из центральных тем становится обсуждение уравнений Навье–Стокса

Тао объясняет, что в их основе лежит борьба между двумя эффектами: диссипацией (вязкость) и транспортом энергии
В двумерном случае (критический режим) вязкость достаточна для сдерживания энергии
В трёхмерном случае (сверхкритический режим) возможны ситуации, где энергия концентрируется, приводя к сингулярности — взрыву решения

Он обсуждает свой вклад 2016 года — конструкцию модифицированных уравнений, в которых взрыв возможен
Эти уравнения упрощены и искусственно «ослаблены», но их анализ позволяет исключить целый класс подходов к доказательству глобальной регулярности
Это важно: вместо поиска положительного решения, Тао показывает, почему многие существующие подходы не сработают

Интересен и другой аспект: идея «жидкостного компьютера»
Тао моделирует конструкцию, в которой взаимодействующие волны воды реализуют логические операции
Это гипотетическая машина, в которой энергия передаётся от одного масштаба к другому с задержкой, позволяя создать цепочку самовоспроизводящихся конфигураций

Вся конструкция — аналог машины Тьюринга, построенной на уравнениях движения жидкости
Если подобная система возможна в рамках настоящих уравнений Навье–Стокса, это будет означать возможность конечновременного взрыва

https://www.youtube.com/watch?v=HUkBz-cdB-k

Сфера Блоха — превращает абстрактную математику кубитов в наглядную геометрию, когда каждая квантовая операция становится простым поворотом в трёхмерном пространстве, и представляет состояние одного кубита как точку на поверхности единичной сферы

Северный полюс соответствует состоянию |0⟩, южный — |1⟩, а все остальные точки описывают суперпозиции этих базисных состояний
Математически любое состояние кубита записывается как:

∣ψ⟩ = cos(θ/2)∣0⟩ + e^{iϕ}sin(θ/2)∣1⟩,

где θ — угол между вектором состояния и осью Z, а φ — азимутальный угол в плоскости XY

Геометрия квантовых операций

Главная магия сферы Блоха в том, что любая квантовая операция с кубитом — это поворот сферы
Это происходит благодаря изоморфизму между группой SU(2) унитарных матриц и группой трёхмерных вращений SO(3)

Основные гейты как вращения:

• X-гейт поворачивает состояние на 180° вокруг оси X
• Y-гейт — поворот на 180° вокруг оси Y
• Z-гейт — поворот на 180° вокруг оси Z
• Гейт Адамара — сложное вращение, переводящее |0⟩ в равновероятную суперпозицию

Операторы поворота имеют вид: R_x(θ) = e^{−iθX/2}, R_y(θ) = e^{−iθY/2}, R_z(θ) = e^{−iθZ/2}

Интуитивное понимание: сфера Блоха делает абстрактные квантовые состояния визуально понятными
Вместо работы с комплексными числами разработчик видит простые геометрические преобразования

Проектирование алгоритмов: при создании квантовых схем сфера помогает планировать последовательность операций

Нужно повернуть состояние из точки A в точку B?
Просто найдите кратчайший путь на сфере

Отладка и оптимизация: современные инструменты вроде Qiskit показывают траектории состояний на сфере Блоха, что помогает находить ошибки в квантовых программах

Образование: исследования показывают, что студенты значительно лучше понимают квантовые концепции после работы с интерактивными моделями сферы Блоха

Создаются физические устройства на базе Raspberry Pi и ESP32, которые синхронизируют вычисления с реальным вращением сферы
Такие системы используют FPGA для параллельных квантовых симуляций и моторы для физической визуализации состояний

Сфера Блоха работает только для одного кубита

Для многокубитных систем используются Q-сферы или фазовые диски, но они менее наглядны

Внутренние точки сферы представляют смешанные состояния, возникающие при взаимодействии с окружением

Связь между квантовой механикой и геометрией через сферу Блоха — это пример глубокой математической красоты

Комплексное проективное пространство ℂP¹ изоморфно сфере Римана, что делает квантовые состояния объектами дифференциальной геометрии

Сфера Блоха превращает квантовые вычисления из чёрной магии в понятную геометрию
Для любого, кто работает с кубитами, это не просто визуализация — это язык мышления о квантовых состояниях

Математика и физика, бесконечность, структура знаний
Во второй части интервью Тао обсуждает различие между математикой и физикой

Математика, по его словам, работает внутри моделей, исследуя их логические следствия

Физика — связывает модели с наблюдениями

Инженерия действует от задачи к решению

Математика в этом треугольнике — самый абстрактный и формализованный компонент, способный проверить внутреннюю непротиворечивость гипотез

Обсуждается и роль бесконечности в математике
Тао подчёркивает, что бесконечность часто используется для упрощения формулировок, но несёт риски: при работе с бесконечными суммами, например, могут возникнуть ошибки при перестановке слагаемых
Поэтому возникает идея «фенитизации» — перевода утверждений в конечный вид с конкретными оценками

В разговоре появляется и тема универсальности: того, как сложные системы на макроуровне подчиняются простым законам, независимо от микроскопических деталей
Тао приводит пример — распределение Гаусса, возникающее во множестве независимых случайных процессов
Однако он подчёркивает, что в системах с корреляциями (например, экономика) такие модели могут давать сбои — как в кризисе 2008 года

В завершении Тао переходит к методологии
Он делит математиков на «ежей» и «лис»: одни глубоко работают в одной области, другие ищут связи между разными направлениями. Сам он называет себя скорее «лисой» — его стиль работы основан на переносе идей между отдалёнными темами

Отдельное внимание он уделяет эстетике доказательств: не только корректность, но и краткость, прозрачность, адаптивность — критерии, по которым он оценивает математические тексты
Он вспоминает лекции Джона Конвея, где обсуждались «экстремальные доказательства» — самые короткие, самые элементарные или самые элегантные из возможных

Интервью охватывает множество тем: от гипотезы близнецов-простых до различий в стилях мышления
Но общая интенция ясна: математика — это не только инструмент формального вывода, но и способ выстраивать структурное мышление о сложных системах

Тао последовательно демонстрирует, как эта структура формирует наши представления о реальности — от воды в ванне до Вселенной в целом

https://www.youtube.com/watch?v=HUkBz-cdB-k

today Science submitted a full CE mark application for marketing approval in Europe for PRIMA retinal prosthesis

With this key step, Science are moving closer to bringing to market the first brain-computer interface technology to restore functional form vision to patients blinded with late-stage age-related macular degeneration (AMD)

Теорему его имени знают все, а вот о нём самом у нас неизвестно практически ничего — Мишель Ролль

Теорема Ролля, которой в этом году исполняется 330 лет, гласит: если вещественная функция, непрерывная на отрезке [a,b] и дифференцируемая на интервале (a, b) принимает на концах отрезка одинаковые значения, то на интервале найдётся хотя бы одна точка, где производная функции равна нулю

Сам Мишель Ролль открыл и доказал её для многочленов, тем не менее его имя присвоено более сильному утверждению. Собственно, Ролль и не мог говорить в 1691 году о дифференцируемых функциях — он был противником исчисления бесконечно малых, считая рассуждения о них неточными и ошибочными
Но потом поверил

Ролль был первым геодезистом, назначенным Людовиком XIV
Он перенес два апоплексических удара
Из первого выкарабкался, сохранив ясный ум и физические силы, а вот после второго его разбил паралич

https://www.mathedu.ru/text/mo_1998_1/p70/

интервью Н.Н. Константинова

(некоторые другие можно найти на странице
https://old.mccme.ru/edu/index.php%3Fikey=konst.html — но данного там как раз нет)

Федеральный судья США постановил, что Anthropic может обучать Claude на купленных книгах без разрешения авторов

Anthropic скачала более 7.000.000 пиратских копий книг с нелегальных сайтов (Books3, LibGen, PiLiMi), включая произведения истцов

Позже компания также купила миллионы печатных книг, отсканировала каждую страницу и создала цифровые копии
Для этого она даже наняла бывшего сотрудника Google, который специализируется на этой работе

Судья решил:

Использование книг для обучения языковых моделей подпадает под добросовестное использование

Нет карт-бланша на пиратство под предлогом ML-разработки

Признал обучение LLM чрезвычайно трансформативным использованием, сравнив его с тем, как люди учатся читать и писать
Это создает сильный прецедент для будущих дел

ML приведет к вымиранию человечества, нет оснований полагать, что люди достаточно умны, чтобы не дать себя уничтожить, когда поймут серьезность угрозы

Риски от ML реально высоки, и при очевидной для всех угрозе, человечество уже не сможет мобилизоваться

Пока все спорят о ChatGPT и регулировании ИИ, исследователи из Forethought Centre подняли ряд интересных вопросов, который почти никто не задаёт

Выделяется 3 стадии промышленного взрыва:

1. ИИ направляет и оптимизирует работу людей
2. Полностью автономные роботизированные заводы и фабрики.
3. Переход к молекулярному уровню для максимальной скорости.

Ключевая идея - когда роботы начнут строить роботов под управлением ML, возникнет петля обратной связи:

• Больше роботов → дешевле производство
• Дешевле производство → ещё больше роботов
• Экспоненциальный рост до физических пределов

Сегодня роботы удваиваются каждые 6 лет
Но когда они начнут строить друг друга под управлением ML, то:

Год 1: Удвоение за 12 месяцев, как сейчас удваиваются солнечные панели
Год 10-15: Удвоение за недели (по мере удешевления производства)

Физический предел - удвоение за дни или часы
Предел Земли — около 100.000.000.000.000 роботов (ограничение — солнечная энергия)
Это в 12.500 раз больше, чем людей

Ключевой расчёт авторов:
Гуманоидный робот стоит ~$100.000
Работая 24/7, он может заработать ~$240.000/год
Окупаемость: меньше года
С учётом строительства фабрик: 1-2 года на удвоение

Для сравнения, производственный сектор США создаёт $2.600.000.000.000 стоимости, используя $5.400.000.000.000 капитала — соотношение, которое делает самовоспроизводство возможным

Что упускают исследователи?
1. Маловероятно, что правительства позволят 90 % безработицу
2. "Удвоение за часы" игнорирует термодинамику и логистику
3. Кто купит продукцию триллионов роботов?

Вспоминаем, повторяем и не забываем чему равен предел

Будем строить последовательность по такому правилу
Выберем натуральное число
Если оно чётное, делим его на 2, в противном случае умножаем на 5 и прибавляем 1

С результатом будем проделывать то же самое снова и снова

Какие последовательности будут возникать?

Например,
1 – 6 – 3 – 16 – 8 – 4 – 2 – 1, получился цикл;
5 – 26 – 13 – 66 – 33 – 166 – 83 – 416 – 208 – 104 – 52 – 26, снова цикл;
7 – 36 – 18 – 9 – 46 – …, а дальше не понятно, выйдет ли она на цикл или нет; по крайней мере на 100-м шаге получается число 11857916;
9 — в этой же растущей последовательности, 11 тоже выходит на неё;
15 попадает в цикл 1;
17 даёт ещё один цикл из 10 шагов…

И в целом наблюдается довольно хаотичная картина многих устойчивых состояний-циклов и возможно бесконечного роста для некоторых начальных значений

Должно ли что-то принципиально измениться, если всего лишь заменить 5 на 3 в этом правиле?
Оказывается,что для любого начального значения все такие последовательности рано или поздно приходят к единице!
Точнее говоря, пока не обнаружено такого числа, которое не пришло бы к единице, а проверено уже 2⁶⁸ первых натуральных чисел, и все они в итоге приходят к 1, и проверка непрерывно продолжается

Это знаменитая гипотеза Коллатца (немецкий математик Лотар Коллатц сформулировал её 1 июля 1932 г.), одна из нерешённых проблем математики (известная также под именем сиракузской проблемы, проблемы 3n+1 и др.)
Например, при n=27 последовательность состоит из 111 членов до первой единицы, достигая в пике значения 9232.
Почему 3n+1 подчиняется порядку, а 5n+1 — нет?

Ответа нет
Математики предполагают, что множитель 3 создает баланс между "подъёмом" (3n+1) и "спуском" (n/2), а 5 — нарушает его
Но строгого объяснения этого баланса нет

В настоящее время непонятен даже статус этой гипотезы. Теоретически возможны три варианта:
1) Гипотеза доказуема в аксиоматике Пеано и, значит, верна для всех натуральных чисел
2) Гипотеза опровержима в аксиоматике Пеано, и тогда существует контрпример — конкретное стандартное натуральное число, для которого последовательность уходит в бесконечность или в цикл, отличный от 4 – 2 – 1
3) Гипотеза неопровержима и недоказуема в системе аксиом Пеано, и это означает, что в этой аксиоматике невозможно ни доказать, что все числа приходят к 1, ни предъявить контрпример

Но в любом случае, в стандартной модели множества натуральных чисел она является истинной или ложной, даже если она недоказуема в аксиоматике Пеано

Если она истинна, это означает, что аксиоматика Пеано слишком слаба для её доказательства, а если ложна (и существует контрпример), то аксиоматика Пеано не умеет его построить

Стоит отметить, что конструктивная математика (отвергающая закон исключённого третьего для бесконечных множеств) допускает иную философскую позицию: у нас может никогда не быть конструктивных оснований ни для подтверждения гипотезы (алгоритма, строящего путь к 1 для любого n), ни для её опровержения (предъявления явного контрпримера)

Таким образом, для нас она может остаться без установленного значения истинности

Google сделал бесплатным свой ML Gemini для образовательного сообщества

Google запустил специальную версию Gemini для образовательного сообщества. Она построена на модели Gemini 2.5 Pro
Теперь у кого есть корпоративный образовательный аккаунт в Google, сможет бесплатно получить доступ к:

1. Gemini for Education — специальная версия для образования с доступом к премиум ML-моделям и повышенными лимитами

2. Gemini in Classroom — теперь доступен бесплатно для всех версий Google Workspace for Education

3. NotebookLM — доступен студентам 18+ и скоро будет доступен студентам всех возрастов

«…we hope to illustrate the following “abstract nonsense” principle, which we learned from Yves Benoist:

“There are many more theories than fundamental objects in mathematics”

A direct corollary of this principle is that behind many distinct interesting theories lie in fact the same fundamental objects
Of course, each theory sheds its own light on these objects, and combining the various perspectives is likely to be very fruitful…»

https://arxiv.org/abs/math/0611617

Миллиарды людей по всему миру ежедневно набирают дефис и знак больше, чтобы получилось убогое подобие стрелочки, и считают, что все нормально, что так и должно быть
Кодировки умерли, Юникод победил, сколько можно сидеть в каменном веке?

Например, недоразумение в виде знака дюйма, использующееся для обозначения строк, мы сразу же заменим на нормальные лапки “...”
Меня давно беспокоит, что всякие массивы и теги обозначают начало и конец разными символами (открывающая и закрывающая скобки), а у строк символ одинаковый
Вот, будет разный

Дальше, понятно, минус
То, что вы печатаете, нажимая на кнопку рядом с плюсом на клавиатуре — не минус, а дефис
Он выглядит по-другому, придуман для другого (соединять слова) и вообще перегружен
В юникоде есть математический минус — − — который придуман специально для математики и идеально сочетается с плюсом
Вот его-то мы для арифметики и будем использовать. Бонусом — дефис освободится, чтобы, как ему и полагается, соединять слова
Да здравствует кебаб-кейс!

Еще под нож пойдет умножение — звездочка это хорошо, но зачем?
Зачем себя мучать, переучивать после школы, делать вид, что * это почти крестик?
Язык не должен строиться вокруг концепции «на что создателям печатных машинок когда-то хватило клавиш»
Короче, умножение тоже красивое — ×

Ну и раз уж мы про математику, то давайте со сравнением разберемся
Вот это вот что такое: !=
Это по-вашему нормально?
Это псевдографика какая-то или что?
А вот это? <=? >=?
Это что за стрелки?
Вот же, положил: ≠ ≤ ≥

А логические операции?
Вот эти вот && ||?
Думаете: ага, щас опять юникодно-математические символы какие-то найдет
Не, нифига (хотя они есть)
Сравнение просто словами будет: and, or
Во-первых потому что ∧∨ хрен запомнишь
Во-вторых... впрочем, достаточно во-первых

Еще стрелочки, стрелочки мои любимые, стрелочки
За «стрелочки», сделанные из дефиса и знака «больше», нужно бить
Нормальные есть в юникоде, на любой вкус, во все стороны, вот: ↓←↑→↖↗↘↙
Можно на вещи на соседних строчках показывать!

Что там еще программисты напридумывали от убогости ASCII?
А, шестнадцетиричные числа
В нашем прекрасном языке будущего они не будут записываться как 0xC1F27ED
И даже не как 0×C1F27ED

Шестнадцетиричное число?
Ну так и пиши: C1F27ED₁₆
Двоичные так же 00001111₂, восьмеричные так же 12345670₈.

Есть еще вопросик с присваиванием, конечно
Писать двойное равно для сравнения это бред, это понятно
Тройное — бред уже клинический
Сравнение это обычное, одинарное =
Значит, надо что-то для присваивания придумать

С одной стороны есть :=
Он долгое время считался оператором смерти — все языки, которые его вводили, умирали
Но сейчас есть Go и правило больше не работает
Но у := есть другая проблема — без хорошего шрифта типа Fira Code оно выглядит как унылое говно — двоеточие не выровняно относительно равенства, и оба они стоят как-то криво-косо относительно остального текста

В общем, я думаю мы ← для присваивания приспособим
Но это пока не точно

Ну и к вопросу, который всех вас, я уверен, беспокоит
Как это набирать?
Нужна ли будет специальная клавиатура?
Клавиатура нет, а вот раскладка может быть
Все, у кого стоит раскладка Бирмана, например, могут набрать большую часть этих символов без особых проблем
Остальное докрутим

«Да кто на это пойдет?» — скажете вы
А я напомню, что программисты — люди, способные добровольно терпеть сильную боль, на которую сами же себя обрекли (см. Дворак, Линукс)
Так что была бы цель, а средства подтянутся

Aequalis est, zenzizenzizenzic

Нет, это не заклинание средневековых алхимиков, а математический язык до появления привычных нам символов — плюса, минуса, равно и степеней

Управляющий Королевского монетного двора Великобритании, личный врач Эдуарда VI и Марии I, преподаватель математики в Оксфорде и автор первого учебника арифметики на английском языке — Роберт Рекорд

До Рекорда «равно» писали словами: is equal to, aequalis est, est egale à
Длинновато для ЕГЭ бланков

В 1557 году математик предложил символ «=» в своей книге The Whetstone of Witte, объяснив: «Я использую пару параллельных линий, потому что не существует двух вещей более равных, чем они»

Кстати, горизонтальная метафора равенства прижилась не сразу
Вплоть до XVII века предпочтение отдавали аббревиатурам вроде «ae» или «æ»

В другой своей книге The Grounde of Artes (1543) Рекорд объяснил знаки «+» и «–» английской публике
Символы уже использовались в немецких текстах с конца XV века, но в Англии о них почти не знали

Впервые они появились в трактате немецкого математика Иоганна Видмана

Предполагают, что сам знак плюса — это упрощённая запись латинского et («и») или, точнее, второй буквы союза
А знак минуса — отделившаяся тильда от буквы m̄, которой сокращённо обозначали слово minus

Рекорд не придумал эти символы, но стал первым, кто ввёл их в англоязычный обиход

Целью математика было сделать науку доступной не только учёным, но и практикам — торговцам, военным, морякам и чиновникам

В книге Рекорда знак равенства выглядел так: «=====» — он состоял из двух очень длинных параллельных линий
Вариант громоздкий, но смысл тот же: равные и параллельные

В той же книге Рекорд вводит термин, который стал почти анекдотом: zenzizenzizenzic — это восьмая степень числа

Слово происходит от итальянского censo или латинского census — «квадрат»
Алгебраическая традиция на латыни обозначала через zenzic квадрат (2-я степень)

Соответственно, zenzizenzic — квадрат квадрата (4-я степень), а zenzizenzizenzic — квадрат от квадрата от квадрата (8-я степень)

Верхних индексов ещё не существовало, и Рекорд так пытался нащупать язык для новых понятий

Уже писали о смысле точки — получился целый философский разговор
Сегодняшние знаки более практичные

А если бы их пришлось изобретать заново — как бы они выглядели сегодня…

Одно из самых простых и одновременно самых загадочных понятий в математике — это точка
Мы представляем её как крошечное пятно на бумаге, но у неё нет ни длины, ни ширины, ни даже формы!

Как же можно говорить о чём-то, что буквально состоит из ничего?

Около 300 г. до н. э. Евклид в своих «Началах» дал классическое определение: «Точка — то, что не имеет частей»
Звучит не вполне однозначно и скорее философски, правда?

Рене Декарт в XVII веке связал точки с координатами, сделав их фундаментом аналитической геометрии
Теперь каждая точка имела «адрес» — (x, y)

Ещё позже в XIX веке Георг Кантор пошёл дальше и доказал, что даже бесконечно малые точки могут образовывать бесконечно большие множества — например, прямую

Всё сходится: понятие есть, доказательства есть, координаты тоже в наличии
Но вот в чём проблема: если точка не имеет размеров — существует ли она вообще?
Как мы строим целую геометрию, опираясь на нечто, что нельзя потрогать, измерить или даже математически изобразить?

Над этой проблемой рассуждали и философы
Например Бертран Рассел писал:

«Если материя — это точки в пространстве, то что такое тогда пространство?»

Вопросы бытия — это хорошо, но держим связь с реальностью!
Без понятия точки не было бы координатной сетки, без координат — физики не смогли бы описывать траектории частиц, инженеры — проектировать здания, а IT-специалисты — строить визуализации и 3D-модели

Пост на экране, каждая кнопка в интерфейсе, ваш любимый мем — это миллионы точек, которым задали координаты
Точки — это кирпичики, из которых состоят цифровой и физический миры

Может быть, она и правда не существует
Но без неё не было бы… вообще ничего

NVIDIA и Georgia Tech утверждает, что будущее агентного ИИ за малыми языковыми моделями (SLMs)
Основная идея - для большинства повторяющихся специализированных задач огромные модели избыточны
SLMs, которые помещаются на обычный компьютер, могут эффективнее справляться с рутинными операциями, экономя ресурсы и деньги

Исследователи создали бенчмарк на основе соревнования по ускорению обучения GPT-2, где сообщество сократило время с 45 до 3 минут

В результате даже лучшие модели (o3-mini, Claude 3.7, Gemini-2.5-Pro, DeepSeek-R1) восстанавливают менее половины улучшений, даже когда им дают подробные инструкции

Исследователи выявили несколько ключевых проблем:
- Агенты часто не могут правильно реализовать даже описанные изменения
- Сложности с пониманием и применением новых техник
- Проблемы с отладкой собственного кода
- Трудности с оптимизацией производительности

Получается, если большие модели не справляются с воспроизведением кода, как могут справиться малые?

Ответ в типах задач
NVIDIA говорит о простых повторяющихся операциях, а Meta тестирует сложное научное программирование с отладкой и оптимизацией

Это разные миры сложности

1. Специализация работает, узкие модели для узких задач могут быть эффективнее универсальных
2. Автономность далека, даже с подробными инструкциями ML пока не может надёжно программировать
3. Будущее гибридное, вероятно, увидим системы из множества специализированных моделей разного размера

Эти работы показывают, что путь к полноценным ML-агентам будет постепенным
Экономическая оптимизация через SLMs имеет смысл, но не стоит ожидать прорывов в сложных творческих задачах

Рекурсивное самоулучшение ИИ — это не внезапный скачок, а процесс, который уже идёт
От IDE до GitHub Copilot — постепенно автоматизируют всё больше

При этом nanoGPT — это всего 750 строк учебного кода, а реальные системы в сотни раз сложнее

Специализация неизбежна, но до автономных ИИ-исследователей ещё далеко

Together AI introduced DeepSWE is a new SOTA open-source software engineering model trained entirely using reinforcement learning, based on Qwen3-32B

DeepSWE is trained with rLLM, Agentica’s modular RL post-training framework for agents

rLLM makes it easy to build, train, and deploy RL-tuned agents on real-world workloads — from software engineering to web navigation and beyond

Train DeepSWE yourself. Extend it. Build your own local agents