✔️ Google представила ToolGrad - генерацию данных для обучения работе с инструментами

Метод сначала строит проверенную цепочку вызовов API, а затем формулирует пользовательский запрос под полученное решение.

Цепочка растёт по шагам: система предлагает подходящие API, тестирует их параллельно, выбирает лучший вызов и обновляет запрос с ответом. Отчёты о выполнении служат «текстовыми градиентами» - обратной связью, которая направляет построение следующего шага.

Для экспериментов использовали базу из 16 тыс.+ API из ToolBench. Доля успешно сгенерированных примеров достигла 99,8%. По данным авторов, метод создаёт более сложные цепочки с меньшими затратами, чем базовый подход с поиском решения под готовый запрос.

На датасете ToolGrad-500 дообучили Gemma 3 размером 1B, 4B и 12B. Качество работы с инструментами выросло у всех трёх моделей.

Результаты на BFCL с другим набором инструментов:

* ToolGrad-12B - 83,1
* Gemini 2.5 Pro - 83,2
* Claude 4.5 Opus - 82,8
* GPT-5 - 74,4

Данные генерировала Gemini 2.5 Flash-Lite. Обученная на них 12B-модель превзошла своего «учителя» в этой оценке.

https://research.google/blog/toolgrad-efficient-tool-use-dataset-generation-with-textual-gradients/

🐠Sakana AI представила PC-ALM - метод обучения глубоких нейросетей без классического обратного распространения ошибки.

Главный результат: PC-ALM смог обучать нейросети глубиной до 1000 слоёв, используя только локальные взаимодействия между соседними слоями.

Обычное глубокое обучение почти полностью опирается на backpropagation: ошибка считается на выходе сети, после чего градиенты передаются назад через все слои.

PC-ALM работает иначе.

Каждый слой рассматривается как локальная динамическая система, которая пытается уменьшить собственную ошибку предсказания. Вместо глобального прохода градиента используются:

- локальные ошибки предсказания
- множители Лагранжа
- расширенный лагранжиан
- локальная динамика состояний
- PI-регуляция внутри каждого слоя

Метод вырос из predictive coding — подхода, популярного в NeuroAI. В predictive coding каждый слой постепенно корректирует своё состояние так, чтобы уменьшать рассогласование с соседними слоями.

Проблема в том, что в очень глубоких сетях такие сигналы плохо распространяются: информация об ошибке с выхода сети затухает раньше, чем достигает внутренних слоёв.

PC-ALM добавляет специальные двойственные переменные — по сути дополнительные нейроны, представляющие множители Лагранжа. Они помогают передавать сигнал ошибки через большое число слоёв.

Авторы связывают этот подход с классической работой Яна Лекуна 1988 года, где множители Лагранжа для многослойной сети можно связать с градиентами функции потерь.

В результате получается обучение, где глобальная задача оптимизации раскладывается на множество локальных динамических процессов.

Особенно хорошо PC-ALM показал себя на очень глубоких и узких сетях, где обычный predictive coding начинает ломаться.

Помимо NeuroAI, подход может быть интересен для нейроморфного железа: там локальные вычисления и физическая динамика потенциально дешевле классического backpropagation на GPU.

Блог: https://pub.sakana.ai/pc-alm/

Статья: https://arxiv.org/abs/2605.31022

Код: https://github.com/SakanaAI/pc-alm