ReplaceMe: в ИТМО придумали, как радикально ускорять LLM без дообучения

На конференции Data Fusion уже 5 лет вручают премию Data Fusion Awards. Награждают компании, лаборатории и отдельные статьи. С каждым годом популярность премии растет: в 2026 на трек "Научный прорыв года в ИИ" поступило уже более 140 заявок. Призовой фонд составил 3 миллиона рублей.

Поздравляем победителей этого года и советуем к прочтению их работы:

1. Татьяна Земскова с серией работ о 3DGraphLLM – про то, как ребра графов могут помочь роботам лучше понимать окружающий мир
2. Александр Колесов с серией работ Field Matching – о разработке генеративной модели на основе идеи электростатического согласования полей
3. Дмитрий Шопхоев с работой ReplaceMe – про сжатие LLM

Последняя работа приглянулась нам особенно. Студенты ИТМО с научными руководителями обнаружили крайне интересную вещь: в трансформерах целые группы слоев можно схлопывать до линейных операций, существенно ускоряя модели без больших потерь в качестве.

Почти любая попытка прунинга обычно упирается в необходимость дообучения, но здесь ученые продемонстрировали совершенно другой подход. Они берут последовательность трансформер-блоков, которые "по идее" выполняют сложные нелинейные преобразования, и заменяют их одной линейной операцией, подобранной так, чтобы она максимально точно воспроизводила их поведение.

Для этого не нужно обучать модель заново – достаточно прогнать небольшой калибровочный датасет через оригинальную сеть и посчитать линейное отображение между входами и выходами этих блоков.

Авторы показывают, что можно удалить примерно до четверти слоев и сохранить около 90% исходной производительности. Это очень сильный результат, если учитывать, что речь идёт о полностью training-free подходе. На фоне других методов сжатия ReplaceMe выглядит особенно сильно: при сопоставимом уровне прунинга он держит качество лучше большинства подходов и при этом избавляет от дорогостоящего дообучения.

Действительно значимая работа. Еще раз поздравляем авторов с заслуженной победой и желаем дальнейших сильных результатов и научных прорывов!

Традиционно начинаем день с обновлений Anthropic: на этот раз они выкатили Advisor Strategy

Это способ получить почти топовое качество без оплаты топовой модели. Вот как работает:

– Есть две модели: Executor (исполнитель, дешевая и быстрая модель, Sonnet) и Advisor (советник, дорогая и сильная модель, Opus).

– Исполнитель делает всю основную работу. Но когда сталкивается со сложным моментом, вызывает advisor, который подсказывает, что делать дальше.

– Все происходит внутри одного запроса и вмешательства юзера не требует.

На самом деле задач, которые требуют вмешательства сильной модели, не так много. Так что на практике такой подход выходит ощутимо дешевле Opus (примерно на 10-12%) с качеством сильно выше Sonnet. Например, относительно базового Sonnet на SWE bench метрика растет почти на 3 процентных пункта.

Полезная вещь