Поразительно: исследователи из MIT выбили 62% на бенчмарке ARC

Помните, мы рассказывали про премию ARC Prize? Это конкурс от Google на 1 миллион долларов, который нацелен на поиск новых идей, выходящих на рамки современных LLM. Называется конкурс в честь бенчмарка ARC AGI. Он создан одним из учредителей конкурса, и нацелен именно на сравнение общих способностей интеллекта машины с человеческим разумом (а это собственно и есть проверка на AGI).

Ведущие модели выбивают на ARC AGI менее 40%. Рекорд у GPT-4o: она выбила 50%. Сам конкурс идет уже 5 месяцев, но по-настоящему хороших результатов ни у кого не было.

До этого дня. Сегодня ресерчеры из MIT опубликовали препринт статьи, в котором объявили, что достигли со своей моделью 62%. Это средний уровень человека.

Успеха помогла добиться идея test-time training’а (TTT): это когда модель обновляет веса не только во время трейна, но и во время теста. Для этого из инпутов требуется как-то формировать новые данные.

Ученые делали это в формате leave-one-out (см.схему), как это принято в In-Context Learning. Еще пробовали формат end-to-end, когда каждая пара «вопрос-ответ» – это отдельная задача, но ICL работал лучше. Затем применяли аугментацию и обновляли веса с помощью LoRA (про то, как работает LoRA, мы недавно писали тут). При этом для каждой тестовой задачи обучают новую лору. Звучит страшно, но оказывается, что много данных модельке не надо, поэтому скейлится подход нормально.

Во время инференса ученые применили что-то вроде искусственного Chain of Thoughts с иерархическим голосованием. «Искусственного» – потому что бенчмарк в оригинале не предполагает CoT, он заточен под zero shot.

Что в итоге? В итоге 61.9% на ARC. Пока неизвестно, засчитают ли решение организаторы, и получат ли ученые свой приз. Пока ждем новостей, можно прочитать оригинальный препринт тут.

На LMSYS появилась Copilot Arena

Месяц назад ребята запустили Copilot Arena в виде плагина в VSCode. Это полноценный ассистент для программирования, который может дополнить код, проверить его или даже выполнить указанные действия с выделенной строкой. Его фишка – он предоставляет пару ответов от разных ведущих моделей, задача пользователя – выбрать ответ, который ему больше понравился. Если еще не пользовались – скачать бесплатно можно здесь.

Месяц аналитики собирали статистику. За это время плагин загрузили 2.5К раз. И вот сегодня на LMSYS наконец появились результаты! Они забавные: на первом месте, например, открытая модель, Llama 3.1 лучше GPT-4o, а GPT-4o mini внезапно оказалась хуже всех.

Кстати, оказалось, что в основном плагином пользовались питонисты. На следующем месте – java script и html. Интересно, что медианная длина контекстного окна рассматривается 560 (это много, в human eval например всего 100).

Кажется, такой тест, как бы автоматически взвешенный по используемости ЯП + с сохранением естественной пользовательской длины контекста, должен быть явно репрезентативнее бенчмарков. А это не может не радовать

Блогпост от Lmsys