Стартап Edison Scientific выпустил ИИ-ученого Kosmos, который совершил уже 7 научных открытий. Разбираемся, как он устроен, и что на самом деле может.

Результаты заявляются очень громкие. Якобы за один запуск агент может проанализировать около 1500 научных статей и написать 42 тысячи строк кода, и за пол часа выполняет работу, которая у людей заняла бы пол года.

К этому вернемся позже, а пока – архитектура.

Система мультиагентная. Один из двух основных агентов фокусируется на анализе данных (код, визуализации, эксперименты в том числе), другой – на поиске и чтении литературы. Эти агенты взаимодействуют через «модель мира».

Эта модель мира является центральной частью Kosmos и представляет из себя обновляемую базу знаний, в которой фиксируются гипотезы, результаты, ссылки. Один цикл системы состоит из следующего: работает агент аналитик -> он выдвигает гипотезу -> другой агент ее проверяет на основе литературы -> модель мира обновляется. И так много-много циклов (запуск ограничен 12 часами, это в среднем 200 итераций).

Теперь вернемся к результатам.

1. Для оценки качества привлекались независимые эксперты. Они оценили, что 79.4% утверждений в отчётах – верные. Вроде неплохой результат, но что там делается в этих 20.6% и как с ними быть – большой вопрос.

2. Kosmos правда совершил 7 открытий, но есть нюансы. Во-первых, среди них три репликации (то есть система пришла к тем же выводам, что и люди раньше, по данным, которые были ей доступны). Четыре же действительно еще формально не описаны в литературе. Например, агент предложил ранее не испробованную оптимизацию термообработки в материаловедении. Все открытия также проверялись экспертами, но в то же время ни одно не верифицировали официально.

3. "За пол часа выполняет работу, на которую у людей ушло бы 6 месяцев" – это оценка самих авторов на коленке. Они посчитали по бенчмарку METR, сколько у людей занимает чтение статей, анализ и тд, все это сложили и – вуаля. Так что конкретно к этому утверждению стоит отнестись с некоторым скепсисом.

Несмотря на все эти оговорки, результаты действительно неплохие и довольно прозрачные (кроме последнего пункта). Одно только то, что агент может работать автономно 12 часов подряд и качество при этом растет с ростом количества циклов делает релиз крутым.

Попробовать Kosmos можете тут. Правда, один запуск стоит 200 долларов 💸

Блогпост | Статья