🧠 MLR-Bench — на пути автоматизации научных исследований

Идея автоматизации науки давно витает в воздухе — и постепенно становится предметом системного исследования. В этой работе авторы представляют MLR-Bench — бенчмарк для оценки качества научных работ, сгенерированных LLM и агентными системами.

Бенчмарк включает:
🟣201 научную задачу (на основе анализа публикаций топ-конференций за последние 3 года);
🟣MLR-Judge — систему оценки по критериям новизны, значимости и последовательности;
🟣MLR-Agent — агента, способного генерировать идеи, планировать исследования, писать и запускать код, а также оформлять текст статьи.

Агент может работать в двух режимах: end-to-end или пошагово (идея → план → эксперименты → текст).

Авторы статьи показывают, что MLR-Bench даёт довольно хорошие результаты при оценке работ.

Сравнение с 10 ML-экспертами показывает, что распределение различий между экспертами ≈ различиям между LLM и экспертами. Помимо этого, оценки MLR-Judge во многих случаях напрямую согласуются с экспертными.

Кроме того, авторы отмечают ряд закономерностей в поведении агентов при написании работ. Во-первых, действительно новые идеи встречаются редко — чаще это комбинации существующих подходов. При этом моделям сложно убедительно объяснить значимость и полезность предложенного метода.

Во-вторых, заметны проблемы с кодом. Частая ситуация: код не запускается (например, из-за зависимостей), но агент при этом генерирует правдоподобные результаты и аккуратные графики, как будто всё отработало корректно. И это не полностью исправляется даже явными инструкциями.

Общий вывод авторов довольно сдержанный:
➡️ пока рано говорить об автоматизации научных исследований

Во многом из-за непрозрачности процесса — не всегда понятно, как получен результат и можно ли ему доверять. Авторы позиционируют работу как один из первых шагов к повышению доверия к AI-исследованиям.

Как вам кажется: мы движемся к автоматизации науки — или к росту числа «красивых, но сомнительных» результатов?

И главный вопрос: долго ли продержится классическая наука в текущем виде? 👇

Обзор статьи подготовлен командой AI VK
#обзорстатьи

🔳🔳🔳🔳🔳: в Нью-Йорке медсестёр уволили и заменили их ИИ.

В одной из больниц сократили 12 сотрудников с многолетним стажем — их обязанности передали ИИ-системе для анализа медицинских карт и работы со страховыми компаниями.

В профсоюзе, конечно же, поводили пальцем у виска и заявили, что это нарушает соглашение, которое медработники буквально несколько месяцев назад отстояли после 41-дневной забастовки.

В больнице же утверждают, что никого «не заменяли ИИ», а лишь внедряют новые технологии для повышения качества работы.

Ща они там напишут им левые диагнозы, а страховщики обанкротятся, ии быстро найдет все лазейки в законе. Ну, это мое мнение.

Только у нас давайте делать не будем, медицина строится на людях. Железке не поймет все жизненные проблеммы.