DeepMind представили AlphaFold 3. В отличии от прошлой модели, эта предсказывает не только 3Д-структуру свёрнутого белка, но и ДНК, РНК, лиганд, и, что не менее важно, того, как они взаимодействуют. Кроме того, система может моделировать химические модификации этих молекул, которые контролируют здоровое функционирование клеток, разрушение которых может привести к заболеванию.

Я в биологии ничего не понимаю, и мне сложно судить, насколько полезной была предыдущая модель, и какие новые возможности приносит эта. Будем ждать какого-нибудь грамотного разбора от экспертов, почему это big thing. Сами DeepMind считают, что инструмент пригодится в разработке биовозобновляемых материалов, более устойчивых сельскохозяйственных культур, ускорит разработку лекарств и исследования в области геномики. Нейронка как бы позволяет нам провести эксперимент без самого эксперимента, и если результаты кажутся нам обещающими — то только в этом случае начинать что-то делать.

С точки зрения архитектуры модели самым крупным изменением кажется добавление диффузии при генерации 3Д-структуры — прямо как для изображений! Процесс генерации диффузией начинается с облака атомов и в течение нескольких последовательных итераций приводит к окончательной, наиболее точной молекулярной структуре. Для интересующихся есть статья в Nature с чуть большим количеством подробностей.

Модели пока не будет в окрытом доступе — из-за потенциальных биологических рисков. DeepMind отдельно опубликовали документ на 7 страниц, который поясняет их суждения и план — было привлечено больше 50 экспертов для того, чтобы лучше понять потенциальные применения модели, в том числе и недоброжелателями. Однако для исследователей будет открыта бесплатная платформа, куда можно загрузить свои данные и на выходе получить предсказания, с визуализацией.

По слухам, сегодня, 9-го мая, должна была состояться презентация новых продуктов OpenAI, но её было решено перенести на понедельник — прямо за день до Google I/O, где техногигант традиционно показывает новые технологии, включая AI.

Эти же слухи указывают на то, что продукт(-ы) OpenAI будут связаны с ... поиском, исторической вотчиной Google. При этом Sam Altman в недавних интервью говорил, что просто взять и сделать поиск — это не так круто, их технология гораздо обширнее, и способна на более революционные вещи.

===

В ЛЕВОМ УГЛУ РИНГАААА Sleepy Pinche Pichai, проспавший начало AI гонки и занятой доработкой woke-фильтров для генерации картинок.

В ПРАВОМ УГЛУУУУ беспощадный уничтожитель и манипулятор Sam Altman, компания которого в последние два дня активизировалась и выпустила аж три блогпоста про политику разработки и запуска новых моделей:
— Understanding the source of what we see and hear online
— Our approach to data and AI
— Introducing the Model Spec

Кто будет на коне, а кому придётся глотать пыль??
Узнаем уже совсем скоро! Не забудьте купить попкорн при поездке в магазин на выходных!

Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents

Статья, очень похожая на одну из трёх моих любимых статей 2023-го. Авторы создают виртуальную больницу, населяют её агентами, основанными на LLM, прогоняют несколько тысяч «больных» через докторов. Последние, в свою очередь, накапливают багаж знаний, опыта, и затем используют его для обработки новых случаев. Затем финальная система тестируется на общепринятых бенчмарках, и показывает результаты лучше, чем другие подходы.

Звучит умопомрачительно? (вообще — да) На самом деле с точки зрения прироста качества большого прорыва не произошло, на условном датасете MedQA система с агентами на основе GPT-4 выбивает 93.06%, в то время Medprompt (подробно разбирали тут) давал 90.28%. По сути, и тот подход, и этот — это про способы устройства некоторого хранилища, к которому модель имеет доступ, и примеры из которого подаются в промпт для того, чтобы давать контекстные подсказки модели. Просто один метод чуть более эффективен — и эффектен, блин, делается целая симуляция с больными, их диагнозами, возможными значениями показателей в анализах.

В этом как раз и ограничение работы — на полученных данных пока что нельзя взять и дообучить GPT-4, и получается, что качество ограничено метриками исходной модели, и итерироваться не получится. При этом сама симуляция проигрывается на модели 3.5 (так как это дешевле и быстрее), что влияет на качество данных — но даже с опорой на них более умная четверка выдаёт высокое качество.

Интересно, что кроме простого прогона диагностики и лечения в симуляции, авторы параллельно дают агентам-докторам возможность «начитаться» — кроме получения опыта из симулируемых случаев, в «свободное время» агенты читают миллионы страниц текста, генерируют по ним вопросы и ответы, разбирают, почему ответы именно такие (это всё — автономно, без разметки). Эти знания также попадают в буффер памяти, к которому у агентов есть доступ при решении новых задач. Как я написал, по сути это построения хранилища знаний, где данные получаются не просто методом «вот мы положили описание кейсов и диагнозы».

Но вообще концепция клёвая — через игру с самой собой модель генерит синтетические данные, которые улучшают качество. Повторить с дообучением несколько десятков раз — и может получиться что-то интересное.

⚡️Маск заявил, что следующий запуск Starship ожидается через 3-5 недель

Цель состоит в том, чтобы шип прошёл максимальную степень нагрева при входе в атмосферу или хотя-бы продержался дольше чем в прошлый раз

Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?

В тренировке больших языковых моделей есть 2 или 3 (или больше!) этапов. На первом и самом длинном и ресурсоёмком происходит предобучение, когда модель получает 99% всех своих знаний. А дальше происходит дообучение, которое, можно сказать, корректирует поведение модели.

Вопрос на засыпку: предположим, что модель предобучали на данных до 2022-го года. А теперь дообучают на данных до весны 24-го. Какое нежелаемое поведение выучит модель?

Правильно — это может научить модель галлюцинировать (выдавать фактически неправильные ответы), поскольку она как бы обучается генерировать факты, которые не основаны на ее ранее существовавших знаниях или контексте. Буквально говоря «лепит что попало, что похоже на правду».

Про это я рассказывал в одной из своих лекций. OpenAI про это знали ещё давно, и конечно же внесли исправления в процесс сбора данных, и вот теперь и у Google Research дошли руки потестировать.

Тезисно:
— чем больше новых знаний во время дообучения, тем больше галлюцинаций, даже несмотря на то, что новые знания потихоньку тоже прорастают в модели, рано или поздно
— поэтому авторы предлагают метод оценки «новизны» перед дообучением (чтобы такие примеры можно было выкинуть)
— выкидывание таких примеров не ведёт к ухудшению качества. Как говорилось много раз - лучше меньше данных для дообучения, но супер-качественных, отборных
— авторы выделяют несколько групп фактов, среди прочих — «модель 100% знает» и «модель почти наверняка знает». Оказывается, если делать дообучение только на первой группе — это не приводит к лучшим результатам: важно включать и слегка неуверенные примеры, чтобы откалибровать модель.

Делается много под-исследований и промежуточных выводов, технарям рекомендую прочитать. А ниже расскажу, как вообще можно определить до дообучения, что модель знает, а что — нет.
Для каждой частички информации мы можем придумать один вопрос, для ответа на который эта информация пригодится, и сделать 5-10 разных формулировок. Затем мы кормим эти вопросы в модель и генерируем ответы. По стабильности и уверенности предсказаний (насколько большая вероятность токенов, составляющих ответ) можно судить о том, насколько хорошо модель шарит — если она ответила 10/10 раз правильно, то это категория «модель 100% знает», а если ни разу даже в топ-10 вероятных слов не попало — знание полностью новое.

Кстати, именно поэтому опенсурсные дообученные модели имеют частоту галлюцинаций выше — потому что сообщество тренирует на всём подряд, без фильтрации, и модель учится фантазировать.