публикуйся или умри!

Кстати о статьях, за которые не жалко заплатить. Очень интересная работа. Я уже не первый раз натыкаюсь на неё, но тут интересно ещё почитать комментарии с деталями архитектуры в канале, откуда я сделал репост.

Весной мы в поездке с подругой обсуждали, насколько реально современным системам машинного обучения достичь когнитивных способностей человека. Один из аргументов, которые я тогда приводил, насколько это непростая задача: посмотри, с какой скоростью дети учаться новому. У людей невероятная способность к обобщению, увидив ранее незнакомое животное, но слыша в жизни его описание, мы можем его узнать. С 1-2 показов мы запоминаем карточки с новыми предемитами и т.п.

Наш мозг формировался в ходе эволюции миллионы лет, но сколько знаний заложено в него с рождения? Или мозг просто дает вычислительные возможности, а все знания приходят из окружающего мира?

И вот я наткнулся на такую статью в Science: https://www.science.org/doi/10.1126/science.adi1374

Идея следующая - в течении первых лет жизни ребенка (от 6 до 25 месяцев) проводился эксперимент. В случайные моменты времени ребенок проводил несколько часов с камерой на голове, которая снимает все происходящее. Таким образом, формировался набор изображений. Далее, были выделены категории слов, которые встречаются на видео, их говорят родственники ребенка. Например, мама говорит: "смотри, мячик". И показывает ребенку мячик. Таким образом формируется пара: изображение мячика - слово мячик. Авторы обучили классическую нейросеть для анализа изображний на парах картинка - слово так, чтобы эмбединг картинки был близок в пространстве к эмбедингу подходящего слова и далеко от неподходящего (т.е. слово "мяч" и картинка мяча - похожи, а "собака" и картинка мяча - нет)

Получилось ли у них система уровня человека?
Ответ: У них получилась система, способная распознавать изображения на неплохом уровне, но не на идеальном.

А для тех, кому интересно, как именно - читайте в комментариях.

Сегодня в рамках семинара центра LIFT рассказываю про Гену на площадке Сколтеха.

Есть ссылка на зум

Подключиться к конференции Zoom
https://us06web.zoom.us/j/82516469784?pwd=qbRHjjVpaarvnY5RoUqoxLYdEI4LaD.1

Идентификатор конференции: 825 1646 9784
Код доступа: 660818

❗Внимание аспирантам

Объявлен конкурс стипендий 2025 года. Стипендия 75 тыс на время аспирантуры, в прошлом году получателями стали около 500 человек.

Дедлайн 28 февраля.

https://aspirant.extech.ru/news/konkursnyi-otbor-2025-goda

https://www.biorxiv.org/content/10.1101/2024.12.18.628606v1.full


Поскольку мне (видимо как адепту DNA LMs) сегодня сразу из трех независимых источников прислали ссылку на эту статью, решил, что нужно ее коротко разобрать.

Основной тезис авторов в заголовке:
"Genomic Foundationless Models: Pretraining Does Not Promise Performance"


Напомню очень коротко как работают языковые модели ДНК - их сначала предобучают на какой-то общей задаче (часто не имеющей понятного биологического смысла), вроде предсказать замаскированную букву по соседям. А потом файн-тюнят уже для решения задач с понятным смыслом.


Результат авторов - если вообще не претренировать модели, а случайным образом инициализировать, получается немногим хуже (а иногда - удивительно - но даже лучше) решать нужную задачу.


Разбор в комментариях. Мой вывод - если не умеешь пользоваться, никакая претрена не поможет

Сразу два конкурса мегагрантов объявлено на днях:

1. Конкурс мегагрантов университета Сириус. 30 млн в год для молодых учёных, 50 млн для ведущих.

2. Конкурс мегагрантов для ведущих зарубежных учёных. Прочитав по диагонали конкурсную документацию я так и не понял, как формализуется то, что руководитель должен дать именно зарубежный учёный - скорее м там созданы возможности для этого (например, можно иметь аналог степени к.б.н., т.е. PhD). Размер гранта - 20..50 млн в год на 3.5 года, необходимо опубликовать 40 статей

Мои друзья ищут человека на позицию постдока в области генной инженерии в университет Халле (Германия)

https://www.verwaltung.uni-halle.de/dezern3/Ausschr/25_5_1520_D_engl.pdf

Надеюсь по ссылке большая надпись во весь экран - "ПОПАЛСЯ!"

Обживаемся в университете Сириус

Пока одни группы рассуждают, почему претренировка языковых моделей ДНК бесполезна, другие совершенствуют модели, показывают их эффективность в разных областях биологии и публикуются в Science.

Genome modeling and design across all domains of life with Evo 2

https://arcinstitute.org/manuscripts/Evo2

"We trained two versions of Evo 2 at 7B and 40B parameters, leveraging over 9.3T tokens at single-nucleotide resolution."

Молодцы. По моим оценкам 9.3T tokens - это весь NCBI genome dataset. 7...40В - сравнимо с языковыми моделями (Lama 7B).
Плюс котекст 1М букв, разрешение в одну букву.

Небольшой разбор в комментах.

Про Evo1 я уже писал. Вчера вышла Evo2. Претензии те же самые, авторы никак на них не ответили во второй работе.
Нужно ли детально разбирать а в чем новые проблемы? Мое имхо — хватает и старых. Разбирать подробно где обжулили дополнительно к первой работе — влом. Потому кратко.

В новых "применениях" авторы настойчиво
1) не комментируют ситуации, когда их модель не лучше простых подходов 10летней давности
2) исключают очевидные сравнения и соты в задаче (в сплайсинге не приводят качество той же spliceai, а там разрыв кратный)
3) исключают некоторые очевидные задачи (нет датасета кирхера о влиянии мутаций. Который удобнее для анализа чем клинвар и чище)
4) вся часть с генерацией является самосбывающиеся пророчеством. Мы генерим тексты и они похожи на обучающую выборку — amazing. На альфафолде, который известен тем, что для похожих последовательностей предсказывает похожие структуры несмотря на биологию — показываем, что на наших сгенерированных генах (похожих на трейн) он предсказывает похожие на трейн структуры
5) особо (для меня) смешное с генерацией региона с открытым хроматином — используют Enformer, который известен тем, что на последовательностях отличных от генома предсказывает плохо. А на посл. из генома предскажет то же, что было в геноме. Причем предскажет картинк "в среднем" по клеточным линиям.

Особо доставляет, что у авторов скейлинг модели (увеличение числа параметров) работает примерно никак. Иногда даже хуже качество выходит. Но — 40B параметров же зато. Мда.

В самой статье интересна (не для биологии или мл в биологии) только архитектура и способ интерпретации. Для биологии он им тупо вытащил частые кмеры, которые они нашли в базе мотивов тф (удивительно для человека, если он ничего не знает про эволюцию тф и их участков связывания, и/или был в коме/на острове без доступа к высокоимпактным журналам годиков этак 10).

Не хотел бы писать резко, но коль некоторые каналы позволяют себе писать волчьи цитаты, что "пока одни сомневаются, другие двигают frontier", напишу.

Любой, кто скажет, что Evo2 — хорошая статья и какой-то там breakthrough:
1) свидетель прихода ДНК-моделей. Не учёный, а верующий. У всех есть право вероисповедания, но это не наука
2) не читал дальше абстракта и/или твиттер треда
3) банально некомпетентен
4) комбинация трёх первых пунктов

А вот альтернативное мнение о новой моделе Evo от моего коллеги, большого специалиста в применении искусственного интеллекта в геномике. Там у него в канале есть ещё комментарии с разборами отдельных моментов, если интересно — приходите почитать.

Прочитав бурю комментариев в разных каналах, твиттерах и прочих платформах о Evo-2, попробую ещё раз сформулировать взвешенную позицию.

Если кто-то рассматривает эту работу как решение всех проблем биологии (что можно заключить из заголовка), то, безусловно, будет разочарован. Из-за того, что в современной науке принято писать статьи и заявки на гранты в стиле "вот смотрите, сейчас мы спасем человечество", у людей не погруженных в область может возникнуть завышенное ожидание . Градус ожиданий нужно снизить.

Что, тем не менее, важно:
1) модели совершенствуются, и это хорошо видно по бенчмаркам, приведенным в статье
2) unsupervised модели (в биологическом контексте - обученные без какой-либо разметки, только на последовательностях букв) могут выучивать биологические закономерности, для открытия которых человечеству понадобились десятилетия, и которые до сих пор требуют "supervised" (т.е. специально подготовленных или экспериментально-размеченных) данных. Это очень важно.
3) в отдельных областях модели дают state-of-the-art качество.

Как относится к этим достижениям - дело вкуса. Лично меня они вдохновляют. Темп огромный - от первых DNABERT и пяти лет не прошло, апдейты выходят каждый месяц. Глядишь - и выучим что-то, что раньше не знали.

И меня скорее радует, что текущие модели ещё далеки от совершенства - есть поле и для наших исследований. Я не знаю - возможно и вовсе не языковые модели ДНК, а какой-то другой вариант анализа данных совершит большой прорыв в биологии. Но развитие всегда идет поступательно, мы пробуем и ошибаемся. Каждый шаг на этом пути имеет большую ценность.

Я уже пару раз тут восхищался, насколько упрощает разработку кода ChatGPT. Кажется, уже проще некуда. Так я думал, пока не попробовал сегодня поставить курсор...

В общем теперь у меня одна проблема - я просто не успеваю запоминать переменные с такой скоростью, с которой код пишется )) оказывается, пока я писал хотя бы первые буквы их названия, мозг запоминал их.

Мой брат развлекается тем, что берёт интервью у людей разных профессий - и вот добрался до меня. Большинство читателей канала, как я понимаю, сами работают в науке. Но остальным может быть любопытно, как проходит день научного сотрудника. Публикую тут одну запись из этого интервью. Целиком оно получилось длинным - записывали его больше чем несколько месяцев, в основном во время долгих перелётов. Прочитать полную версию можно тут.

3️⃣Расскажи, чем ты занимаешься?

Работа в науке разнообразна и многогранна — за это я её и люблю. На разных уровнях и в зависимости от желания можно заниматься почти чем угодно.

Главное и первое, что делает учёный, — это читает статьи, ставит эксперименты и/или анализирует их результаты. Читаю я почти каждый день: иногда бегло просматриваю резюме статьи, а иногда (гораздо реже) вникаю в детали.

Эксперименты биологи делят на "сухие" — когда мы что-то обсчитываем на компьютере, и "мокрые" — когда работаем с пробирками в лаборатории. Как правило, есть чёткое разделение труда: "сухие" специалисты не занимаются "мокрыми" экспериментами и наоборот, хотя бывают исключения. Я сам уже давно не провожу "мокрые" эксперименты, но периодически занимаюсь анализом данных.

Самое интересное — это анализ, обсуждение и интерпретация результатов, а также планирование новых экспериментов. На это уходит примерно 40–50% моего времени.

Почему только 40–50%? Потому что суровая реальность требует от учёного заниматься не только научной работой. Организация современной науки во многом напоминает небольшой бизнес. Ты сам ищешь финансирование для своих исследований — а это значит, что мало придумать великую идею, нужно ещё изложить её в привлекательной для фондов форме и попытаться заинтересовать компании.

Если (когда) деньги получены, начинается управление проектом: подбор команды сотрудников и коллабораторов, контроль бюджета, закупка оборудования, решение проблем с ремонтом, валютными платежами контрагентам, юридическим оформлением договоров. Нужно разбираться в кадровых вопросах, учитывать налоги, заниматься отчётностью. В результате я неплохо знаю тексты нескольких федеральных законов, десятки медицинских нормативных актов, основы трудового кодекса и понимаю, чем ноу-хау отличается от патента. Конечно, в этих задачах помогают бэкофисы научных институтов, но они не погружены в специфику конкретного научного проекта, поэтому часто приходится вместе искать нестандартные решения.

А наука — это всегда про нестандартные задачи. Например, в больших организациях часто говорят: "Дайте нам список закупок на год вперёд в январе, мы всё организуем", или "Закупки закрываются 15 ноября и откроются только после Нового года". Но в науке так не работает! Сегодня ты получил результат, завтра у тебя появилась новая идея, а послезавтра тебе нужен реактив. Приходится искать легальные (и, чего греха таить, иногда и полулегальные) пути решения.

Сначала мне было интересно разбираться в бухгалтерии, юриспруденции, кадровых вопросах, но со временем эта работа стала утомлять.

Другая "ненаучная" часть работы — организация команды и проектная деятельность. Когда группа расширяется до 3–4 человек, неизбежно приходится выстраивать менеджмент. В IT-компаниях все привыкли к таск-трекерам, синкам, мессенджерам, собеседованиям, дедлайнам, корпоративной этике, но в науке с этим полный хаос.

Отдельный вопрос — нужны ли в науке большие группы или эффективнее работать микроколлективами, сфокусированными на своей проблеме. Мне кажется, что для решения определённых задач крупные коллективы полезны, но научный менеджмент нужно развивать — сейчас он в ужасном состоянии. Однако копирование бизнес-моделей не всегда работает. Например, в первые месяцы работы в лаборатории Сбера нам ставили задачу так: "Распишите в таск-менеджере действия на полгода, которые приведут к публикации в Nature". Но научный поиск не строится по такому плану: попробовал — посмотрел результат — дальше возможны десятки направлений, которые невозможно распланировать заранее.

Тем не менее, базовые вещи, такие как регулярные синки, назначение ответственных за задачи, обратная связь сотрудникам, контроль зарплат — точно не помешают ни одной лаборатории.

Менеджмент в группе мне всё ещё интересен. Я придумал (или, скорее, подсмотрел) много идей, которые пробую внедрять, и считаю, что руководитель в науке должен заниматься этим.

Заполняю планы по публикациям для институтской отчетности. В этом году мы переходим на "белый список журналов" - для тех, кто не в курсе, это РАН совместно с Минобром отрейтинговало все журналы, чтобы не использовать данные из зарубежных систем цитирования (вроде WOS/Scoupus).

Посмотрел рейтинги журналов, в которых мы публикуемся. Для высокоимпактных журналов все логично, они все относятся к 1ой категории. А вот с более низким уровнем что-то странное, например

NAR Genomics & Bioinformatics, Scopus Q1, IF~4 - во 2ой категории
При этом ВОГиС - Scopus Q2, IF<0.5 - в 1ой категории.

Ну ладно, можно предположить, что мы поддерживаем отечественные журналы. Но тогда почему Биохимия, самый высокоимпактный Российский журнал по биологии (Scopus Q2 и IF~2.5) - относится ко 2ой категории?

Upd: в комментариях объяснили логику. У Биохимии издатель зарубежный, так что ее рейтингуют как зарубежный журнал, а у ВОГиС - Российский издатель, его рейтингуют в сравнении с журналами РФ

Раньше в этом канале я не раз писал о языковых моделях ДНК и наших наработках в этой области. Больше у спасибо журналистам коммерсанта и коллегам из AIRI, которые помогли сформировать основные вопросы в этой области простым и понятным языком.

#зоопарк_одобряет

У «Ъ-науки» вышло большое интервью о GENA и биоинформатике с Вениамином Фишманом, доктором биологических наук, ведущим научным сотрудником группы «Биоинформатика» Института AIRI и Института цитологии и генетики СО РАН.

Фишман подробно рассказывает о первой российской нейросетке, обученной обрабатывать длинные последовательности ДНК. Разработчики GENA обучили нейросетевую модель на полной сборке генома человека и выложили ее в открытом доступе. За это время GENA из одной модели стал «семейством», а в конце января ученые AIRI опубликовали статью о разработке в Nucleic Acids Research (IF 16.6).

GENA уже сейчас способна обрабатывать входные данные длиной до 36 000 пар оснований, и благодаря интеграции недавно разработанного механизма рекуррентной памяти этот показатель можно еще нарастить.

Для интересующихся разработкой уже открыт веб-сервис https://dnalm.airi.net, в который можно ввести последовательность ДНК и получить несколько типовых аннотаций, чтобы прикинуть, насколько такой инструмент может вам вообще пригодиться. Чтобы выжать максимум функционала, потребуются навыки программирования и биоинформатики, но в целом все модели максимально упрощены в использовании. Все необходимое лежит в репозиториях на платформах Hugging Face и GitHub.

Читать тут: https://www.kommersant.ru/doc/7550813