Когда-то на этом канале была дискуссия о пользе перетренировки ДНК-моделей. Сегодня встретил автора этой работы. И стало все понятно - он говорит не, ну перетренировка конечно помогает, но я из области computer vision, у нас если меньше 30% прирост от претрены, то мы это за прирост не считаем )))

В общем нужно писать статью, что мы можем кошечек и собачек по ДНК различать, а все эти +3% на задаче сплайсинга людей не впечатляют )

ИИ делает все. Например, один из трендов - распознавание эмоций при общении и "подстройка" робота под ваш эмоциональный статус. Из практических применений - робот-зайчик, который смог получиться с ребёнком с тяжёлым аутистическим расстройством и успокаивает его, когда тот плохо себя чувствует.

И вишенка - вот тут нейросеть учат... Нюхать!

У нас новая ДНК-модель - modernGENA!

modernGENA - продолжение GENA-LM на кодбазе modernBERT. Эта модель быстрее, поддерживает более новые версии библиотек и выдает лучшие результаты на всех задачах, которые мы пробовали.

Если вы используете трансформеры для процессинга последовательностей ДНК - попробуйте использовать modernGENA для ваших экспериментов.

Я написал примеры кода - как затюнить modernGENA для предсказания позиций пиков или уровня сигнала ChIP-seq для вашего любимого трека ENCODE.

Скачать: GitHub & Huggiface
Статья: bioxriv

Мы постарались сделать modernGENA максимально эффективной и делешвой для файнтюна. Модель претренили на районах [-16 kbp, +8 kbp] вокруг TSS позвоночных (443 вида), чтобы она видела меньше повторов и больше регуляторных последовательностей.

Доступны две версии:

- base (135M params)
- large (377M params)

Технические детали:

- энкодер
- кодбаза ModernBERT
- позиционки RoPE
- гибрид local/global attention
- pre-norm transformer blocks
- GeGLU feed-forward layers
- end-to-end unpadding (автоматически убирает не нужные PAD-токены, что ускоряет вычисления)
- FlashAttention
- поддержка torch.compile

Если вы на ICLR - приходите в понедельник к нашему постеру, мы расскажем вам про ModernGENA и про другие работы, основанные на этой модели!

Где можно будет нас найти:

- FM4Science 4:00 PM – end
- MLGenX 3:40 PM – end
- Gen2 4:10 PM – end

Бразильский вайб

Представляем наши работы

Прощаюсь с Рио и лечу в Сан-Паулу. Впереди серия лекций и семинаров в крупнейшем университете латинской Америки.

Приятно удивлён внутренним аэропортом Рио (международные рейсы отсюда не выполняются). Прямо в черте города, никакой толкучки, все очень удобно. И даже на час полёта Рио-СП на борту бесплатный интренет.

Просто случайное место вечером накануне праздника в Сан-Паулу.

Будущее наступает!

Мы сделали модель, в которую можно текстом написать какой тип клеток вы исследуете, ввести последовательность вокруг TSS - и получить предсказание экспрессии! Никаких знаний биоинформатики не требуется, просто нажать две кнопки в нашем веб-сервисе! Подробную инструкцию можно посмотреть в этом видео.

Эту модель мы сделали в AIRI на основе гибрида ДНК-энкодера (modernGENA, я про нее недавно рассказывал) и LLM, тренировкой на большом массиве данных из GEO, Encode и других источников.

Мы в процессе подготовки большой статьи и это не финальная версия модели - мы прямо сейчас активно ее дорабатываем, но пока хотим получить обратную связь от потенциальных пользователей - чего не хватает, что улучшить. Пишите в поле Send Feedback на платформе или в комментарии!

С огромным удовольствием принял участие в XXI Ершовских лекциях.

Нужно сказать, что лекции А.П. Ершова по физике (вместе с лекциями Г.М. Дымшица по биологии) стали для меня, школьника 9 класса, путеводителем в мир "настоящей" науки.

К сожалению, мы только читали лекции А.П. Ершова - в живую послушать мне его не довелось. Но написаны лекции были блестяще, и зачитаны до дыр при подготовке к экзаменам. До сих по с теплотой вспоминаю наши посиделки с одноклассниками и первый восторг, когда после получаса напряженной мысленной работы мы наконец соединяем две строчки с формулами, между которыми написано стандарное Ершовское "из этого очевидно, что..."

П.С.: Коллеги поправляют меня - лекции по физике написаны Александром Петровичем Ершовым, специалистом по физике взрывов. А Ерошские лекции посвящены Андрею Петровичу Ершову, первому советскому программисту. Вот такое совпадение.

15 мая в Новосибирске прошли XXI Ершовские лекции , посвящённые памяти выдающегося информатика академика Андрея Петровича Ершова, проводимые в год 95-летия со дня его рождения, где с лекцией выступили Иван Валерьевич и Вениамин.

В рамках визита провели встречи с руководством НГУ и ИСИ СО РАН, обсудили возможность совместных проектов и организации лаборатории. На мероприятии Институт AIRI и Институт систем информатики им. А.П. Ершова подписали Соглашение о научном сотрудничестве.

Планируются исследования в сфере создания генеративных и иных моделей ИИ (трансформеры с механизмом внимания, диффузионные модели, state-space models и др.) в области генетики и вирусологии; исследование возможности разработки алгоритмов анализа систем, моделируемых булевыми функциями с использованием технологий AI, решения прямых и обратных задач для синхронных сетей Кауфмана, используемых для моделирования динамических процессов.

Отдельная благодарность Илье и Андрею за лидирование этого сотрудничества.

*На фото c Иваном директор ИСИ СО РАН – Андрей Пальянов.

#Партнерства_AIRI

Президиум РАН подготовил доклад о состоянии дел в науке, в нем приведен список из 38 организаций с наибольшим количеством выполняемых проектов РНФ в 2025 году. Большинство из них ВУЗы (первое место - МГУ, второе - СПбГУ, третье - МФТИ и так далее), что понятно - в зачет идут гранты по всем наукам.

Из НИИ нашего профиля в список попали:

1. Институт биоорганической химии им. академиков М.М. Шемякина и Ю.А. Овчинникова РАН - 17 место
2. ФИЦ Биотехнологии РАН - 20 место
3. ИЦиГ СО РАН - 28 место
4. ИМБ имени им. В.А. Энгельгардта РАН - 30 место
5. Институт цитологии РАН - 31 место

НГУ (по всем наукам) занял 21 место, из институтов Сибирского отделения выше ИЦиГ только ИНХ СО РАН, который занял 23 место, так же в список попал Институт катализа - 32 место и Красноярский научный центр - 36 место.

Безусловно, количество грантов не равно объему средств - у нас, например, много небольших проектов. Тем не менее, эта статистика отражает качество науки.

* по информации из рассыки ИЦиГ СО РАН. Для интересующихся - приложил документы в комментарии.

Сегодня я веду заседание кафедры цитологии и генетики НГУ, в рамках которого провожу эксперимент - прошу ChatGPT на основе материалов доклада задать каждому студенту вопрос. Я не требую от студентов ответ на этот вопрос - озвучиваю его для самостоятельного обдумывания и подготовки. Ответы требую только на вопросы кожаных членов кафедры.

Статистика: в 3х случаях из 10 вопрос GPT в точности совпал с вопросом членов кафедры.

Кажется, пора вводить этот метод в официальную практику.

Сегодня пытаемся получить культуру клеток из ланцетника. Кстати, вы знали, что они светятся в ультрафиолете?