RunWay ML выпустили Video-to-Video

RunWay ML - стартап, который можно описать как Голливуд для бедных (с AI и другими радостями машинного обучения) - выпустили нейросеть, которая может стилизовывать видео. И что круто, без всяких подергиваний и кислотного трипа.

Модель называется Gen-1 (про нее рассказывают начиная с 38 секунды видео), что намекает нам на то, что со временем качество будет только улучшаться. Пока модель в бета-тесте, подать заявку на ее использование можно тут.

🎥 Сайт продукта

Мое предположение: Bard умеет оценивать собственную уверенность в ответах (скорее всего через какой нибудь sampling uncertainty, типа masksembles)

Вот это чел только uncertainties и robustness занимается

https://twitter.com/dustinvtran/status/1622720476002021376?s=46&t=A6lQj2TZZX1Rh1hZ2hfqSA

P.S.: хотя я бы его Bart лучше назвал, можно было бы шкодливость некую оправдать

BioGPT - SOTA модель для четырех биомедицинских NLP задач

О главном: нет, BioGPT не напишет вместо вас научную статью.

BioGPT - большая языковая модель от Microsoft с архитектурой GPT-2-medium, у BioGPT-large в основе GPT-2 XL.

Pretraining: модели обучены с нуля на 15-миллионном корпусе абстрактов PubMed.
Словарный запас: специфичен для биомедицинского домена и справляется с терминологией, даже если это редко используемые аббревиатуры в духе R2-D2🤖 и C3-PO🟡🤖
Fine-tuning: можно решать задачи сквозного извлечения связей, ответов на вопросы (как в PubMedQA), классификации документов (например, по ныне известным 10 признакам рака) и очень ограниченно - для генерации текста.

Теперь это SOTA модель для:
извлечения связей между
▪️лекарством и биологической целью
▪️патологией и ее биохимией
▪️лекарствами
и ответов на вопросы (точность BioGPT-large 81%), но требует промпта в формате <вопрос>, <контекст>, <цель>.
Btw, генерации (и галлюцинации) очень релевантные

📖Статья
🤗 Модели (демо, QA)
@GingerSpacetail

Следить за презентацией Microsoft + OpenAI можно тут

в комменты вставлю пару цитат с того, что говорят

Трансформер для универсальной сегментации картинок

Авторы предлагают использовать OneFormer, универсальную систему сегментации изображений, которая объединяет сегментацию с многозадачным обучением.

Сначала они тренируют сетку на ground truth каждой области (семантическая, инстансная и паноптическая сегментация) в рамках одного многозадачного процесса обучения.

Затем добавляют специальный токен для каждой задачи, что позволяет сделать модель динамичной и многозадачной.

После этого используют контрастный лосс между запросом и текстом во время обучения, чтобы установить лучшие межзадачные и межклассовые различия.

Примечательно, что OneFormer превосходит специализированные модели Mask2Former во всех трех задачах сегментации на ADE20k, Cityscapes и COCO, несмотря на то, что последняя обучалась на каждой из трех задач отдельно с использованием в три раза большего количества ресурсов.

📙 Статья
🐙 Проект

Карпаты возвращается в OpenAI

tweet

Transformers learn in-context by gradient descent

Трансформеры стали самой современной архитектурой нейронных сетей во многих областях машинного обучения. Отчасти это объясняется их выдающейся способностью к контекстному обучению на небольшом количестве примеров. Тем не менее, механизмы, с помощью которых трансформеры становятся обучаемыми в контексте, недостаточно хорошо изучены.

Авторы исследования утверждают, что обучение трансформеров на авторегрессионных задачах может быть тесно связано с известными формулами метаобучения на основе градиента.

Они начинают с простой конструкции весов, которая показывает эквивалентность преобразований данных, вызванных 1) одним линейным слоем self-attention и 2) градиентным спуском (GD) на регрессионных потерях.

В статье показывают, как обученные трансформеры реализуют градиентный спуск в своем прямом проходе. Это позволяет понять внутреннюю работу оптимизированных трансформеров, которые обучаются в контексте.

📖 Статья

Новый клип Linkin Park нарисовала нейросеть.

Нейросеть нарисовала клип на до этого неизданную песню Linkin Park.

В кредитах к клипу указан целый отдел AI production. Вот так вот неожиданно будущее добралось даже до самого духа предыдущего поколения.

Клип

То ли ирония судьбы, то ли жесткий сарказм. Есть такой сервис Quora, смысл которого в том, что человек приходит туда с вопросом, а считающие себя экспертами люди ему отвечают.
Так вот этот сервис запустил своего чат-бота про имени Poe, чтоб на вопросы отвечал он :) И делает он это мгновенно и всегда. А ответа людей приходится подчас ждать долго, и можно вовсе не дождаться.
Несколько обескураженый журналист поинтересовался у основателя глубоко социального по сути своей сервиса, зачем он так. И получил ответ, суть которого сводится к тому, что Adam D’Angelo всегда восторгался потенциалом ИИ, но пока тот был во младенчестве, он дал людям костыль в виде возможности спрашивать друг у друга.
Разумные замечания с его стороны: Бот может соврать, но он всегда предваряет это дисклеймером, что может ошибаться. Люди уверенно несут чушь и крайне редко сообщают, что способны ошибиться.
Интересно, какой процент экспертов Quora согласится принять участие в обучении бота; Адам подчеркивает, что без разрешения авторов он не станет использовать их ответы для дообучения.
А пока журналист грустит на тему ситуации:
A company whose very foundation was built upon connecting humans with each other to share knowledge is now pursuing a model where people turn not to each other, but to robots for their answers. 
https://www.wired.com/story/plaintext-down-the-chatbot-rabbit-hole/

Хорошая статья на Нью-Йоркере, под названием ChatGPT - это размытый JPEG всего интернета

Статья

Масштабируем трансформеры для компьютерного зрения до 22 млрд параметров.

Существует огромный резерв для улучшения возможностей наших моделей зрения, особенно учитывая уроки, которые мы извлекли из LLM. Авторы представляют ViT-22B, крупнейший на сегодняшний день backbone для компьютерного зрения.

Они делятся рецептом очень эффективного и стабильного обучения масштабных ViT с впечатляющими результатами. Авторы надеются вдохновить усилия по масштабированию моделей зрения и объединить высококлассные модели зрения с лучшими LLM, что станет важным шагом в развитии ИИ (всем бы еще их бюджет на вычисления выделили).

📖 Статья

ChatGPT показал высокие результаты в медицинском тесте (USMLE)

Мы недавно писали о BioGPT и вот ещё одна новость про LLM в медицине.

USMLE - это тест в США, который должны пройти врачи, чтобы получить разрешение на медицинскую практику.

ChatGPT набирал в нём в среднем 60%, что соответствует проходному баллу, и таким образом превзошёл предыдущую модель PubMedGPT, у которой в среднем было 50% (правда на другом датасете).

Но самое интересное то, что PubMedGPT была дообучена на медицинских корпусах, в то время как ChatGPT использовался как есть без дополнительных промтов.

Экзаменаторы также отметили высокую точность и корректные объяснения (правда на более сложных этапах теста частота таких ответов снижалась)

📖Статья
@karray

GLAZE - инструмент для "маскировки стиля"

Не успел утихнуть шум вокруг NoAI в сообществе художников, как подвезли способ “защитить” свой арт от копирования.

Мы уже много слышали об одежде, которая сделает вас невидимым для ИИ (и для беспилотных авто) и тут авторы используют похожий подход.

Идея проста - “маскировка” добавляет к изображениям незаметный глазу шум. При обучении на таких данных, модели вместо стиля “жертвы” (так авторы называют художников) будут учить ложные стили, заложенные в этот шум.

Вообще, авторы много внимание уделяют тому, что чуть ли не каждый пытается украсть у независимых художников их стиль и то время, которое они потратили на приобретение навыка, ушло в пустую, потому что каждый может сгенерировать арт в их стиле за секунды. Но они не затрагивают позитивную сторону - генеративные модели могут служить вдохновением или ассистентом для упрощения работы.

Прочитав интро этой статьи, любой художник, который не сильно разбирается в ИИ, обязательно захочет застраховаться. А между тем, такая “маскировка” может подложить свинью в датасеты, в то время как человечество стоит на пороге дефицита данных и это - плохая новость.

📜 Статья
@karray

GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models

А теперь к техническим деталям. Предложенный подход был явно вдохновлен Adversarial Attack. Но в отличие от прямого вычисления градиента в сторону другого стиля, авторы используют предобученную диффузионную модель (ха-ха, обратим диффузию против себя) для трансформации стиля “жертвы” в ложный стиль (например, Пикассо).

Затем они извлекают эмбеддинги (например, используя предобученный VAE) из оригинала и измененного изображения и вычисляют нужный шум, минимизируя L2 норму между ними, сохраняя при этом визуальное сходство с оригиналом, используя LPIPS регуляризацию.

Таким образом можно локализовать специфичные признаки стиля в виде шума, который подмешивается к оригинальному изображению. Если мы зафайнтюним нашу модель на таких изображениях, при текстовом запросе “котик в стиле X” мы получим котика в стиле Y.

Авторы утверждают, что Adversarial Attack - не оптимальный подход, но между строк читается, что у них не хватило сил на тренировку классификатора стилей и ресурсов для вычисления градиент напрямую (диффузионные модели очень ресурсоёмкие).

Весь их пайплайн построен на предобученных моделях, что выглядит как выстрел в ногу, учитывая цель “маскировки”.

📜 Статья
@karray

Вышел GitHub Copilot для бизнеса

GitHub Copilot - первый в мире масштабный инструмент для разработчиков ИИ, и теперь его предлагают каждому разработчику, команде, организации и предприятию.

Новые возможности:

* Более мощная модель искусственного интеллекта: Новые алгоритмы моделирования улучшают качество предложений по коду.
* Фильтрация уязвимостей безопасности на основе ИИ: GitHub Copilot автоматически обращает внимание на hardcoded учетные данные, SQL-инъекции и на кучу других опасных моментов.
* Поддержка VPN-прокси: GitHub Copilot работает с VPN, в том числе с самоподписанными сертификатами, поэтому разработчики могут использовать его в любой рабочей среде.
* Простая регистрация: Любая компания может быстро приобрести лицензии Copilot for Business онлайн и легко назначить места - даже если она не использует платформу GitHub для своего исходного кода.

Стоит эта радость 19$ за пользователя

Подробности тут

Андрей Карпаты анонсировал умного ассистента от Open AI. Звучит очень резонно, учитывая работы open-source сообщества по Open Assistant.

Иллюстрация к современным чат ботам. Вот так это выглядит на самом деле 😂

Как должен себя вести AI?

OpenAI опубликовали блог-пост, в котором описывается поведение и процесс настройки и файнтюнинга системы искусственного интеллекта ChatGPT. Цель этого блог-поста - ответить на обоснованные опасения пользователей по поводу предвзятых, оскорбительных и неприемлемых результатов, а также разъяснить, как формируется и совершенствуется система ChatGPT.

Нейронная сеть проходит этап предварительного обучения для изучения грамматики, фактов и рассуждений, а затем подвергается файнтюнингу на более отобранном наборе данных.

В посте подчеркивается приверженность OpenAI к устранению предвзятости и прозрачности своей политики, а также приглашается общественность к участию в принятии решений. OpenAI изучает способы улучшения процесса и стремится обеспечить доступ, преимущества и влияние ИИ и AGI на благо всего человечества.

Блог-пост

ARTINA для определения стуктуры белка по МР спектру

Предсказывать структуру белка по последовательности, безусловно, важно. И бесценно "увидеть" эту структуру во время эксперимента.

Основным методом структурной биологии с коллекцией из более 11 800 белковых структур является уже знакомая ЯМР спектроскопия.
Ее мощные возможности ограничены, мягко говоря, утомительным процессом анализа данных.

ARTINA позволяет автоматизировать анализ спектров белка и занимает нескольких часов (после завершения измерений, что тоже очень небыстрая процедура).

Учёные из Цюриха, Франкфурта и Токио использовали целый арсенал МЛ инструментов:
детекция объектов pp-ResNet для определения положения пиков,
деконволюция deconv-ResNet для перекрывающихся сигналов,
оценка плотности KDE для реконструкции исходных положений пиков,
графы GNN для оценки химического сдвига,
деревья GBT для выбора структуры.

Теперь лаборатории могут сфокусировать усилия на подготовке образца и измерениях спектров.

🖲Код
🌐Сайт
📖Статья
@GingerSpacetail

Краткий ликбез по self-supervised learning (SSL)
(под недавними постами несколько людей спрашивали, что это такое. Плюс, следующий пост тоже будет посвящен модельке для SSL)

В двух словах, self-supervised learning — это когда мы учим модельку понимать что-то о природе данных (или даже решать какие-то осмысленные задачи) на данных без разметки.

Подробнее:
Возьмем задачу классификации картинок. Обычно, чтобы научить модельку решать эту задачу, вам нужны данные вида (картинка, класс). То есть, нужно собрать датасет из кучи картинок, где каждая картинка размечена, т.е. к каждой картинке известен ответ: что на ней изображено. Обучение моделей на таких датасетах с разметкой называется supervised learning .

Собирать датасеты для supervised learning сложно, долго и дорого. Есть разные способы, как это делать. Самые распространенные — такие:
✔️ посадить живых людей размечать данные. Это позволяет получить довольно "чистый" датасет (без явных ошибок в разметке), но очень долгий и дорогой. А если вы хотите сэкономить и мало платить разметчикам, это может вызвать скандал. Вот с OpenAI недавно был: они платили всего $2 в час людям, которые выявляли "неподобающий" контент среди того, что генерирует ChatGPT;
✔️ собрать данные с разметкой из интернета автоматичеки. Например, для той же задачи классификации можно сделать так: вбиваем слово "песик" в гугл и скриптом скачиваем все выданные картинки. Этот подход намного проще и дешевле, чем первый, но у него тоже есть явные недостатки:
- данные получаются довольно "грязные". На запрос "песик" вы можете получить картинки далеко не милых собачек. Например, вот эта картинка выдалась мне на четвертой строке картинок в гугле по запросу "песик" =)
- данные в интернете могут быть защищены авторскими правами. Использование таких данных для обучения моделей, кхм, не приветствуется.
- этот способ подходит не для всех задач. Для классификации или генерации картинок по текстовому описанию понятно, как собрать датасет (см. LAION, на котором обучалась Stable Diffusion). А вот с сегментацией, например, все сильно сложнее.

Короче говоря, собрать датасеты с разметкой сложно. Поэтому активно развиваются исследования в области self-supervised learning. Это когда вы учите нейросеть на данных, к которым разметки нет.

Пример self-supervised learning — обучение языковых моделей типа GPT-3. Для них нужны просто куча текста и никакой разметки. Модель учится предсказывать следующий токен на основе предыдущих.

Надо сказать, что для задач, связанных с картинками, придумать self-supervised подходы довольно сложно. Что-то типа языковой модели не прокатит. Вот примеры SSL-подходов для картинок:
- делаем аугментации картинок из трейн сета (повороты, блюр, закрываем часть картинки и т.п.) и учим нейросеть выдавать одинковые ответы на одни и те же картинки, аугментированные разными способами;
- Masked AE: закрываем рандомные части картинок и учим автоэнкодер(AE) восстанавливать эти части.
При обучении подобным образом нейросеть начинает "понимать" что-то о природе картинок и объектов на них, и затем эти ее знания можно использовать в других задачах. Например, можно дообучить такую сеть на задачу классификации картинок. И для этого понадобится намного меньше размеченных данных, чем для обучения сети на эту задачу "с нуля". Про Masked AE я даже пост писала, вот тут.

На SSL, получается, еще можно смотреть так: SSL — это когда у вас есть неразмеченные данные, и вы на них придумываете псевдо-supervised задачу. Придумываете таким образом, чтобы сеть в процессе обучения выучила что-то полезное.

Ну и, стоит сказать, что есть подходы "между" supervised и self-supervised:
- semi-supervised learning. Это когда часть данных для задачи размечена, а часть — нет;
- weakly-supervised learning. Это когда данные размечены, но разметка очень "грязная" (слабая) или местами неполная.

Как-то так. В завершение рекомендую почитать этот пост про self-supervision в блоге Александра Дьяконова.