Как нейрокартинки стали монетизировать?

Мы постоянно видим новости о Stable Diffusion, Midjourney и DALL-E 2. Поэтому мне стало интересно, какие компании и стартапы уже активно зарабатывают на них деньги. Вот что я вспомнила из свеженького.

— Французский сервис для обработки изображений PhotoRoom недавно привлёк 19 млн долларов от инвесторов. Мобильное приложение умеет делать из любой фотки конфетку: оно мастерски удаляет фон, вместо которого можно подставить любой задник (смотрите, как это выглядит). Очень удобно для тех, кто продаёт свои товары в интернете — можно сэкономить на фотографе.

Подписка стоит 10 долларов в месяц или 70 долларов в год. Разрабы говорят, что у них уже «сотни тысяч» подписчиков.

— Популярный у художников и фотографов DevianArt тоже прикрутил к себе на сайт ИИ-генератор изображений под названием DreamUp со Stable Diffusion под капотом. У пользователей есть пять бесплатных попыток нагенерировать шедевр.

Если хотите больше — платите за подписку Core (от 4 до 15 долларов в месяц). Правда, и там будут ограничения: до 300 попыток в оплаченный период.

— Один из крупнейших фотобанков Shutterstock будет продавать картинки, сгенерированный нейросетью. Для этого компания запартнёрилась с OpenAI — то есть на хостинге будут лежать изображения от DALLE-2 (в то время как контент из Midjourney, SD и других останется под запретом). Зато авторы нейрошедевров будут получать отчисления за каждый проданный снимок. А заодно какие-то деньги достанутся даже тем, на чьих фотках тренировалась нейросетка.

Энтузиаст создал ИИ-сервис для оценки эмоционального окраса сообщений в Twitter и новостных заголовках

Инструмент называется Twemotion. Он каждый день случайным образом выбирает популярные темы, а также связанные с ними твиты и посты в блогах. Пока алгоритм собирает информацию только на английском языке. Зато анализирует её в четырёх странах — США, Канаде, Великобритании и Австралии.

Как работает?

Если вкратце про методологию, то твиты и заголовки передаются в ParallelDots AI Emotion Prediction API. Там эмоции автоматически классифицируются по категориям: страх, радость, грусть, гнев, возбуждение и скука. Результат — усреднённая оценка от 0 до 100 баллов. Подробнее автор описал здесь и здесь.

Зачем это нужно?

Как говорит разработчик, в последние годы СМИ критикуют за то, что они стали «оторваны от простых людей» и аффилированы со спонсорами. Поэтому пользователи соцсетей и блогеры могут воспринимать события не так, как их представляют в онлайн-изданиях.

Какие результаты?

Инструмент запустили только в конце сентября, поэтому данных для анализа пока немного. Но уже видно, что заголовки и твиты вызывают практически идентичные эмоции. Конечно, в некоторые дни картина не такая однозначная, но в среднем паттерны повторяются.

Одно из возможных объяснений этому — содержание многих популярных твитов определяется теми же изданиями, чьи заголовки анализировал алгоритм. Ведь СМИ и журналисты часто публикуют анонсы статей в соцсетях, и эти посты набирают вирусную популярность: их репостят, комментируют и переписывают. К тому же в Твиттере сидит много ботов (об этом сокрушался Илон Маск при первой попытке купить платформу).

Зато в блогах ситуация сильно отличается. Судя по графикам, у авторов своих страничек иногда были полностью противоположные эмоции, если сравнивать с журналистами и микроблогерами.

Нашла удобное приложение для тех, кому лень считать

Оно называется CountThings from Photos (есть и на винде, и на обеих операционках для смартфонов). Скармливаешь фотку и прога показывает, сколько на ней запечатлено предметов одного типа.

В первую очередь сервис, наверное, подойдёт для строителей и всех, кому нужно работать с большим количеством деталей. Благо для них тут есть десятки шаблонов подсчётов — можно узнать количество листов арматуры, разных стержней, гвоздей, уголков, балок, труб, брёвен и кучи других материалов.

Но в целом CountThings справляется практически с любой задачей — может подсчитать и количество монет на столе, и микробов на снимке с микроскопа, и поголовье овец на пастбище (да, здесь есть даже такой шаблон).

Из плюсов: можно использовать уже готовые фотки. Из минусов — количество бесплатных подсчётов ограничено. А платная версия довольно дорогая, лицензия стоит почти 11 тысяч рублей в месяц.

Вот как сервис справился с рассыпанными на столе таблетками, подсчёт занял примерно секунду.

Знакомства пост

Друзья, всем привет!

Вас с каждым днем становится все больше, а это значит, что в канале прибавляется новых людей, которым небезразлична тема искусственного интеллекта и новейших технологий. Спасибо, что заглянули, что вы с нами, со мной!

Давайте познакомимся немного поближе! В своем канале я даю много разной информации, но если коротко, то можно выделить несколько направлений:

— Новости про ИИ
ML, всевозможные нейросети, суперкомпьютеры, полезные сервисы и интересные исследования.

— Подборки
От научных и художественных книг до сервисов, сериалов, нейросеток и телеграм-каналов. Всё, что мне кажется полезным, и чем искренне хочется поделиться.

— Интервью и колонки экспертов
Здесь вы найдете тезисные переводы интересных зарубежных материалов.

— Капелька развлекательного контента
Собираю самые необычные картинки с генеративных нейросеток, а иногда делаю их сама (я про картинки, если что).

Надеюсь, что мы с вами надолго вместе, потому что вишенкой на торте станет то, что скоро здесь будет много мощной инфы про AIJ — международной конференции по искусственному интеллекту.

Так что Stay Tuned, как говорится!

Что интересного будет на AIJ 2022 в первый день?

Организаторы постарались и позвали топовых спикеров по самым крутым темам в сфере искусственного интеллекта.

Вот только программа AIJ настолько плотная, что увидеть все выступления у вас точно не получится (если вы не Джонни Мнемоник, конечно). Поэтому лично я уже наметила себе примерный список того, что буду смотреть. Поделюсь им и с вами.

2️⃣3️⃣ ноября:

10:15 - 11:00 (AIJ SCIENCE)

📍«NLP и общество: взгляд на анализ чувств, эмоций и мониторинг психического здоровья»

11:15 - 12:00 (AI JUNIOR)

📍«Диалог с ИИ-талантами»

11:15 - 12:45 (AI4ESG)

📍 «Наука и искусственный интеллект на благо развития человечества — вызовы нового времени»

12:30 - 14:30 (AIJ SCIENCE)

📍 «Обучение и сжатие больших нейросетевых моделей»
📍 «GENA LM: языковая модель ДНК»

14:45 - 16:00 (AIJ SCIENCE)

📍 «Детоксификация текстов»

О нет, российские ученые в сфере AI и ESG устроят файт друг с другом выяснят, кто из них лучший!

Ребят, хотела рассказать про одну стоящую внимания активность в рамках международной конференции в сфере ИИ – Путешествие в мир искусственного интеллекта – AI Journey, которая проходит сейчас в Москве и закончится 24-го ноября. Так вот, сегодня, 23-го, с 13:30 до 14:30 в формате трансляции на сайте конфы пройдет «битва ученых» по темам ESG.

Что это такое?

Молодые ученые расскажут о том, как используются технологии ИИ\ML\Big data для решения глобальных проблем человечества, у каждого ученого будет только 10 минут, чтобы доказать свое превосходство, а потом зрители голосованием выберут лучшего из них.

А теперь к самому интересному, кто заявлен на битву и с какими темами. Когда я почитала про бэкграунд участников, поняла, что может получиться реально интересно.

— Радослав Нейчев (МФТИ) расскажет про распознавание активности и поведения человека

— Алексей Коровин из АЙРИ (AIRI) расскажет про поиск новых материалов с помощью ИИ

— Виктор Гомболевский, тоже из АЙРИ расскажет про ИИ в медицине

— Александр Галанов из ФБУ ВНИИЛМ (НИИСХ Северного Зауралья) расскажет про «искусственные глаза» из космоса в оценке Лесного фонда.

Круто! Напомни, где и когда смотреть?

23.11, стрим AI4ESG, на сайте конференции в 13:30 (до 14:30).

Где голосовать?

Здесь, а еще в самой трансляции будет QR-код на страничку. Голосовать можно будет до 27 ноября включительно. А 28 ноября уже объявят результаты на той же страничке, где будет проходить голосование.
Надо смотреть, без вариантов)

Выдыхаем)

Как алгоритмы NLP помогают анализировать чувства людей и мониторить психическое здоровье людей

Послушала выступление Пушпака Бхаттачария из Индийского технологического института в Бомбее (IIT Bombay) на конференции AI Journey. Рассказываю коротко, о чем он говорил.

— В мире психическими расстройствами страдает около 970 млн человек, но на каждые 100 тысяч населения приходится только один психиатр.

Есть платформы, где пациенты обмениваются информацией, но нужны также решения, которые помогают пациентам решить их проблемы: успокоить и понять их, посочувствовать им и выразить эмпатию. И тут как раз на помощь приходит ИИ!

— Алгоритмы NLP распознают и анализируют язык и содержание сообщений, а также эмоции пользователей. Исследователи из IIT Bombay взяли за основу известное колесо эмоций психолога Роберта Плутчика, которое включает восемь основных эмоций: печаль и радость гнев и страх, ожидание и удовольствие, принятие и отвращение. Они обучают алгоритмы распознавать эти эмоции в тексте и на картинках.

— По мнению Пушпака, очень важно научить машину выражать в общении с людьми эмпатию, потому что именно из-за отсутствия эмпатии люди часто ссорятся и обижаются друг на друга в сети.

Пушпак привел в пример диалог двух женщин в Whatsapp, одна из которых употребила в сообщении слово Nikaa, имея ввиду название большого магазина в Бомбее, а другая обиделась на нее, поскольку в бенгальском языке есть созвучное этому слово ругательство.

— Дальше Пушпак заговорил о сарказме. Эту эмоцию машине различить сложнее всего, так как ее трудно анализировать. В IIT Bombay над этой проблемой работают с 2000 года. Часто в саркастическом высказывании содержится скрытый смысл, который машина не сразу может различить, например, человек говорит: «Обожаю, когда меня игнорируют!»

При этом на самом деле, человеку совершенно не нравится, когда его игнорируют. В саркастическом высказывании может также отсутствовать логика, например: «Сейчас три утра. Я на работе. Ура! Ура!». Машине в этом случае трудно понять, чему так радуется человек.

— Ученые учат ИИ распознавать такую непоследовательность на фразах, которые не содержат сарказм, а потом меняют часть предложения так, чтобы сарказм появился.

Например, сначала показывают машине фразу: «Я люблю писать этот документ в 9 утра», а потом заменяют ее на фразу «Я люблю писать этот документ в 3 утра». Сравнивая две фразы, машина понимает, где есть сарказм, а где его нет.

— В целом, для распознания сарказма приходится подключать все механизмы: анализ языка и символов, расстояния между словами, распознавание настроения и даже измерение движение глаз человека, что тоже помогает понять его эмоции

— В заключение Пушпак сказал, что исследования будут продолжаться и дальше. Это поможет психологам не только лечить пациентов с больной психикой, но даже предотвращать самоубийства. Хотя надо помнить, что ИИ в этом деле лишь помощник, а не врач.

А что у нас с молодыми талантами?

На AIJ присутствуют не только матёрые ветераны ИИ-индустрии, но и совсем юные новобранцы. С интересом посмотрела сессию, в ходе которой школьники рассуждали о будущем искусственного интеллекта.

Своими мыслями поделились четверо ребят: победители международного конкурса по искусственному интеллекту для детей AIIJC 2021 Владимир Воробьёв (17 лет), Виктория Белая (15 лет), Ева Морозова (14 лет) и участник двух национальных чемпионатов по робототехнике Степан Филиппов (11 лет).

Чтобы вы понимали уровень компетенции юных талантов — 17-летний Владимир уже стажируется в Сбере. Там он создаёт ИИ-систему для обработки законодательных актов и внутрибанковских документов.

Школьников спросили, какими возможностями искусственный интеллект будет обладать к 2030 году. Участники обсуждения предположили, что к концу десятилетия алгоритмы смогут заменить людей в опасных профессиях, научатся осознанно общаться и начнут помогать в колонизации соседних планет.

Но 11-летний робототехник Степан выдал более мрачный прогноз — по его мнению, к 2030 году ИИ полностью заменит человека и людям останется лишь «целыми неделями валяться на кровати».

С юным визионером поспорил топ-менеджер Сбера Александр Ведяхин, который модерировал беседу. Он усомнился, что ИИ сможет заменить человека — тем более, что такую задачу сегодня даже никто и не ставит.

Люди сами ставят искусственному разуму задачи и устанавливают рамки, поэтому он должен стать нашим лучшим помощником, уверен топ-менеджер.

Когда сиквел лучше первой части: представлен Kandinsky 2

Ну никак не могла обойти стороной этот анонс на AIJ — представители Сбера и AIRI показали новую версию российской мультиязычной диффузионной модели Kandinsky 2.0 для генерации изображений.

И цифра «2» в названии отражает не только версию, но и количество параметров нейросети — 2 млрд! Её натренировали на объединённом датасете Sber AI и SberDevices из миллиарда пар «текст-изображение».

Почему вдруг диффузия? В 2022 году такие нейронки показали свои сильные стороны, они работают быстрее трансформеров, а результаты, зачастую, лучше. Я имею в виду не только картинки, но и синтез видео, аудио и даже 3D.

Говорят, модель умеет одинаково быстро и качественно обрабатывать запросы на 101 языке. Даже монгольский поддерживается — видели ещё где-нибудь такое? Можно составлять запрос на нескольких языках, и Kandinsky вас всё равно поймёт (пусть вы сами не поняли, что написали).

Картинки генерируются в 20 разных стилях. Поддерживается inpainting и outpainting. Если не знаете, что это — просто зайдите на сайт FusionBrain и поиграйтесь с нейросеткой. Не бойтесь, это бесплатно, даже регаться не нужно нигде.

AIJ 2022, день второй: за чем следить в первую очередь?

Я посмотрела программу AIJ и постаралась выбрать самые интересные стримы второго дня. Было, скажу честно, нелегко, в какой-то момент почувствовала себя ребенком в магазине сладостей, хочется всё, но всё не получится(

2️⃣4️⃣ ноября:

8:45 - 10:30 (AIJ SCIENCE)

📍 «Деловой завтрак «Как объединиться бизнесу для массового внедрения ИИ в отраслях?»

10:30 - 12:30 (AIJ SCIENCE)

📍 «Открытая платформа MedBench для задач искусственного интеллекта (ИИ) в медицине»
📍 «SEMA: платформа для решения задач иммунологии с использованием искусственного интеллекта»
📍 «Как врач принимает решение? Интерпретируемые модели МО в задачах диагностики на примере болезни Альцгеймера»
📍 «Автоматизация скоринга суставов у пациентов с ревматоидным артритом на рентгеновских снимках»

15:30 - 19:30 (SCIENCE & INDUSTRIES)

📍 «Система поддержки принятия решения при диагностике болезни Паркинсона»
📍 «Искусственный интеллект в промышленности: кейсы, барьеры и стимулы внедрения»
📍 «Цифровая трансформация производства. Как компьютерное зрение помогает сократить количество брака в металлургии»
📍 «Vision Transformers для оценки глубины: беспилотники и метаверс»
📍 «Гибридные модели искусственного интеллекта в индустриальных задачах»
📍 «Цифровой технолог на основе ИИ»
📍 «Оптимизация дизайна оборудования методами машинного обучения»

Как сделать токсичный текст нейтральным с помощью нейросетей?

Урвала минутку и написала для вас про вчерашнюю тему с AIJ, по ней выступил доцент центра технологий искусственного интеллекта Сколтеха Александр Панченко. Эксперт рассказал, как его команде удалось быстро, дёшево и эффективно обучить ИИ-модели «фильтровать» б̶а̶з̶а̶р̶ текст. Попробую кратко передать суть.

В чём проблема?

В интернете слишком много негатива, а существующие методы борьбы с ним не особо эффективны. Например, некоторые инструменты замазывают отдельные слова из списка запрещённых или целиком удаляют токсичные фразы и предложения. В худшем случае авторов такого послания ещё и блокирует — а это цензура, которой можно было бы избежать.

Технология детоксификации — хорошая альтернатива. Например, алгоритм может предложить пользователю переформулировать его высказывание, причём без потери начального смысла и стиля.

Какой подход предложили разработчики?

Предобученный парафразер текстов и специальные дообученные языковые модели, заточенные под определённый стиль. Этот подход не делает точечные замены — наоборот, он переписывает всё предложение, при этом переранжирует результаты своей работы в зависимости от токсичности или нетоксичности полученного результата.

Раньше такую работу сложно было провернуть, потому что не было подходящих параллельных корпусов (этим термином обозначают набор текстов — например, на языке оригинала и его перевод).

Из похожего был только корпус GIAFK, который позволял переводить неформальное высказывание в более официальное. А ещё были непараллельные корпуса, хоть и размеченные по тональности и по токсичности. А технология Сколтеха — ParaDetox — позволила быстро и дёшево создавать параллельные корпуса.

Панченко рассказал, что у его рабочей группы была гипотеза: не следует создавать модели, которые не основаны на параллельном корпусе, но следует создать технологию, которая позволила бы добыть такой корпус.

Критерии для сбора корпуса

— На каждую токсичную фразу должны приходится 1-3 перефразирований
— Стиль и посыл сообщения должны оставаться нетронутыми
— Тексты должны быть грамматически корректными

С какими проблемами столкнулись?

Из датасета пришлось удалять выражения, которые невозможно заменить эквивалентами. Например, расистские и националистические высказывания.

Как определяли токсичность текстов для датасета?

С помощью краудсорсинга:

— На первом этапе пользователям предлагали перефразировать токсичные фразы в тексте.

— На втором другие юзеры проверяли, является ли парафраз эквивалентным по смыслу.

— На третьем проверяли, не остался ли финальный вариант токсичным.

— Процедуру повторяли несколько раз для русского и английского языков, чтобы в обучающую выборку попали только идеальные примеры.

Все данные доступны бесплатно на GitHub. Их может использовать любой желающий.

Сколько стоили эти корпуса?

Очень дёшево. На английский датасет ушло $811 а на русский ещё меньше — потратили всего $680.

Какие ИИ-модели использовали?

Основой экспериментов стали глубокие предобученные модели на базе архитектуре трансформер — это GPT-2, T5 и BART.

Какие итоги?

Подходы на основании глубоких предобученных моделей на базе корпуса ParaDetox значительно превосходят все альтернативные подходы к решению проблемы, считают разработчики.

Панченко рассказал, что данным экспериментом на базе как автоматических, так и прочих метрик его рабочая группа показала преимущество их подхода над всеми прочими существующими.

Как объединиться бизнесу для массового внедрения ИИ в отраслях?

Второй день AIJ начали с делового завтрака. Там обсудили проблему того, что во многих сферах бизнеса пока не торопятся использовать машинное обучение (например, такая ситуация в перевозках, здравоохранении, промышленности, сельском хозяйстве и строительстве).

Спикеры из этих сфер ответили, почему ток происходит и как проблему можно решить. А я по-классике собрала хайлайты с выступлений.

СЕЛЬСКОЕ ХОЗЯЙСТВО

Наталья Филиппова, гендиректор ассоциации «ИнтерАгроТех»:

— Рассказала, что отсутствует инфраструктура. По ее словам, есть разные решения и аппаратные комплексы, но нет единой платформы, которая позволила бы собирать эти данные в одном месте.

— Акцентировала внимание на том, что нужно развивать просвещение в сфере ИИ. В России крупные агрохолдинги, которые внедряют искусственный интеллект — это 15% рынка. А остальные не готовы тратить деньги на эксперименты, которые только в теории могут принести деньги в будущем.

Тимур Липатов, гендиректор «Русагро»:

— Считает, что было бы здорово, если бы появилось какое-то единое хранилище данных, в которое можно было бы отдавать свои данные, а взамен получать данные соседей. Это позволит существенно поднять точность прогнозирования урожайности.

Дмитрий Коняев, гендиректор «Уралхим»:

— Думает, что нужны единые стандарты для данных. В России основная проблема — разница между потребностью фермера и тем, что делают программисты. Это самая большая пропасть, которую нужно преодолеть.

ДЕВЕЛОПМЕНТ

Антон Елистратов, гендиректор «Самолёт»:

— Рассказал, что чтобы системы умного дома стали стандартом, нужны новые нормативы. Умный дом — это импортозамещение и драйвер всей нашей отрасли.

— Добавил, что необходимо финансирование. Компания Елистратова конкурирует не с коллегами по отрасли, а с банками, телекомами и платформами. У них есть возможность финансировать ИИ за счёт долга. А строительная отрасль развивается за счёт проектного финансирования, куда нельзя включить никакие IT-разработки.

МЕДИЦИНА

Александр Пилипчук, директор цифровой трансформации «МЕДСИ»:

— Указал на сложности для разработчиков — отсутствие данных. У государства данных много, но разработчики пока не имеют туда доступа. Для этого приходится работать с каждым регионом, с каждой отдельной больницей. Разработчики конкурируют не за мозги, а за ноги — кто быстрее сбегает и добудет данные. Решение этой проблемы сильно поднимет отрасль.

— В то же время Пилипчук отметил, что с оценкой качества и сертификацией не всё так плохо. Но хотелось бы снижения барьеров для регистрации своих продуктов. Пока это долго (не менее полугода), и затратно.

— А еще часто возникает проблема с финансированием. Любое внедрение такого проекта даже в частной клинике — это инфраструктурный проект. Нужны сервисные мощности, интеграция. Из-за этого очень мало внедрений: неоткуда брать инвестирование.

ТРАНСПОРТ

Эльдар Шавалиев, директор центра цифровой трансформации «Камаз»:

— Рассказал, что ИИ в транспортной промышленности — вопрос сугубо экономический. Таких компаний, которые экономически способны перейти на беспилотники, очень немного.

— Водитель — это человек, который в статье «затраты транспортной компании» находится на третьем месте. У нас в стране тяжело с понятием труда и отдыха, и водители существенно перерабатывают. А робота нельзя заставить эксплуатировать так, как мы сегодня можем эксплуатировать людей.

— Путь к массовому появлению беспилотников на дорогах — регуляторика. Как только мы повысим значимость человеческого труда, технология быстро начнёт распространяться. Сейчас это просто экономически неинтересно бизнесу.

— России нужно добиваться, чтобы автомобиль сам по себе оставался дешевым, а основную себестоимость мы переложили в инфраструктуру. Автономной машине гораздо проще позиционироваться, когда дорога умная, чем когда она едет в «слепом» пространстве.

Российские учёные теперь могут измерить эффективность ИИ в медицине

Я уже не раз говорила, что масштабы применения ИИ в медицине растут. И это, конечно же, хорошо. Но есть и обратная сторона — такое многообразие моделей невольно ставит вопрос о том, насколько они справляются с поставленными задачами.

Для измерения эффективности тех или иных ИИ-решений обычно используются бенчмарки. Они позволяют сравнивать модели между собой в рамках одинаковых задач и наборов данных.

К чему я это всё? На AI Journey представили медицинский бенчмарк MedBench — первую открытую русскоязычную платформу такого рода.

Зачем он нужен?

На сайте платформы любой желающий может скачать размеченные наборы данных для построения собственных моделей ИИ. Также MedBench позволяет объективно оценить качество полученного решения и проверить его на закрытой части данных.

Сейчас на платформе доступны три задачи по автоматической обработке естественного языка:

💊на логику и знания,
💊на вопросно-ответное моделирование
💊на понимание смысла медицинского текста.

Помимо прочего на сайте MedBench есть таблица лидеров, где показан рейтинг лучших ИИ-решений. Перед публикацией в этом списке каждую модель проверяют на предмет воспроизводимости.

Российский ИИ поможет создавать вакцины

Вы не поверите, но я снова хочу поговорить о белках. Благо, есть отличный повод — на AI Journey рассказали про ИИ-платформу для решения задач иммунологии.

Система получила название SEMA (или «Сёма», как её нежно называл Никита Иванисенко из AIRI). Платформу создала команда биоинформатики AIRI совместно со специалистами из Национального исследовательского центра эпидемиологии и микробиологии имени Н. Ф. Гамалеи, при участии Sber AI.

Как работают вакцины

Для начала немного теории, чтобы было понятнее, зачем это всё вообще нужно. Ключевым элементом вакцины является белок, который имитирует присутствие вируса в крови. При попадании этого белка в клетку вырабатываются антитела, которые способны специфически с ним связаться и нейтрализовать патоген — происходит так называемый B-клеточный ответ.

Антитела связываются не со случайными участками белка, а с теми, которые имеют предрасположенность к подобному взаимодействию. Эти участки называются B-клеточными конформационными эпитопами.

Иммунологам важно уметь предсказывать такие антитела, чтобы определять эффективность прототипов вакцин. Тут-то на помощь и приходит искусственный интеллект.

Как искусственный интеллект применяют в иммунологии

Как отметил Никита Иванисенко из AIRI, в последние два года ИИ произвёл революцию в области инженерии и предсказания свойств белков. Яркий пример такой системы — это AlphaFold (я про него уже писала, кстати, и не раз), который способен прогнозировать 3D-структуру белка по последовательности аминокислот в полимерной цепочке.

Также методы искусственного интеллекта применяются для предсказания участков связывания антител. Иммунологи «скармливают» нейросети данные о последовательности аминокислот и структуре белка, получая на выходе информацию о том, какие участки белка наиболее активно взаимодействуют с антителами, а какие имеют меньшую иммуногенность (с меньшей вероятностью будут вызывать имунный ответ). Именно эту задачу и решает SEMA.

Как работает SEMA

Для построения модели российские учёные собрали датасет на основе известных кристаллических структур. В него были включены примеры различных антигенов, которые уже связаны с антителом и для которых можно точно определить участки белка, ответственные за данное взаимодействие.

По меркам датасаентистов набор получился крошечным — всего около тысячи уникальных примеров. Этого было недостаточно для построения системы с нуля, поэтому исследователи использовали две предобученные лингвистические белковые модели:

🧬 ESM-1v (трансформер, предобученный на большом объёме белковых последовательностей)
🧬 ESM-IF1 (позволяет рассчитать геометрические характеристики белка)

Это позволило построить модель с высоким уровнем точности. По словам Иванисенко, SEMA сравнили с другими похожими инструментами и система показала куда более впечатляющие результаты.

Но и это ещё не всё

Конечно, иммунологам интересны не только B-клеточные эпитопы. Поэтому в SEMA 2.0 разработчики обещают добавить ещё несколько важных функций:

🧬Предсказание, насколько антиген будет стабилен
🧬Прогнозирование T-клеточного иммунного ответа
🧬Предсказание антител, которые смогли бы специфически взаимодействовать с эпитопом антигена
🧬Прогноз N-гликозилирования — биологической модификации, которая очень сильно влияет на иммуногенность белка

Кстати, «Сёму» можно свободно пощупать — модель доступна для тестирования всем желающим.

Искусственный интеллект присмотрит за вашими суставами

Должна заметить, что на AI Journey показали очень много медицинских ИИ-решений. Например, Елизавета Дахова из AIRI анонсировала интересный проект по созданию алгоритмов автоматической диагностики ревматоидного артрита. Им занимаются исследователи AIRI совместно со специалистами НИИ ревматологии им. В.А. Насоновой.

Что такое ревматоидный артрит

Ревматоидный артрит — это хроническое аутоиммунное заболевание соединительной ткани, которым на сегодняшний день страдает около 800 тысяч россиян.

Чем он опасен? Дело в том, что если патологию вовремя не распознать и не начать лечить, у человека могут деформироваться суставы кистей, и ему станет сложно выполнять даже самые простые действия руками.

Тут-то и может помочь искусственный интеллект. Он позволит врачам эффективнее определять признаки ревматоидного артрита и оценивать динамику изменений с помощью автоматического анализа рентгеновских снимков.

Что делают российские учёные

Сейчас в AIRI готовят датасет для обучения модели. В этом им помогают специалисты НИИ ревматологии, которые лечат больных ревматоидным артритом.

Совместными усилиями исследователи уже собрали, обработали и разметили снимки кистей и стоп 350 пациентов. На этих данных в AIRI обучают первые версии модели для автоматической оценки рентгенологических изменений при ревматоидном артрите.

Зачем всё это нужно

Искусственный интеллект поможет докторам наблюдать за течением болезни и оценивать эффективность проводимой терапии. Благодаря этому учёные надеются, что помогут большему числу пациентов.

Систему пока разрабатывают. В ближайшее время разработчики планируют завершить формирование датасета, а затем приступить к поиску и проверке альтернативных архитектур нейронных сетей, а также ретроспективному и проспективному тестированию технологий на базе НИИ Ревматологии им. В.А. Насоновой.

Как компьютерное зрение помогает сократить количество брака в металлургии

AIJ закончилась вчера, но у меня всё еще много впечатлений и мыслей после конференции! Буду вам кое-что рассказывать сегодня, а в понедельник соберусь с мыслями и постараюсь подвести итог. Такие мероприятия сейчас очень важны для нас и для индустрии ИИ в частности.

Итак, хочу вам рассказать про вчерашнюю сессию CV. Андрей Козлов из VisionLabs поделился на AIJ крутым кейсом, как компания работает с металлургическим гигантом ЕВРАЗ. Алгоритмы компьютерного зрения детектируют поверхностные дефекты на заготовках.

Как работает система?

Система подключается, когда заготовки движутся по конвейеру (рольгангу). В одной его точке установлены четыре специализированные камеры машинного зрения — они снимают движение этой заготовки.

Если немного упростить, процесс детектирования разбит на несколько этапов:

— Сначала камеры отмечают начало и конец заготовки;

— Затем одна нейросеть проверяет кадры и смотрит, есть ли дефекты на всех гранях заготовки;

— Если дефект обнаружен, кадр перекидывают следующей нейросети. Она классифицирует дефект (это может быть трещина, рвань, плена, расслой и пережог).

Что происходит, если дефект есть?

Компания разработала специальный интерфейс для оператора. Если заготовка повреждена, человек слышит звуковой сигнал, а на экране у него высвечивается фотография с номером заготовки и типом дефекта.

Дальше решение за оператором: отправить заготовку в брак или в печь.

С какими трудностями столкнулись?

Одна из самых главных проблем на начальном этапе — недостаток размеченных кадров для обучения нейросети. Со стороны ЕВРАЗА этим занимался один человек, поэтому процесс был долгим.

Но VisionLabs предложила другой подход — задействовать внешний сервис «Яндекс.Толока». Это позволило увеличить количество разметчиков до нескольких десятков человек и быстро набрать нужное количество кадров.

Что в итоге?

Такая система снижает нагрузку на оператора и уменьшает количество брака на входе и на выходе. Правда, никаких цифр в компании не представили (возможно, их просто пока нельзя разглашать). Так что сравнить количество брака до внедрения системы сложно.

Цифровой технолог на основе ИИ — что это и как работает?

Послушала вчера выступление AI-архитектора Softline Digital Вадима Сидельникова. Он рассказал, как платформа iLine помогает в промышленности. Особенно порадовало, что спикер показал пару кейсов с цифрами. А это мы любим! Так что кратко пересказываю хайлайты.

Какие вообще задачи должен решать ИИ в производстве?

— Снижение влияния человеческого фактора;

— Предсказание различных поломок оборудования, снижение издержек на его поддержку;

— Оптимизация расхода компонентов в процессе производства;

— Выявление различных узких мест в процессе.

Платформа Softline всё это решает. Она может прогнозировать характеристики, улучшать качество продукции, отслеживать все процессы и параметры в режиме реального времени, прогнозировать состояние оборудования и строить инвестиционные модели.

Этапы разработки и внедрения ИИ-решений

1. Проработка гипотезы;

2. Если она подтверждается, команда начинает разработку точных моделей;

3. Внедрение этих моделей в реально работающее производство. Здесь могут возникать проблемы, ведь у всех имеются различные подходы. Обычно приходится делать кастомные элементы (коннекторы, дашборды);

4. Поддержание систем в работоспособном состоянии.

Кому платформа будет полезна на предприятии?

— Инженеры-технологи могут строить прогнозные, оптимизационные модели и модели по контролю за метриками;

— Руководящий состав предприятия может видеть всю картину: как по всему производству, так и сравнивать картину разных смен;

— Инженеры АСУ ТП могут видеть перед собой картину по всем основным узлам предприятия и оборудованию, строить предиктивные модели по выявлению различных аномалий.

Конкретные применения и результаты

Процесс обогащения, когда отделяются полезные металлы от пустой породы (зачастую используется процесс флотации). Он усложняется тем, что у оператора несколько таких установок — сотрудник не всегда может оперативно управлять ими всеми.

Внедрение платформы гарантирует прирост извлечения до 2% — это дополнительные несколько миллионов долларов в год.

Работа измельчающих руду мельниц. Если оператор вовремя не среагирует на изменение руды, мельница уйдёт в перегруз, а это потенциально аварийная ситуация.

Для решения проблемы в компании разработали прототип, который прогнозирует состояние мельницы в будущем и выдаёт различные предупреждения оператору. А ещё предусмотрен оптимизационный сервис, который позволяет управлять параметрами мельницы.

Это может дать прирост в несколько процентов, то есть десятки миллионов долларов в год. А заодно система увеличивает ресурс работы оборудования.

Нейросети помогают в изучении генома человека

Вы не поверите, но я снова про биоинформатику. Нравится мне эта тема, ничего не могу поделать.

На AI Journey Ольга Кардымон и Михаил Бурцев из Института искусственного интеллекта AIRI рассказали про GENA-LM — первую нейросетевую модель, обученную на полной сборке генома человека. Сейчас объясню, почему это круто.

В чём суть

Для начала маленькая справка из курса школьной биологии. Геном — это совокупность наследственного материала, заключённого в клетку. У человека и большинства других живых организмов он построен из ДНК — длинной цепи, которую можно представить как «текст», закодированный чередованием 4 «букв» — нуклеотидов.

Размер генома человека — более 3 млрд таких символов. Если распечатать этот «текст» на бумаге, получится 78 000 страниц. Однако только 1500 страниц (менее 2% генома) используются организмом для кодирования генов, с которых образуются молекулы РНК, участвующие в синтезе белков. Именно эту последовательность исследователи изучили лучше всего.

Про остальные 98% генома до сих пор очень мало известно. Долгое время считалось, что эта информация вообще бесполезна. Но затем исследователи выяснили, что именно там скрыты элементы, которые регулируют работу человеческих генов. Нейросети могут помочь в изучении этих участков.

Как работает GENA-LM

Как отметил один из авторов доклада Михаил Бурцев, эволюция описала живые организмы при помощи ДНК подобно тому, как люди описывают мир вокруг при помощи слов. А значит, для изучения генома можно применять NLP-модели.

Именно так поступили авторы проекта DNABERT, которые использовали методы обработки естественного языка для расшифровки последовательностей ДНК. В качестве основы они взяли популярную языковую модель BERT, но вместо текстов «скормили» ей данные о геноме.

Создатели GENA-LM усовершенствовали эту идею. Они применили алгоритм BPE (Byte Pair Encoding, кодирование пар байтов) для токенизации входных данных. Проще говоря, объединили часто встречающиеся группы символов в токены и добавили в «словарь». Это позволило сократить размер входных данных, что, в свою очередь, дало возможность обрабатывать значительно более длинные последовательности нуклеотидов.

Для сравнения, если DNABERT может обрабатывать не более 512 нуклеотидов за один раз, то GENA-LM принимает на вход до 4000 нуклеотидов.

Другое преимущество GENA-LM в том, что модель обучали на наиболее полной сборке генома человека.

Где это можно применять

Окей, а зачем это всё вообще нужно? На самом деле у такой модели очень много полезных применений. С её помощью можно:

🧬Определить, являются ли полученные при секвенировании генов сигналы мутацией, или это просто ошибка оборудования
🧬Выявить класс патогенности мутации
🧬Определить, является ли мутация причиной того или иного заболевания
🧬Узнать, включается ли у пациента тот метаболический путь, который снижает эффективность отдельной группы антибиотиков
🧬Предсказывать экспрессию генов

И это, конечно, далеко не всё, что умеет GENA-ML. Но, кажется, пост и так уже получился длинным.

Кстати, модель может потестить любой желающий. Вот ссылки на HuggingFace и на GitHub.

Визуальные трансформеры улучшат зрение беспилотников

Месяц назад я писала про исследователей из Института AIRI, которые нашли способ улучшить зрение роботов с помощью гибридных ИИ-моделей. Подробностей тогда было не очень много, поэтому я ждала выступление авторов проекта на AI Journey, чтобы узнать, что скрыто «под капотом» их детища. Дождалась и делюсь услышанным с вами.

Что такое карты глубины и как их строят?

Карта глубины — это изображение, каждый пиксель которого содержит информацию об относительном расстоянии от объекта до камеры. Такие карты используют для ориентации беспилотников в пространстве.

Для реконструкции глубины сцены обычно применяют специальные сенсоры: радар, камеру со структурированным подсветом или лидар. Каждый из этих методов обладает своими недостатками:

👁Радар имеет малый радиус действия, поэтому плохо регистрирует глубину дальних объектов.
👁Камера со структурированным подсветом выдаёт результат с большим количеством шумов
👁Лидар плохо справляется со сложно структурированными поверхностями (например, кронами деревьев)

Чтобы улучшить качество карт глубины специалисты применяют нейросети. Однако и тут всё не так просто — обучение таких моделей требует набор специально размеченных данных, поэтому, как правило, это очень длительный и трудоёмкий процесс.

Как эту проблему решили в AIRI

Специалисты AIRI создали самообучающуюся систему, которой вообще не нужны размеченные данные с сенсоров глубины. Это значительно упрощает процесс построения модели.

В чём секрет? Обычно специалисты использовали для оценки глубины архитектуры, основанные на свёрточных нейросетях. Это давало ограниченное поле восприятия, то есть все признаки отбирались локально при обучении фильтров.

Исследователи из AIRI решили использовать гибридную архитектуру с применением визуальных трансформеров. Они протестировали различные сочетания блоков на входе и выходе, использовав в экспериментах свёрточную нейросеть ResNet18 и трансформер PVTv2.

В роли датасетов выступили два популярных набора — KITTI (уличные сцены, отснятые с применением лидара) и NYUv2 (интерьеры помещений, полученные при помощи камеры Microsoft Kinect).

В итоге наилучший результат продемонстрировала модель с трансфомером на входе и свёрточной нейронкой на выходе. Такой гибрид показывает глобальную согласованность сцены и лучше справляется с выделением сложных объектов, причём как на улице, так и внутри помещений.

Впрочем, есть и минус — использование трансформеров замедляет модель в 2 раза. Однако её всё равно можно использовать в реальном времени.

Исследователи рассчитывают, что в будущем их наработки можно будет применять в системах компьютерного зрения и AR-приложениях.