Визуальные трансформеры улучшат зрение беспилотников

Месяц назад я писала про исследователей из Института AIRI, которые нашли способ улучшить зрение роботов с помощью гибридных ИИ-моделей. Подробностей тогда было не очень много, поэтому я ждала выступление авторов проекта на AI Journey, чтобы узнать, что скрыто «под капотом» их детища. Дождалась и делюсь услышанным с вами.

Что такое карты глубины и как их строят?

Карта глубины — это изображение, каждый пиксель которого содержит информацию об относительном расстоянии от объекта до камеры. Такие карты используют для ориентации беспилотников в пространстве.

Для реконструкции глубины сцены обычно применяют специальные сенсоры: радар, камеру со структурированным подсветом или лидар. Каждый из этих методов обладает своими недостатками:

👁Радар имеет малый радиус действия, поэтому плохо регистрирует глубину дальних объектов.
👁Камера со структурированным подсветом выдаёт результат с большим количеством шумов
👁Лидар плохо справляется со сложно структурированными поверхностями (например, кронами деревьев)

Чтобы улучшить качество карт глубины специалисты применяют нейросети. Однако и тут всё не так просто — обучение таких моделей требует набор специально размеченных данных, поэтому, как правило, это очень длительный и трудоёмкий процесс.

Как эту проблему решили в AIRI

Специалисты AIRI создали самообучающуюся систему, которой вообще не нужны размеченные данные с сенсоров глубины. Это значительно упрощает процесс построения модели.

В чём секрет? Обычно специалисты использовали для оценки глубины архитектуры, основанные на свёрточных нейросетях. Это давало ограниченное поле восприятия, то есть все признаки отбирались локально при обучении фильтров.

Исследователи из AIRI решили использовать гибридную архитектуру с применением визуальных трансформеров. Они протестировали различные сочетания блоков на входе и выходе, использовав в экспериментах свёрточную нейросеть ResNet18 и трансформер PVTv2.

В роли датасетов выступили два популярных набора — KITTI (уличные сцены, отснятые с применением лидара) и NYUv2 (интерьеры помещений, полученные при помощи камеры Microsoft Kinect).

В итоге наилучший результат продемонстрировала модель с трансфомером на входе и свёрточной нейронкой на выходе. Такой гибрид показывает глобальную согласованность сцены и лучше справляется с выделением сложных объектов, причём как на улице, так и внутри помещений.

Впрочем, есть и минус — использование трансформеров замедляет модель в 2 раза. Однако её всё равно можно использовать в реальном времени.

Исследователи рассчитывают, что в будущем их наработки можно будет применять в системах компьютерного зрения и AR-приложениях.

Итоги AI Journey. Что почитать, если вы всё пропустили

AIJ 2022 закончилась, настало время подвести итоги и вспомнить всё самое интересное. Решила написать небольшой дAIJест (да, такой вот уровень каламбуров сегодня).

🤖Пушпак Бхаттачарий из Индийского технологического института в Бомбее (IIT Bombay) рассказал, как ИИ помогает людям с психическими расстройствами. Алгоритмы на основе NLP распознают и анализируют язык и содержание сообщений, а также эмоции человека. Ученые учат машину проявлять больше эмпатии и различать разные эмоции, даже такие сложные, как сарказм или ирония. ИИ может не только помочь лечить пациентов с больной психикой, но даже предотвращать самоубийства.

📡Юные таланты поделились прогнозами о будущем ИИ-индустрии. Школьники предположили, что к 2030 году алгоритмы заменят людей в опасных профессиях, научатся осознанно общаться и начнут помогать в колонизации соседних планет. 11-летний робототехник Степан предположил, что ИИ вообще полностью заменит человека и людям останется лишь «целыми неделями валяться на кровати». Топ-менеджер «Сбера» Александр Ведяхин подчеркнул, что заменить человека с помощью ИИ невозможно.

💻Специалисты «Сколтеха» нашли способ сделать общение в интернете чуть приятнее. Помочь может технология детоксификации, когда алгоритм предлагает пользователю переформулировать его высказывание, причём без потери начального смысла и стиля.

🧬Специалисты Института искусственного интеллекта AIRI рассказали про GENA-LM — нейросеть, которая поможет в изучении генома человека. С помощью этой платформы можно, например, определить является ли мутация причиной того или иного заболевания.

💰Во второй день AIJ приглашённые эксперты обсудили, почему во многих сферах бизнеса не торопятся использовать машинное обучение. Если вкратце — предприниматели ждут развития инфраструктуры и единых стандартов, также многих останавливает недостаток финансирования и данных.

💊«Сбер» представил первую открытую русскоязычную платформу для измерения эффективности ИИ в медицине. Бенчмарк получил название MedBench и даёт возможность любому желающему скачать размеченные наборы данных для построения собственных моделей. Платформа позволяет объективно оценить качество полученного ИИ-решения.

💉Специалисты из AIRI рассказали про ИИ-платформу SEMA, которая позволяет прогнозировать эффективность вакцин. По словам разработчиков, получившееся решение обладает более высокой точностью по сравнению с другими похожими инструментами.

🩻Специалисты учат искусственный интеллект автоматически выявлять ревматоидный артрит. В будущем такая нейросеть поможет докторам наблюдать за течением болезни и оценивать эффективность проводимой терапии. Благодаря этому учёные надеются, что помогут большему числу пациентов.

⛏Андрей Козлов из VisionLabs поделился крутым кейсом, как компания работает с металлургическим гигантом ЕВРАЗ, помогая сократить количество брака при помощи компьютерного зрения.

📦AI-архитектор Softline Digital Вадим Сидельников рассказал про цифрового технолога на основе ИИ. Разработанная компанией платформа может прогнозировать характеристики, улучшать качество продукции, отслеживать все процессы и параметры в режиме реального времени, прогнозировать состояние оборудования и строить инвестиционные модели.

👁Исследователи AIRI объяснили, как улучшили зрение беспилотников. Специалисты создали самообучающуюся систему, которой вообще не нужны размеченные данные с сенсоров глубины. Это значительно упрощает процесс построения модели. В чём секрет? В AIRI решили использовать гибридную архитектуру с применением визуальных трансформеров. Их разработка лучше других справляется с согласованностью сцены и выделением сложных объектов, причём как на улице, так и внутри помещений.

Кстати, все это не без помощи крутых компаний: официальный партнёр РФПИ и партнеры деловой программы ML Space и VS Robotics.

Финал битвы ученых

Помните, недавно рассказывала о битве молодых учёных? Каждому нужно было всего за 10 минут рассказать, как используются технологии ИИ\ML\Big Data для решения глобальных проблем человечества и представить свои наработки.

К чему это я: конкурс прошёл, а зрители уже выбрали победителя. Поэтому спешу поздравить Александра Галанова — инженера первой категории Сибирской лесной опытной станции и младшего научного сотрудника «Лаборатории геномных исследований в растениеводстве» при научно-исследовательском институте сельского хозяйства Северного Зауралья.

Уже звучит впечатляюще, правда? А это я ещё даже не успела рассказать про его доклад.

Так вот, Галанов выступил с темой «”Искусственные глаза” космоса в оценке лесного фонда». Под этими «глазами» подразумеваются спутники, которые работают в паре с искусственным интеллектом. Галанов разрабатывает умные алгоритмы, которые анализируют снимки из космоса по самым разным параметрам. Это позволяет при помощи технологий выявлять закономерности и проблемы в наших лесах.

В ближайшее время на сайте AIJ выложат все видео с выступлений, там будет много интересного!
И, да, независимо от того, кто победил, хочу от себя сказать, что все представленные проекты ученых очень важны и нужны человечеству для предотвращения глобальных проблем! Так что за технологиями будущее, я точно знаю :)

По итогам AIJ 2022 решила устроить маленькое голосование. Мне очень любопытно — какие проекты больше всего понравились вам? Вот такой будет приз зрительских симпатий! А я постараюсь узнать про проекты с наибольшим количеством голосов и рассказать. Комментарии разработчиков, технические детали и еще много всего)

Один из главных сервисов для креаторов Notion скоро получит крутое обновление

Копирайтеры, ликуйте: ваше приложение для заметок тестирует функцию, которая с помощью ИИ будет сама писать контент!

Как это будет работать?

Пользователю нужно будет указать, что он хочет создать. Например, сообщение в блоге, шаблон электронного письма о наборе персонала или подборку книг. Дальше ИИ выдаст свой вариант будущего текста. Если всё понравилось — хорошо. А если нет, жмёте кнопку «попробовать ещё раз» и ждёте новых шедевров.

Есть примеры?

Журналист The Verge одним из первых протестировал функцию. Сначала он попросил составить список плюсов и минусов для участия в марафоне. Вот что вышло:

Это отличный способ:

— потренироваться
— бросить себе вызов
— познакомиться с новыми людьми и увидеть новые места
— собрать деньги на благотворительность

Минусы:

— много работы и времени
— очень дорого
— очень опасно

В целом, выглядит адекватно. Но с остальными заданиями, где нужно было написать связный текст, сервис справился хуже (здесь другие примеры).

Пока сыровато?

По сути, проект сейчас проходит стадию альфа-тестирования. Сразу выкладывать такой контент, очевидно, вы вряд ли сможете. В этом не сомневаются даже разработчики. Гендиректор Notion Иван Чжао говорит, сервис не сделает всю работу за человека, зато сэкономит ему время. Проще говоря, он напишет черновик, а вам останется отредактировать его.

Дорогу молодым талантам!

На AIJ многие спикеры говорили о том, что для развития ИИ нужны новые кадры. Естественно, сами по себе они (кадры) не появятся — желательно готовить их ещё со школьной скамьи. Точнее, нужно пытаться заинтересовать молодёжь. И для этого, кажется, уже есть все условия.

Вот например. Сегодня пройдет демодень акселерационных программ Сбера для школьников и студентов. 20 команд из столицы, Питера, Екатеринбурга, Сургута и ещё нескольких городов России выступят со своими технологическими продуктами.

Молодёжь покажет, каких успехов добилась в бизнесе благодаря акселерационным программам Сбера. Думаю, мы увидим очень достойные стартапы — ведь только за последний год участники этих программ создали более 1100 бизнес-проектов. А до демодня, очевидно, доедут лучшие из лучших, которые поборются за денежный приз и дополнительные баллы на ЕГЭ (а что, так можно было??).

Но вообще на мероприятии будут не только юнцы: там ещё представят десятку передовых разработок в области ИИ в медицине, рознице и космических технологиях. Так что всем будет, на что посмотреть.

Онлайн-трансляция начнётся в 14:30 по Москве, посмотреть можно на этом сайте. Если вдруг не успеете — не переживайте, я скорее всего напишу об итогах.

Реддитор собрал прогу на Mac, которая делает выжимку из текста для разных соцсетей

Например, у вас есть какая-то большая статья, а вам нужно уместить основной её посыл в один маленький твит. Копируете текст, вставляете его в сервис на базе GPT-3 и нажимаете кнопку Single Tweet. И вот, перед вами готовый пост для микроблога.

То же самое программа может проделать с постом для LinkedIn или Facebook*. А ещё она умеет делать выжимку на пять твитов (очевидно, запихнуть всю инфу из огромной статьи в один твит иногда бывает тяжеловато).

На примере реддитор показал, как сервис работает с текстом на сайте OpenAI. Вроде бы, всё довольно чётко. Но нужно будет самой потестировать, чтобы дать вердикт.

*Социальная сеть Facebook принадлежит Meta, запрещенной в России экстремистской организаци.

Чтение мыслей уже не за горами. Спасибо нашему любимому ИИ!

Знаете, что я сейчас вижу перед собой? У меня на столе ноутбук, на экране которого статья о диффузионной нейросети MinD-Vis. Новая модель буквально может прочитать ваши мысли и достроить картинку того, что у вас перед глазами.

Как работает нейросеть?

Если очень упрощённо, она расшифровывает данные мозговой активности человека, полученные с помощью функциональной магнитно-резонансной томографии (фМРТ), и превращает их в картинки.

Выбор пал на фМРТ, потому что это самый эффективный неинвазивный метод получения данных о мозговой активности. Томография позволяет визуализировать её с высоким пространственным разрешением.

Как тренировали модель?

Вот здесь очень подробный алгоритм на одной картинке. А кратко — разработчики обучили self-supervised-нейросеть для получения универсальных эмбеддингов мозговой активности. Потом прикрутили cross-attention на эти мысленные репрезентации к предобученной Latent Diffusion.

Особенно круто здесь то, что для файнтьюна хватило всего полторы тысячи пар картинка-фМРТ! Это помогло довольно точно воссоздавать то, что видит человек. На прикреплённой картинке — начальное изображение и то, что выдала нейросетка (слева и справа соответственно).

Можно ли потестить?

Да! Данные для обучения и код лежат бесплатно на GitHub. Так что не сомневаюсь, что скоро технологию допилят и сделают ещё круче.

MinD-Vis — первая такая модель?

Были и другие. Ещё в 2018 году японцы показали похожий алгоритм, который тоже работал с фМРТ. Эксперименты проводились и до этого. Но за прошедшие годы качество и точность заметно выросли. Просто сравните новые результаты с теми, что выдавали нейросети четырёхлетней давности.

Развлекаемся на выходных

Скармливаем нейросетке любую картинку, а на выходе получаем музыку. Здесь можно бесплатно поиграться с инструментом.

Вот так, по мнению Mubert, звучит картинка-мем с Илоном Маском, который смотрит в небо. Лайк, если ждёте второй «Интерстеллар».

Моушн-кэпчур без датчиков и маркеров заказывали?

У стартапа Move AI есть платформа, которая позволяет захватывать изображение и оцифровывать его. Даже костюм не нужно надевать на моделей!

Делается всё это в три шага:

1. Находим свободное пространство (зелёные стены не нужны) и расставляем несколько камер по периметру — подойдут даже обычные гоупрохи. Начинаем снимать;

2. Загружаем получившиеся видосы на платформу, делаем пару настроек;

3. Экспортируем результат в ПО для создания трёхмерной графики (например, Blender) и редактируем. Всё, вы в дамках.

Смотрю рекламный ролик и поражаюсь — слишком уж качественно передаются движения. Надо будет как-нибудь потестировать эту технологию.

Какой IQ у нового чатбота от OpenAI?

На прошлой неделе компания выкатила бесплатного бота ChatGPT. Он неплохо умеет отвечать на вопросы и даже спорить с собеседником. Но, как выяснилось, до сверхразума ему ещё далеко.

Это наглядно показал сотрудник Amazon Сергей Иванов. Он попросил чат-бота пройти тест на IQ. Результат, мягко говоря, не очень (по крайней мере, по человеческим меркам). Всего 83 балла, то есть ниже среднего.

В треде Иванов показал, где ChatGPT ошибался. Хуже всего боту давалась арифметика и геометрия. А ещё он путал дни недели и с трудом находил антонимы. В общем, по интеллекту недалеко ушёл от пятиклассника.

Но мне кажется, что даже 83 балла — это отличный результат для искусственного интеллекта. Ведь это только начало, дальше будет ̶8̶4̶ ̶б̶а̶л̶л̶а̶ гораздо лучше.

Гугловская нейросеть покорила ещё одну сложнейшую игру. Ну, или почти покорила

Шахматы давно позади, лучшие игроки Го тоже повержены. На этот раз инженеры из DeepMind собрали модель DeepNash для игры в Стратего. А эта настолка особенно сложна для освоения искусственным интеллектом.

Правила такие: два игрока размещают на клетчатом поле по 40 фигур с каждой стороны. Но они не могут видеть, какие фигуры стоят у противника. Цель — по очереди перемещать фигуры, чтобы уничтожить фигуры другого игрока и захватить самую главную из них, то есть флаг.

Получается, у игры есть 10 вариантов развития в 535 степени. Для сравнения, у Го их 10 в 360 степени. Что касается неполной информации в начале игры, здесь 10 возможных стартовых позиций в 66 степени (а в покере их 10 в 6 степени).

DeepNash неслучайно назвали в честь американского математика Джона Нэша. Благодаря его работе в теории игр появился ключевой термин «Равновесие Нэша». Это ситуация, когда никто из игроков не может увеличить свой выигрыш благодаря смене стратегии, если другие участники тоже её не поменяют. К чему я это?

Гугловская модель сочетает в себе алгоритм обучения с подкреплением и глубокую нейронку. Первая ищет лучшую стратегию для каждого состояния игры, а вторая — как раз равновесие Нэша.

Во время обучения она сыграла 5,5 млрд партий против себя. При этом DeepNash не перебирала все возможные сценарии (как это делала та же AlphaGo), а постоянно корректировала поведение в сторону оптимальной стратегии.

После тренинга её «выпустили» в мир, то есть столкнули с лучшими живыми игроками на сайте Gravon. После 50 матчей DeepNash заняла третье место среди всех геймеров за последние 20 лет.

Результаты впечатляют. И это не только я так считаю, но и опрошенные Nature эксперты.

Какую игру ИИ покорит дальше? 👍, если «Пьяницу», 🔥, если «Буркозла».

Рейтинг лучших бесплатных ИИ-генераторов изображений

Увидела на Gizmodo интересный эксперимент — журналист протестил все нейронки с бесплатным доступом (платные с триал-периодом тоже считаются) и составили топ самых качественных.

Тестировал так: брал довольно абстрактные текстовые подсказки (предложения из недавно прочитанных книг) и проверял, кто лучше справится с задачей.

Правда, в рейтинг попали и модели img-to-img. Для них задание было другое — преобразить снимок с собакой так, чтобы он был похож на картину в трёх разных стилях.

В первую тройку лидеров субъективного рейтинга попали Midjourney, Wombo Dream и Stable Diffusion 2. А вот как расположились остальные конкурсанты. К слову, парочку из них я вижу впервые.

4. DALL-E 2
5. StarryAI
6. Nightcafe
7. Deep Dream Generator
8. Craiyon
9. VQGAN+CLIP
10. Stable Diffusion
11. Dream Studio
12. DeepAI
13. Hotpot
14. Fotor

Самих фоток вышло слишком много, поэтому не буду прикреплять их сюда. Если интересно, посмотрите их на Gizmodo.