Российские учёные улучшили разработку карт глубины

Краем глаза слежу за научной конференцией о VR и AR, которая сейчас проходит в Сингапуре. Интересно вдвойне, потому что там ещё и участвуют исследователи из России. Вот, сотрудники Института AIRI представили крутую модель ИИ для построения карт глубины.

Что это за карты?

Карты глубины содержат информацию о расстоянии от точки обзора до поверхностей. Они нужны для ориентации в пространстве роботов и беспилотных авто.

Как их получают?

Обычно с помощью лидаров или RGB-камер. Хотя в обоих случаях есть ограничения, касающиеся радиуса действия.

Другой вариант — улучшать показания датчиков и прогнозов с помощью глубоких нейронок. Но и здесь есть сложности: приходится предварительно очищать исходные данные от шумов и помех.

В чём инновация?

Учёные объединили два подхода и разработали архитектуру с использованием глобальной пространственной информации. Она сочетает преимущества трансформеров и свёрточных архитектур.

При новом методе модели настраиваются с помощью самообучения. То есть данные датчиков глубины здесь вообще не нужны!

Что это даёт?

Упрощение обучения. А если точнее, процесс будет стоить значительно дешевле.

Метод уже проверили на независимых наборах данных. На конференции говорят, что модель показала одни из лучших в мире результатов.

Правда, научная статья еще не опубликована, но сборник конференции скоро выйдет, а в AIRI обещают выложить в открытый доступ модельки. Что ж, ждём.

Решила разнообразить наш ламповый канал новым форматом. Давно хотела позадавать вопросы знакомым экспертам. Скоро будет!

Это вот так я спешу задать вопрос, по мнению "Кандинского" 🫦

Пока бегу к эксперту, решила поиграть с веб-сервисом на основе алгоритма Stable Diffusion, который позволяет часть фотки менять по текстовому запросу. Например, Теслу на шакала. Шакал - ведь вы этого достойны!

Превращаем текст в музыку

Готова поспорить, что все уже наигрались в художников и хотели бы попробовать что-нибудь новое. Как насчёт роли композитора?

Сервис для создания генеративной музыки Mubert научился делать короткие музыкальные треки по текстовому запросу. Функция на основе API платформы уже доступна в виде демо-версии (можно посмотреть на GitHub), а в скором времени её обещают прикрутить и к основному сайту.

Какие у меня впечатления

Результаты пока угловатые и не всегда точно соответствуют запросу. Кроме того, в генерации контента всё-таки принимают участие люди — нейросеть “склеивает” композиции из семплов, подготовленных живыми музыкантами и саунд-дизайнерами.

Однако я уверена, что всё это лишь временные шероховатости и “костыли”. В конце концов, ещё год назад почти никто не поверил бы, что сгенерированные нейросетью изображения можно будет разместить на обложке журнала или отправить на художественный конкурс.

Ниже размещу треки, которые получились у меня в ходе тестирования 🔽

Потестила бесплатный интерфейс для новой модели Stable Diffusion. Инструмент дорисовывает картинку по вашим подсказкам. Правда, не всегда понимает, что от него хотят — нормально воспроизвести штаб-квартиру Twitter ему (и мне) так и не удалось. Но вышло всё равно забавно.

Ждём TensorFlow 3

Чуть не упустила важное. Пару дней назад Google анонсировала выход новой версии TensorFlow. А это, на секундочку, одна из главных платформ для тренировки нейросетей — как гугловских, так и сторонних (с инструментом работают Apple, Netflix, Twitter и др).

Чего ждать?

Упор на XLA-компилятор, который «должен стать отраслевым стандартом». Он ускоряет обучение моделей на CPU и GPU.

Распределенные вычисления. Компания инвестирует в DTensor — новый API для параллелизма моделей. Инструмент помогает разделять нейросети на фрагменты и обучать каждый из них на отдельной системе. Это удобно при тренировке больших моделей.

Кроме компиляции, разработчики обещают не забыть про алгоритмические методы оптимизации производительности — речь про вычисления смешанной и пониженной точности, которые могут сильно ускорить обучение на GPU и TPU.

Появятся новые инструменты для CV и NLP, включая большой набор предварительно обученных моделей. А заодно станет больше ресурсов для разработчиков — добавят примеры кода и свежие руководства.

Говорят, экспорт на мобильные устройства, микроконтроллеры и серверы станет проще. А все API TensorFlow хотят консолидировать и упростить, чтобы пользоваться ими было удобнее.

Если что, не переживайте — полная обратная совместимость с предыдущей TensorFlow 2 будет предусмотрена.

Когда ждать?

Точной даты пока нет. Но говорят, что предварительная версия выйдет во втором квартале 2023-го. А производственная — ещё позже, но в том же году.

Что будет, если скрестить Minecraft и Stable Diffusion?

Minecraft — уникальная игра, она привлекает и ещё не научившихся разговаривать детей, и прожжённых датасаентистов.

Помню, как летом спецы из OpenAI обучили нейросеть добывать в «Майне» ресурсы и пищу, охотиться и бегать. А теперь художник и энтузиаст Шон Саймон показал эксперимент со Stable Diffusion.

DiffusionCraft AI (так называется скрещённая версия) превращает постройки из блоков в красивые концепты. Причём делает это в реальном времени!

Работает это так: скрипт на Python передаёт изображение с экрана геймера в инструмент Img2Img (туда же вписывается текстовая подсказка). Картинка обновляется раз в определённый интервал времени или сразу после того, как игрок ставит новый блок в игре.

Выглядит залипательно.

Робофутболисты из России победили в двух самых сложных дисциплинах в Бразилии

Механические футболисты из МФТИ выиграли открытый бразильский турнир. Причём сразу в двух самых сложных категориях (а всего их было пять).

В команде Starkit HL из лиги Humanoid League играли антропоморфные роботы класса KidSize (размером с ребёнка — от 40 до 90 см). В первом матче они разгромили соперников со счётом 10:0, а в финале — 6:0.

В другой лиге (Standard Platform League) боролись не столько роботы, сколько разработчики их интеллекта. Потому что в матче участвовали одинаковые машины, но с разным алгоритмами ИИ. И здесь российская команда Starkit SPL преуспела — механизмы под её управлением тоже выиграли обе игры (со счётом 10:0 и 10:1).

Почему вообще это важная новость? Да потому что робофутбол — это отличный полигон для тестирования многих передовых идей. К тому же такие соревнования привлекают молодёжь: у девушек и парней повышаются шансы стать первоклассными инженерами.

You shall not pass! Прошёл, конечно, и не раз. Подождите, роботы МФТИ еще наведут шороху.
Поздравляю ребят из Центра прикладных систем ИИ. Ему, кстати, всего год исполнился в 22-м, такие дела)
Фото предоставлено пресс-службой МФТИ

Вопрос эксперту: на какие модели ИИ обратить внимание?

Решила разнообразить наш ламповый канал новым форматом. Давно хотела позадавать вопросы экспертам, не всё ж мне одной здесь умничать.

Первым вещать вызвался Андрей Кузнецов — исполнительный директор по исследованию данных в Sber AI. Я спросила у него о самых интересных ИИ-моделях последних недель (просто вспомнила недавний пост про каталог сервисов).

«Очень интересные модели Unified IO, GATO. Их полезность заключается в том, что обе архитектуры являются мультимодальными, и каждая может решать несколько задач сразу. Это одна из ключевых концепций сильного искусственного интеллекта, которая лежит в основе человеческого мышления. Что UnifiedIO, что GATO могут принимать на вход данные визуальной, текстовой, видео и др модальностей и их комбинации и решать одну из поставленных задач.

Например, по видеопоследовательности можно сразу ответить: о чем видео, какие ключевые сущности в этом видео, расшифровать аудиодорожку и тд. Раньше для этого нужно было делать несколько отдельных моделей, а с появлением таких примеров, как UnifiedIO GATO, это может делать одна архитектура.

С точки зрения генеративного ИИ, безусловно, первенство можно отдать таким моделям как Imagen (Text-to-Image) и DreamFusion (Text-to-3D). Они становятся новым источником вдохновения как для исследователей в области компьютерного зрения, так и для художников и дизайнеров».

Четвергового просветления пост

Если вдруг вы читаете меня со сказочного Бали, то, наверное, вам будет неактуально — вы уже нашли все ответы. Так что рассказываю для остальных: японцы придумали, как «прокачать» стандартные приложения для медитации. Как понимаете, без ИИ не обошлось.

Сервис работает так: включается камера, и на экране в дополненной реальности появляется аватар Будды, сидящий скрестив ноги. С ним можно побеседовать, точнее задать какие-то вопросы о счастье или смысле жизни. «Священные писания буддизма представляют мудрость древних времён», — говорят разработчики.

Чтобы обучить ИИ, учёные из Киотского университета «скормили» ему примерно тысячу учений из буддистских текстов вроде Сутты-нипаты и Дхаммапады. Правда, пока Buddha Bot работает неидеально — иногда его ответы бессмысленны (ну, или так кажется непросветлённым). Исследователи хотят «допилить» приложение перед полноценным релизом.

По словам разработчиков, их приложение — первый шаг к духовной метавселенной. Это будет альтернатива реальным храмам, которых в последние годы становится всё меньше в Японии.

А что, очень даже актуально для затворников. Можно получить совет от духовного наставника, не выходя из дома.

Как учёные из Мэриленда научились запутывать CV-модель YOLOv2 и при чём тут свитер

На фоне непрекращающихся новостей об успехах в развитии ИИ может сложиться впечатление, что нейронки теперь всесильны. Но на самом деле многие алгоритмы по-прежнему беспомощны перед человеком, если тот решит их обмануть. Достаточно понимать принцип работы конкретных моделей и проявить творческий подход.

Наткнулась на интересное исследование, проведённое в Университете Мэриленда. Его авторы сосредоточились на поиске уязвимостей в системах компьютерного зрения. В качестве своей “жертвы” специалисты выбрали модель обнаружения объектов YOLOv2.

Что они сделали?

Экспериментаторы “показывали” алгоритму изображения из датасета Microsoft COCO, который используется для обучения систем компьютерного зрения. После того как YOLOv2 находила на предложенной фотографии человека, в снимок вносили случайные изменения и вновь пропускали его через модель. Это позволило определить, какие из искажённых картинок сильнее всего “запутывают” нейросеть.

Изображение, показавшее наилучшие результаты, учёные распечатали на обычном свитере. Эксперимент удался — человек, который надевает его на себя, становится почти невидимым для системы компьютерного зрения.

Кстати, не могу не отметить, что свитер получился не только практичным, но и довольно приятным на вид. Такой не стыдно надеть на встречу с друзьями, тем более что у нас как раз наступили холода.

Forbes рассказал про 4 главных тренда в ИИ

В американском Forbes вышла очередная интересная колонка. Эксперт в области интеллектуального управления информацией Мартин Бёрч рассказал о главных тенденциях в машинном обучении для бизнеса. Он рассказал, а я подсократила и перевела :)

1. Автоматизация процессов

Компаниям нужно использовать машинное обучение и автоматизацию, если они хотят масштабироваться. Бёрч советует не верить в заблуждения о том, что ИИ заменит живых сотрудников. Наоборот — нейросети возьмут на себя рутину, а у работников освободится время для других задач.

2. Усиление безопасности

В сфере кибербезопасности сейчас нехватка кадров, в то время как у преступников появляется всё больше инструментов для атак. В такой ситуации машинное обучение помогает защитить бизнес. Инструменты на основе ИИ могут постоянно отслеживать сетевой трафик, выявлять угрозы и предлагать эффективные решения.

3. Расширенная аналитика

Инструменты аналитики на основе ИИ обрабатывают гигантские объёмы данных в реальном времени. Это помогает прогнозировать рыночные тенденции и поведение клиентов, взвешивать риски. Повышение производительности, сокращение времени простоя сотрудников, более действенное управление цепочками поставок — и это только часть положительных эффектов такой аналитики.

4. Обработка естественного языка

Она окажет огромное влияние на многие отрасли промышленности. Например, в интеллектуальной обработке документов (IDP) эти технологии позволят повысить качество обслуживания клиентов. Алгоритмы ИИ помогут извлечь полезную информацию из неструктурированного контента — из переписок по электронной почте и чатов.

Нам больше не нужен сильный ИИ?

Тирнан Рей, известный технический журналист и бывший автор Bloomberg, написал на днях неплохое рассуждение для zdnet на эту тему.

Дело в том, что, когда появилась концепция искусственного интеллекта, исследователями двигала идея создать именно интеллект. Рей считает, что эта мечта подталкивала все эти десятилетия ученых и инженеров вперед, в то время как пользы от ИИ было немного.

Представьте, ведь сам термин ИИ появился благодаря математику Джону Маккарти 66 лет назад!

Сейчас же, пишет Тирнан, технологии искусственного интеллекта начали приносить пользу. Они стали по-настоящему крутыми, например, проект AlphaFold (предсказывает 3d-модели белков) или тот же GPT-3. Журналист называет это изменение переходом к эпохе индустриального ИИ (Industrial AI).

Беда в том, пишет Рей, что инженеры и исследователи не хотят двигаться дальше, им довольно того, что они имеют.

Ян Лекун (Yann LeCun), главный исследователь ИИ одной известной и очень запрещенной соцсети рассказывал ранее zdnet, что то, как развивается сегодня метод глубокого обучения, никогда не приведет к сильному ИИ.

При этом без сильного ИИ некоторые вполне практические задачи будут труднодостижимы, например пятый, истинный уровень автономности у машин. Тут Лекун просто приговаривает современные автопилоты, если те не обретут человеческую способность к «здравому смыслу»: you're going to have to engineer the hell out of it («вам придется чертовски много решать инженерных задач»). Штука в том, что как раз вот этот «здравый смысл», планирование - это качественное отличие человеческих мозгов от ИИ.

В общем, статья Тирнана, конечно, не разделит вашу жизнь на до и после, но подумать точно будет над чем.

Цифровой доктор из Израиля поможет поставить диагноз

Меня приятно удивляет скорость развития ИИ в медицине. Ведь если в других сферах выгода от внедрения нейросетей зачастую не столь очевидна, то в здравоохранении всё куда более прозрачно — участие беспристрастных алгоритмов в лечении поможет увеличить продолжительность наших жизней.

На оптимистичные мысли меня натолкнула свежая новость — израильские разработчики из компании Kahun выпустили ИИ-систему, способную помогать врачам в постановке диагнозов.

Она основана на крупнейшей в мире базе материалов по доказательной медицине и использует в работе те же принципы, которыми руководствуются опытные доктора. По словам создателей, их алгоритм имитирует клиническое мышление, то есть приходит к заключению тем же путём, каким бы это сделал живой специалист.

Как это работает?

Система состоит из двух основных элементов. Первый — это семантическая сеть, в которой выстроено свыше 30 млн взаимосвязей между различными данными о заболеваниях терапевтического профиля.

Второй — ИИ-алгоритм, способный получать клинический портрет пациента, пропускать эту информацию через базу знаний и в режиме реального времени выдавать рекомендации по дальнейшему обследованию.

Сейчас разработка доступна в виде чат-бота. По замыслу создателей, его можно установить на сайте клиники, чтобы проводить первичный опрос пациентов при записи к врачу. Цифровой медицинский консультант получит у больного все необходимые сведения и поставит предварительный диагноз. Это позволит живому специалисту как можно скорее направить пациента на нужные обследования и составить план лечения.