ИИ-новинки NVIDIA на GTC

Вчера NVIDIA показала новые видеокарты. Но мне куда интереснее другой анонс — сервисы NeMo LLM и BioNeMo LLM, которые упрощают адаптацию больших языковых моделей и развёртывание приложений на базе ИИ.

Проблема в том, что разработка и обучение LLM обходится дорого. Говорят, на недавнюю PaLM от Google потратили минимум девять миллионов долларов (а возможно, и в два раза больше). Да и времени это занимает немало: обычно несколько недель или даже месяцев.

По словам представителей NVIDIA, с помощью новых инструментов можно будет создавать модели размерами от 3 до 530 млрд параметров. И это займёт часы или даже минуты!

Такая высокая скорость достигается за счёт того, что модели не придётся разрабатывать с нуля — можно будет адаптировать уже существующие базовые (с помощью метода prompt learning). Для этого достаточно «скормить» нейросети всего несколько сотен примеров. Фишка ещё и в том, что одну и ту же модель получится настраивать для нескольких вариантов использования.

На презентации мельком упомянули функцию playground — она позволит «играться», то есть экспериментировать с моделями без использования кода. Видимо, нейросетки можно будет настраивать с помощью текстовых подсказок или других инструментов. В любом случае, настройка станет доступнее.

После развёртывания модель можно будет запускать в облаке, локально или через API.

Платформа BioNeMo LLM предназначена для учёных, занимающихся естественными науками. Инструмент поддерживает форматы данных о белках, ДНК и РНК. Другими словами, он поможет лучше понимать болезни и находить для них лечение. А ещё фреймворк включает две новые языковые модели, которые работают с приложениями в области химии и биологии.

Пока разработчики не назвали точную дату релиза. Но ожидается, что NeMo LLM и BioNeMop LLM откроются в раннем доступе уже в октябре. А сторонние разработчики могут подать заявку уже сейчас.

Кодеры больше не нужны?

С таких слов началась любопытная статья на сайте IEEE Spectrum. Если вдруг не слышали про это издание, то где вы были все эти годы? Один из ведущих научных и инженерных журналов в мире, издаётся аж с 60-х!

Извините, отвлеклась. Авторы материала решили поспрашивать именитых экспертов, сможет ли искусственный интеллект заменить программистов. Спойлер — программисты могут выдохнуть.

Но индустрия паникует не просто так. В 2020 году языковую модель GPT-3 обучили фронтенду — сначала модель рисовала макеты по текстовому описанию, а затем научилась создавать веб-элементы. Позже появились системы, которые могут писать (пусть и пока простые) компьютерные программы — достаточно их об этом попросить.

Вице-президент Amazon, отвечающий за ИИ, Васи Филомин не верит, что искусственный интеллект хоть сколько-нибудь заменит людей-разработчиков. Напротив — новые инструменты освободят программистов от рутины, чтобы у них оставалось больше времени для творчества.

Впрочем, я не ожидала услышать от него ничего другого. Ведь всего пару месяцев назад Филомин презентовал инструмент CodeWhisperer, который умеет писать целые функции на основе комментария или нескольких строчек кода.

Соучредитель Diffblue Питер Шраммель тоже уверен, что автоматическая генерация кода поможет разработчикам сосредоточиться на более важных задачах. Но есть нюанс: даже в этом случае человеку придётся взаимодействовать с ИИ, чтобы проверить, правильно ли машина поняла его инструкции.

Ориол Виньялс, руководитель группы глубокого обучения DeepMind предупреждает: даже если ИИ заменит живых программистов, до этого ещё нужно будет дожить. Возможно, потребуются десятилетия. С ним согласен основатель и СЕО Landing AI Эндрю Нг.

«Мы все еще очень далеки от того, чтобы человек мог сообщить компьютеру о требованиях к произвольной сложной компьютерной программе и автоматически закодировать её», — сказал он.

Чтобы давать компьютеру инструкции на естественном языке, разработчикам по-прежнему нужно понимать некоторые концепции логики и функций. Без опыта в программировании, без основ это невозможно, говорят эксперты.

Синтез с преобразователями

Регулярно читаю гугловский блог, у них много интересного про ИИ. Например, пару дней назад разработчики рассказали, как отчасти решили давнюю проблему на границе компьютерного зрения и графики — синтез трёхмерных сцен.

Если в двух словах описать сложность, то нейросети пока не всегда хорошо справляются с тем, чтобы создавать новую сцену из статичных изображений.

Проблема в том, что для точного синтеза модель должна собирать данные разной природы: 3D, информацию об освещённости и тд. И всё это нужно получить иногда всего из нескольких снимков.

И вот недавно исследователи представили модель глубокого обучения, которая может создавать новые сцены по нескольким картинкам. Причём в очень хорошем качестве. Технология называется Light Field Neural Rendering (LFNR).

Входные данные для моделей состоят из набора фотографий, параметров камеры (фокусное расстояние, положение и ориентация в пространстве) и параметры среды.

Вместо полной обработки каждого изображения, модели рассматривают только те области, которые могут повлиять на целевой пиксель. Они определяются с помощью эпиполярной геометрии, которая отображает каждый целевой пиксель в линию на каждом кадре. Для надёжности нейросети берут небольшие участки вокруг точек на эпиполярной линии.

Затем на этот участок воздействует последовательность из двух преобразователей. Первый агрегирует информацию по каждой эпиполярной линии, а второй — по каждому представленному изображению. Так исследователи сопоставляют наборы фрагментов, выделенных вдоль эпиполярных линий, с целевым цветом пикселя.

LFNR показал отличные результаты в самых популярных тестах синтеза изображений. Посмотрите на гифку ниже — это результат работы модели. Отражение на компакт-диске и преломление света через бутылку выглядят очень реалистично.

Та самая гифка. LFNR хорош!

Ухаживаем за курочками с помощью ИИ

Помните, я недавно рассказывала об алгоритме, который рассчитывает риски для будущих матерей и помогает сделать роды более безопасными? Так вот, теперь ИИ приспособили ещё и для ухода за куриным потомством.

Энтузиаст Актар Кутлухан построил IoT-систему на базе искусственного интеллекта, которая автоматически кормит пернатых и следит за невылупившимися яйцами. Как пояснил инженер, на частоту кладки яиц и здоровье будущих птенцов влияет множество факторов, за которыми не всегда получается уследить. Например, если неправильно выстроить график кормления, курицы и вовсе могут перестать нестись. Остановка несения яиц — это ли не проклятье фермера?

Вот что использовал Актар для проекта:

👉 Алгоритм Edge Impulse FOMO (Faster Objects More Objects) для обучения модели обнаружения объектов
👉 Компактная система компьютерного зрения OpenMV Cam H7
👉 Модуль WizFi360-EVB-Pico, чтобы подключить камеру к Wi-Fi
👉 8,9-дюймовый IPS-дисплей DFRobot
👉 1,8-дюймовый TFT-дисплей ST7735
👉 Датчик температуры и влажности DHT22
👉 Пауэрбанк на 20 000 мА*ч

Кстати, весь набор очень бюджетный. Без учета 8,9-дюймового тачскрина за детали придётся отдать где-то 125 долларов (чуть больше 7 тысяч рублей).

Как это всё работает?
Искусственный интеллект подсчитывает число снесённых яиц и следит за тем, чтобы у пернатых всегда была еда. Также система проверяет, чтобы в клетке сохранялись комфортные температура и влажность. Все данные отправляются курозаводчику через WhatsApp.

Очевидно, что вы захотите построить себе такой же аппарат, специально для вас подробная инструкция от Кутлухана.

Через 2 дня Tesla наконец покажет своего человекоподобного робота

Компания анонсировала AI Day ещё в августе. Но Маск написал, что мероприятие решили перенести на 30 сентября — видимо, раньше они не успевали допилить своего Оптимуса (так будет называться их антропоморфный робот).

Уже реально интересно посмотреть хотя бы на прототип. Пока мы знаем некоторые характеристики модели:

👆 Рост — 1,73 см
⚖ Вес — почти 57 кг
🚀 Максимальная скорость — 8 км/ч (сможете от него убежать, если что)
🏋‍♀️ Вес, который он сможет поднять — 68 кг

Логичный вопрос: а зачем он вообще нужен? В теории, этот терминатор пригодится на заводах. Он будет таскать тяжелые детали и выполнять другую монотонную (или опасную) работу.

Для ориентации в пространстве у робота будет восемь камер. А управлять Оптимусом будет тот же FSD-компьютер, который используется в автомобилях Tesla.

В общем, любопытно будет посмотреть на результат. Потому что вопросов осталось очень много. Сколько он будет работать без подзарядки (и куда вставлять провод)? Как будет реагировать на обычные «человеческие» команды?

Последние новости об этом роботе были только в прошлом году. Вот, кстати, отрывок той презентации.

А это интро из той самой презентации Маска. Да, такой Оптимус я бы и сама купила!

«Инопланетный» интеллект играет в покер лучше профессионалов

Немецкий журналист Фред Швалер написал очень интересный материал о том, почему ИИ решает человеческие проблемы не так, как мы к этому привыкли. Автор объяснил разницу практически на пальцах — всё видно очень наглядно на примере игры в покер.

Пару лет назад бот Pluribus обыграл пятерых лучших гемблеров — они отдали ему 1,7 млн долларов. Тогда игроков спросили, мол, что произошло. Оказалось, бот слишком круто блефовал. «Ни один человек никогда бы не делал такие ставки» — жаловались игроки. Они даже сравнили бота с инопланетянином.

Почему так происходит? Потому что люди и ИИ учатся играть по-разному. Человек приобретает два основных навыка: как принимать лучшие математические решения и как «читать» оппонентов. А Pluribus пошёл другим путём: он натренировал искусство блефа через триллионы игр, методом проб и ошибок. Помог метод обучения с подкреплением.

У людей нет ни времени, ни ресурсов на такие тренировки. Наш мозг теряет много воспоминаний, которые считает лишними, неважными для выживания. А машины всё это накапливают и используют. Архитектура компьютера и мозга отличаются очень сильно — отсюда и разные способы решения проблем.

ИИ кажется «инопланетным» неслучайно. Он не только думает по-другому, но и лишён эмоций. А из-за них люди не могут научиться блефовать так же круто. Бот не боится потерять деньги, поэтому может идти ва-банк с любыми картами.

При этом нестандартное «мышление» искусственного интеллекта помогает учёным делать открытия. Идеальный пример — нейросеть AlphaFold, которая предсказала трёхмерную структуру почти всех существующих белков. А это, на секундочку, один из фундаментальных вопросов биологии (недавно писала про это подробный пост).

Но в «инопланетности» есть и минусы. Человек должен хорошо понимать, как работает ИИ, чтобы контролировать его. А с этим у нас могут возникнуть проблемы.

Недельный дAIджест души питона

Решила по пятницам делать небольшую подборку самых интересных (для меня) новостей. Поехали.

Text-to-video

Генерацией картинок уже никого не удивишь, поэтому сразу несколько компаний (сами знаете каких) показали достижения в новых областях. Один из алгоритмов делает короткие видео по текстовым описаниям. Пока результаты с низким разрешением, а доступ есть только у разработчиков. Но все равно кадры впечатляют.

Второй алгоритм создает 3D-модельки, метод называется DreamFusion, он использует 2D-диффузию. В качестве входных данных опять же текстовые подсказки.

BigCode

Стартап Hugging Face и ServiceNow Research запустили проект, который решает часть этических и правовых проблем при создании больших языковых моделей. Например, недавно разработчиков платного сервиса Copilot обвинили в том, что алгоритм обучался, в том числе, на материале, авторы которого не давали своего согласия.

BigCode должен выпустить большой набор данных для обучения систем генерации кода. Он понадобится для создания прототипа — модели с 15 млрд параметров (это больше чем у Codex с 12 млн, но почти в три раза меньше AlphaCode). Алгоритм будет открыт для исследователей.

Tesla AI

Так сказать, новость будущего во всех смыслах. Мероприятие Маска начнется 30 сентября в 17:00 по Тихоокеанскому времени, то есть в 3:00 субботы по Москве. Помимо долгожданного робота Оптимуса, там могут показать усовершенствованный автопилот и много другого. Если планируете на выходных тотальный «диджитал-детокс», то заходите в канал в понедельник, я расскажу с утра о главном.

Whisper

Open AI выпустила нейросеть для распознавания речи с 1,5 млрд параметров и открытым исходным кодом. Её натренировали на 680 тысячах часов аудиоданных с расшифровками на 98 языках.

С моделькой уже можно поиграться: код разработчики сразу выложили на GitHub. Из плюсов — она автоматически распознаёт несколько языков, в том числе русский.

Думаете, в России не происходит ничего интересного в сфере исследований ИИ? Как бы не так!

Например, я с огромным интересом за выходные прочитала от корки до корки свежий выпуск Альманаха «Искусственный интеллект». Он уже 11-й по счёту! И посвящен очень актуальной и проблемной теме использования ИИ в медицине и здравоохранении.

⚛️ Выпускает Альманах команда Центра искусственного интеллекта МФТИ под руководством Игоря Пивоварова. Ребята занимаются созданием единственного регулярного аналитического издания по проблемам ИИ в России с 2019 года. Новый номер получился самым объёмным за всю историю — 40 статей почти на 200 страницах. Куча полезной и занимательной инфографики.

🧬 Авторский коллектив решил подойти к созданию и сбору материалов системно. Несколько разделов посвящены революции, которую произвели омикс-данные в биологии, и как алгоритмы помогают биоинформатикам, фармакологам и молеклярным биологам изучать процессы внутри живых клеток, искать и создавать новые лекарства от рака и других тяжёлых заболеваний, развивать прецизионную — почти индивидуальную для каждого пациента медицину.

🩻 Конечно же много материалов и о применении компьютерного зрения и классификаторов в диагностике — одна из самых быстрорастущих областей в медицинском ИИ. Другие разделы понравятся поклонникам биохакинга, движения «количественное измерение себя» (Quantified Self), лайфлоггинга и т.д. Речь, естественно, о носимых устройствах и перманентном снятии и анализе множества физиологических данных в повседневной жизни.

🩺 Интересно, что я ещё в июне писала о внедренной в Якутии системе поддержки принятия врачебных решений Webiomed, разработанной отечественным стартапом «К-Скай». Всего за три месяца система проанализировала 2,8 миллиона документов и уже помогает выявлять пациентов с высоким риском развития более 40 различных заболеваний. А в Альманахе можно прочитать несколько статей от специалистов из этой компании об использовании ИИ в инфраструктуре здравоохранения и о предиктивной аналитике.

💊 Не обошлось и без систем анализа микробиома, разработке новых фармпрепаратов in silico, использовании чатботов в психологическом консультировании и т.д. Но самое главное — в Альманахе поднята центральная тема — почему при столь грандиозных успехах в научных лабораториях, стартапах и наличии готовых технологий, они так медленно внедряются в практическую врачебную деятельность. Почему на обложках журналов у нас уже давно XXI век, а в здравоохранении конец 1980-х.

Шок-контент: учёные приблизились к решению одной из главных задач квантовой физики с помощью нейросети

Я прочитала несколько дней назад новость, что ИИ помог исследователям рассчитать движение электронов по квадратной решётке. Причем сетка сделала это с помощью всего четырёх уравнений. Я не физик, поэтому решила разобрать новость с одним из научных сотрудников физфака МГУ, имя не назову. Дальше будет длиннопост, потерпите.

Так вот, раньше для этой задачи требовались сотни тысяч уравнений — по одной на каждый пиксель визуализации! Разложим теперь всё по полочкам.

🤝 Взаимодействие движущихся по решётке электронов — это чуть ли не основная проблема для физиков. Это связано с тем, что даже находящиеся далеко друг от друга (в разных узлах решётки) элементарные частицы могут взаимодействовать. Поэтому их нельзя рассматривать по отдельности — нужно смотреть на всю картину целиком. А в зависимости от количества участвующих электронов, эта картина может невероятно усложняться.

🎓 Один из способов изучения квантовой системы — метод ренормализационной группы. Физики используют этот математический аппарат, чтобы посмотреть, как электроны ведут себя при разных условиях (например, если изменить температуру). Но этот метод может содержать сотни тысяч отдельных уравнений для отслеживания всех возможных связей между этими частицами.

🤖 Для упрощения задачи учёные разработали нейросеть. Сначала она воспроизводит соединения в полноразмерной ренормализационной группе. Затем алгоритм ищет небольшой набор уравнений, которые генерируют то же самое решение, что и «оригинальная» группа с сотнями тысяч. В некоторых случаях хватало всего четырёх уравнений, причём вообще без ущерба для точности.

Обучение нейронки заняло несколько недель. Зато теперь её можно адаптировать для работы над другими проблемами конденсированных сред. Возможно, такой подход к решению огромного числа уравнений поможет при решении аналогичных задач, например, в космологии, нейробиологии и т.д.

⚛️ Но главный плюс метода — потенциальная возможность в дальнейшей разработке сверхпроводников. Сейчас сверхпроводящее состояние материалов достигается либо при сверхнизких температурах (ниже температуры кипения жидкого азота -196 С), либо под гигантским давлением порядка 1 млн атмосфер. А ученые давно ведут работы над получением материалов с такими свойствами при комнатной температуре и менее экстремальном давлении — потери мощности на проводах из таких материалов ничтожны!

В общем, технологии ИИ продолжают доказывать, что в правильно заточенных руках они становятся уникальным инструментом даже в фундаментальной науке.

Ещё раз про протеины

Помните, летом писала про расшифровку структуры почти всех известных белков в природе? Протеиновый тренд с тех пор не затихает. Недавно российские учёные из AIRI показали инструмент для предсказания участков связывания антител с белками вирусов и бактерий — SEMA. Я пообщалась с разработчиками алгоритма, чтобы выяснить детали (и зачем вообще всё это нужно).

Чтобы понять суть, нужно кратко рассказать, как работает вакцинация. В вакцинах содержится белок, аналогичный белку вируса, против которого необходимо выработать иммунитет.

На этот белок нарабатываются специфичные антитела. После появления новых мутаций в геноме вируса (новые штаммы) не все антитела продолжают «садиться» на изменённые белки и останавливать проникновение изменённого штамма в наши клетки.

Здесь в игру вступает SEMA — он помогает оценить вероятность и эффективность контакта между белком вируса и антителами. То есть инструмент предсказывает наиболее вероятные места посадки антител (такие площадки называются эпитопы) на исследуемый белок.

Кому будет полезна технология? В первую очередь биологам, иммунологам, разработчикам вакцин и терапевтических препаратов на основе антител.

Нейросеть обучили на датасете, который собрали из данных базы PDB (брали всю доступную инфу по комплексам антиген-антитело). Модель принимает белки в виде аминокислотной последовательности или 3D-структуры. На выходе получается информация, полезная при выборе самых перспективных фрагментов белка для включения в состав вакцины.

Фишка в том, что SEMA уже есть в открытом доступе. Там его можно даже потестить (для этого есть уже готовые последовательности). А вот исходный код на GitHub.

Так работает SEMA: инструмент для предсказания участков связывания антител с белками вирусов и бактерий

ДAIджест недели

Продолжаем уже регулярную пятничную рубрику. Все самые интересные новости прошедших дней несколькими строками.

1. Imagen Video. Новый и очень впечатляющий инструмент от Google, который умеет генерировать видео по текстовым подсказкам. На выходе получается пятисекундный ролик с частотой 24 к/с и разрешением 1280х768. Примеры можно посмотреть здесь, а подробности архитектуры — здесь.

2. Magic Leap 2. Разработчики называют второе поколение AR-очков «самым маленьким и лёгким устройством дополненной реальности, созданным для предприятий». Очки и правда стали на 20% легче (260 г) и на 50% меньше. Внутри — два дисплея по 1440х1760 и 120 Гц, а также 3 широкоугольных камеры. Диагональный угол обзора 70°. Подробности по ссылке.

3. 3DiM. Google Research показала диффузионную модель для синтеза трёхмерной картинки всего из одного изображения. Посмотрите, как это выглядит — даже немного не верится.

4. ИИ помог учёным рассчитать движение электронов по квадратной решётке. Раньше эта задача требовала сотни тысяч уравнений, но алгоритм сократил их до четырёх. Вот мой подробный пост, а здесь оригинальная новость.

Друзья, я, как автор канала про ИИ слежу за большим количеством коллег по цеху, так сказать.

Один из таких каналов - это SmartMarket by Sber. А недавно мне удалось познакомиться с ними лично. Обсудили с ребятами новости в мире AI, тренды, перспективы и проблемы. Так на теме Kaggle разговорись и авторы предложили мне написать для их канала пост про комьюнити.

Если вы не знаете, Kaggle— это комьюнити для начинающих и продвинутых дата-сайентистов. Первые могут учиться, задавать вопросы и обмениваться «ядрами». Вторые — нарабатывать связи, решать сложные задачки и зарабатывать рейтинг. В общем, подробнее рассказала на SmartMarket by Sber.

Мне нравится на канале, что авторы пишут без воды и стараются быть максимально полезными. Приходишь, и понимаешь, что ты тут можешь получить для себя. Есть и про новый инструментарий саентистов, и лайфхаки из крупных корпораций. А еще там бывают подборки вакансий.