🎂SaLinA – легковесная DL-библиотека для последовательного обучения агентов и обучения с подкреплением от Facebook Research
SaLinA основана на популярном DL-фреймворке PyTorch и использует Hydra для настройки экспериментов, а также Gym для алгоритмов обучения с подкреплением. Исходный код SaLinA не превышает 300 строк, но она позволяет реализовать последовательные процессы принятия решения, создавая сложные агенты из более простых с предопределенными контейнерами. А оболочка NRemoteAgent может выполнить любой агент в нескольких процессах, ускоряя вычисления. Благодаря тому, что алгоритмы выполняются на CPU или графических процессорах, процессы развертывания и масштабирования становятся проще.
Стоит помнить, что SaLinA – это не просто очередной RL-фреймворк: она ориентирована на последовательное принятие решений в целом, а только для этого частного случая. Помимо обучения с подкреплением, SaLinA можно использовать для контролируемого ML, моделей внимания, многоагентного обучения, рекомендательных систем и других вариантов использования. Хотя SaLinA – это всего лишь небольшой слой поверх PyTorch, который очень просто использовать, этот инструмент очень мощный.
Библиотека распространяется под лицензией MIT И доступна для свободного скачивания с Github. https://github.com/facebookresearch/salina

😎Безопасное распознавание лиц: датасет с синтетическими лицами от Microsoft
После того, как DS-исследователи, управляющие популярным набором данных ImageNet, решили размыть входящие в него снимки лиц реальных людей, корпорация Microsoft создала датасет синтетических изображений лиц под названием «Fake It Till You Make It». Этот набор данных получен с помощью DL-нейросети, генерирующей параметрическую 3D-модель лица, к которой случайным образом применяются текстуры кожи и волос. В результате составлен датасет из 100000 изображений лиц с разрешением 512 x 512 пикселей, включая 70 стандартных аннотаций лицевых ориентиров и попиксельные аннотации семантических классов. Разработчики ожидают, что этот набор данных поможет ML-специалистам организовать предварительное обучение алгоритмов распознавания лиц перед запуском в production.
https://microsoft.github.io/FaceSynthetics/
https://github.com/microsoft/FaceSynthetics

🌦Не только биомедицина: DL-прогноз погоды от DeepMind
Дочерняя компания Google AI, ставшая всемирно известной после успеха AlphaFold с предсказанием структуры белков, недавно представила новый DL-проект: генеративно-состязательную сеть Deep Generative Model of Rain (DGMR) для краткосрочных прогнозов погоды. По сравнению с другими ML-аналогами и физическим моделированием, эта модель дает самые высокие показатели точности. DGMR представляет собой генеративно-состязательную нейросеть, обученную на данных с радиолокационных измерений о формировании и движении облаков. GAN-сеть генерирует новые образцы данных, похожие на обучающий датасет, полученный с радаров, создавая синтетические снимки радиолокации, которые продолжают последовательность реальных измерений.
https://deepmind.com/blog/article/nowcasting
https://www.nature.com/articles/s41586-021-03854-z

📝DL для исправления опечаток и других ошибок: Context IQ в Microsoft 365
2 ноября 2021 года Microsoft объявила об улучшении текстового редактора и других офисных приложений с помощью ИИ. Благодаря DL-решению Context IQ опечатки будут исправляться сами, а найти нужный документ и поделиться им с коллегами станет еще проще. Это лишь немногие функции, которые станут доступны пользователям в 2022 году, который наступит уже через пару месяцев.
https://techcommunity.microsoft.com/t5/microsoft-365-blog/microsoft-editor-is-now-superpowered-with-context-iq-to-help-you/ba-p/2897180

🔥MuJoCo теперь open-cource: как DeepMind купила и открыла исходный код самого популярного робосимулятора
MuJoCo (Multi-Joint Dynamics with Contact) – физический симулятор, разработанный Roboti LLC, активно используется для моделирования реальных ситуаций у робототехников. Контактная модель симулятора точно и эффективно фиксирует характерные особенности различных объектов. Как и другие симуляторы твердого тела, он избегает мелких деталей деформаций в месте контакта и работает быстрее, чем в реальном времени. Однако, в отличие от других симуляторов, MuJoCo использует выпуклый принцип Гаусса, обеспечивая четко определенную обратную динамику. Модель предоставляет множество параметров, которые можно настраивать для аппроксимации широкого диапазона явлений контакта.
В октябре 2021 года дочерняя компания Google AI, DeepMind приобрела MuJoCo и открыла его исходный код. Скоро планируется выпустить MuJoCo в виде бесплатной предварительно скомпилированной библиотеки.
https://deepmind.com/blog/announcements/mujoco
https://github.com/deepmind/mujoco

😜Распознавание речи на редких языках: новый проект MIT
Исследователи из Массачусетского технологического института предлагают удалить ненужные части общей, но сложной модели распознавания речи, а затем внести в нее незначительные изменение, чтобы модель могла распознавать определенный язык. После того, как крупная модель будет уменьшена, ее обучение становится дешевле и быстрее. Это поможет внедрить системы автоматического распознавания речи в страны и регионы, где люди говорят на редких языках.
Ученые модернизировали Wave2vec 2.0 – популярную ML-модель, которая учится распознавать разговорный язык после тренировки на больших объемах немаркированных данных. Изначально эта нейросеть имеет около 300 миллионов отдельных соединений и требует огромное количество вычислительных мощностей. На первом этапе из предварительно обученной Wave2vec 2.0 удаляются ненужные соединения, далее подсеть корректируется для определенного языка, а затем снова сокращается. На этом втором этапе удаленные соединения могут расти, если они важны для конкретного языка. Поэтому модель нужно настраивать только один раз, а не за несколько итераций, что значительно снижает количество потребляемых вычислительных мощностей.
По сравнению с другими методами распознавания речи, предложенный подход особенно эффективен на небольших датасетах и может создать одну малую сеть, которую можно точно настроить для 10 языков одновременно. Это дополнительно сокращает расходы и время на обучение языковых моделей.
https://news.mit.edu/2021/speech-recognition-uncommon-languages-1104

🌏🪐🌚Как DL открывает новые экзопланеты и ищет незаконные свалки
Большинство известных сегодня экзопланет обнаружено транзитным методом, основанным на мини-затмениях при прохождении планеты перед звездой. Наблюдаемое уменьшение светимости позволяет сделать вывод о существовании планеты и оценить ее диаметр после периодического подтверждения наблюдений. Однако, во многих планетных системах взаимодействия между планетами изменяют эту периодичность и делают невозможным их обнаружение. Поэтому группа ученых из университетов Швейцарии вместе с компанией Disaitek применили ИИ для обработки изображений, научив ML-модель предсказывать эффект взаимодействия между планетами, чтобы найти экзопланеты.
Нейросеть определяет для каждого пикселя изображения того объекта, который он представляет, чтобы выявить для каждого измерения светимости звезды, наблюдается ли затмение планеты. Далее ML-модель принимает решение, сравнивая все доступные наблюдения этой звезды с диапазоном конфигураций, наблюдаемых во время ее обучения. Так с помощью ML обнаружены две экзопланеты - Kepler-1705b и Kepler-1705c, определены их радиусы, масса, сделаны выводы о плотности и составе. DL проанализировало множество результатов численного моделирования, производящего терабайты данных.
Хотя метод доказал свою эффективность для астрономических наблюдений, он может также использоваться и для земных нужд для наблюдений за нашей планетой и окружающей средой, в частности, для решения экологических проблем, например, обнаружения незаконных свалок.
https://phys.org/news/2021-10-exoplanets-artificial-intelligence.html

📕📗📘RGB-Stacking от DeepMind: новый эталон для роботизированных манипуляций на базе CV
DeepMind открыла исходный код среды моделирования для RL-обучения роботов-манипуляторов. В этой среде агент управляет манипулятором робота с параллельным захватом над корзиной, которая содержит три объекта разных цветов - красный, зеленый и синий, отсюда и название RGB (Red, Green, Blue). Задача агента - поставить красный объект поверх синего в течение 20 секунд, когда зеленый объект служит препятствием и отвлекает. Агент управляет роботом с помощью четырехмерного декартового контроллера, с 3-мя контролируемыми степенями свободы (x, y, z) и вращением вокруг оси z. Моделирование представляет собой среду MuJoCo, созданную с использованием структуры Modular Manipulation (MoMa).
Суть подхода в том, чтобы перевести основанную на состоянии политику моделирования с помощью стандартного RL-алгоритма с последующей интерактивной дистилляцией в политику на базе компьютерного зрения с использованием рандомизированной версии среды предметной области. Добавлено автономное обучение с подкреплением на основе симулированных и реальных данных.
https://deepmind.com/blog/article/stacking-our-way-to-more-general-robots
https://github.com/deepmind/rgb_stacking

🏃‍♀️🏃Ансамбли DL-моделей быстрее, чем вы думаете: новости от Google AI
При построении DL-модели для нового ML-приложения исследователи часто начинают с существующих сетевых архитектур типа ResNets или EfficientNets. Если точность исходной модели недостаточно высока, более крупная модель может быть альтернативой, но не лучшим решением для поставленной задачи. А более высокой производительности можно добиться, разработав новую модель, оптимизированную для этой задачи. Но это обычно очень трудозатратно.
Решить проблему помогут ансамбли и каскады ML-моделей, которые достаточно просты сами по себе и создают новые модели из существующих и объединения их результатов. Ансамбли выполняют несколько моделей параллельно, а затем объединяют выходные данные, чтобы сделать окончательный прогноз. Каскады - это подмножество ансамблей, которые выполняют собранные модели последовательно и объединяют решения, как только прогноз имеет достаточно высокую достоверность. Для простых входных данных каскады используют меньше вычислений, но для более сложных может потребоваться большее количество моделей, что приведет к росту затрат на вычисления. По сравнению с одной моделью, ансамбли могут обеспечить повышенную точность, если прогнозы собранных моделей отличаются друг от друга. Например, большинство изображений в ImageNet легко классифицируются современными моделями распознавания изображений, но есть много изображений, для которых прогнозы различаются между моделями и которые больше всего выиграют от ансамбля. Тестирование показало, что ансамблевые и каскадные модели обладают высокой эффективностью и точностью по сравнению с современными моделями из стандартных архитектурных семейств.
https://ai.googleblog.com/2021/11/model-ensembles-are-faster-than-you.html

🙌🏻Ловкость рук и никакого мошенничества: DL для роботов-манипуляторов
Ученые из MIT создали масштабную систему, которая может переориентировать более 2000 различных объектов с помощью руки робота. Эта способность манипулировать чем угодно, от легкой чашки до тяжелого инструмента, поможет роботу быстро подбирать и размещать объекты определенным образом и в нужном месте. Это пригодится в логистике и производстве, например, упаковка предметов в слоты для комплектования. Команда разработчиков смоделировала антропоморфную руку с 24 степенями свободы и продемонстрировала жизнеспособность этой ML-системы в настоящего робота.
Исследователи использовали безмодельный DL-алгоритм обучения с подкреплением, когда система вычисляет полезные функции на основе взаимодействия с окружающей средой и метод обучения с учителем. Сеть «учителей» обучается на модельной информации об объекте и роботе. Чтобы гарантировать, что роботы могут работать вне симуляции, знания «учителя» превращаются в наблюдения из реального мира с фото и видеокамер о положениях объекта и суставов робота. Также применялась учебную программу по гравитации, где робот сначала тренирует навыки в условиях невесомости, а затем медленно адаптирует контроллер к нормальным условиям гравитации. Так всего один контроллер в качестве мозга робота может переориентировать большое количество объектов, которые он никогда раньше не видел и не знал ничего об их форме. Так множество маленьких предметов круглой формы (яблоки, теннисные мячи, шарики) имели почти 100% успеха при переориентации вверх и вниз, а для более сложных предметов (ложка, отвертка, ножницы), точность манипулирования приближаясь к 30%.
https://news.mit.edu/2021/dexterous-robotic-hands-manipulate-thousands-objects-1112

🤖Как заставить робота решать: новое исследование от Google AI
Несмотря на прогресс в обучении роботов, им до сих пор сложно выбрать наиболее подходящее действие при попытке имитировать точное или сложное поведение. Чтобы побудить роботов быть более решительными, исследователи часто используют дискретное пространство действий, которое заставляет робота выбирать вариант A или вариант B, не колеблясь между вариантами. Например, дискретность была ключевым элементом архитектуры Transporter Networks и используется в обучении игровых агентов: AlphaGo, AlphaStar и бот Dota OpenAI. Но дискретизация имеет свои ограничения - для роботов, которые работают в пространственно-непрерывном реальном мире, есть как минимум два недостатка дискретизации: ограничивает точность и запускает проклятие размерности, увеличивая требования к памяти. Поэтому в области CV недавний прогресс был обеспечен непрерывными, а не дискретными представлениями.
Чтобы разработать политики принятия решений без недостатков дискретизации, исследователи Google AI реализовали open-source проект с открытым исходным кодом Implicit Behavioral Cloning. Implicit BC представляет собой новый простой подход к имитационному обучению и был представлен на CoRL 2021. По сути, подход - это тип клонирования поведения, который, возможно, является для роботов самым простым способом освоить новые навыки на демонстрациях. При клонировании поведения агент учится имитировать поведение эксперта с помощью стандартного обучения с учителем. Традиционно клонирование поведения включает обучение явной нейронной сети, которая принимает наблюдения и выводит действия экспертов. Ключевая идея Implicit BC состоит в том, чтобы вместо этого обучить нейронную сеть выполнять как наблюдения, так и действия, и выводить одно число, низкое для действий эксперта и высокое для действий не эксперта (внизу справа), превращая поведенческое клонирование в проблема энергетического моделирования. После обучения политика Implicit BC генерирует действия, находя входные данные действия с наименьшей оценкой для данного наблюдения.
Implicit BC достигает хороших результатов как в моделируемых тестовых задачах, так и в реальных роботизированных задачах, требующих точного и решительного поведения. Это включает в себя достижение самых современных результатов (SOTA) в задачах, выполняемых человеком-экспертом из недавнего эталонного теста нашей команды для автономного обучения с подкреплением, D4RL. В шести из семи из этих задач Implicit BC превосходит лучший предыдущий метод для автономного RL - Консервативное Q Learning. Интересно, что Implicit BC достигает этих результатов, не требуя никакой информации о вознаграждении, то есть он может использовать относительно простое обучение с учителем, а не более сложное обучение с подкреплением.
https://ai.googleblog.com/2021/11/decisiveness-in-imitation-learning-for.html
https://github.com/google-research/ibc

🐱Кот Шредингера и DL
Кот Шредингера, который сидит в закрытом ящике – популярная модель для объяснения того, насколько странно квантовые эффекты выглядят применительно к макроскопическим системам. Суть этого мысленного эксперимента в том, что вместе с котом в ящике находится колба с ядовитым газом, радиоактивный атом и счетчик Гейгера. Радиоактивный атом может распасться в любой момент, а может не распасться. При распаде счетчик засечет радиацию и его механизм разобьет колбу с газом, а кот погибнет. Если радиоактивный атом не распадается — кот живет. Атом находится в состоянии неопределенности — он распался с вероятностью 50% и не распался с вероятностью 50%. Поэтому до того, как экспериментатор откроет ящик, атом и, соответственно, кот, будут находиться в обоих состояниях сразу. А после того, как экспериментатор откроет ящик, неопределенность пропадет. Таким образом, в квантовом мире любое взаимодействие системы с окружающей средой, включая наблюдения и измерения, немного изменяет ее состояние.
Эта теория квантовых состояний давно не дает покоя физикам. Поэтому ученые из Университетов Японии и Австралии использовали глубокое обучение с подкреплением, при котором искусственный нейронный агент исследует и учится управлять квантовой эволюцией нелинейной системы типа «двойная яма», приводя ее к основному состоянию с высокой точностью. Эксперименты показали, что DRL может эффективно обучаться нелогичным стратегиям охлаждения системы до почти чистого «кошачьего» состояния, которое имеет высокую точность перекрытия с истинным основным состоянием.
https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.127.190403

🌸☀️🌴GauGAN2 от NVIDIA: скажите слово и получите картинку от DL-нейросети
Новая генеративно-состязательная нейросеть нейросеть GauGAN2, обученная на 10 миллионах фотографий природы и суперкомпьютере NVIDIA Selene, генерирует реалистичные изображения природы по их краткому описанию. На одной модели она строит карты сегментации и преобразует текст в изображение, позволяя затем доработать его в графическом редакторе. Достаточно задать пару слов, например, «сумерки в летнем лесу» и GauGAN сгенерирует картинку.
Одним нажатием кнопки пользователи могут создать карту сегментации - высокоуровневую схему, которая показывает расположение объектов в сцене. Далее можно настраивать полученную сцену, например, чтобы сделать деревья выше или ниже. Личное тестирование этого веб-приложение показало, что следует вводить детальные запросы: например, «rainy forest» не создало картинку, а вот «sunset in rainy forest» - уже позволило получить снимок заката в дождливом леса.
https://blogs.nvidia.com/blog/2021/11/22/gaugan2-ai-art-demo/
https://www.nvidia.com/en-us/research/ai-demos/
http://gaugan.org/gaugan2/

🌏☀️🌦Прогнозирование осадков с MetNet-2 от Google AI
Google AI представил новую DL-модель для 12-часового прогнозирования осадков. Классические методы прогнозирования погоды чувствительны к приближениям физических законов и требуют множества вычислительных ресурсов. Глубокое обучение предлагает новый подход: модели учатся предсказывать погодные условия на основе наблюдаемых данных. DL работает намного быстрее традиционных методов и предоставляет результат высокого качества.
За счет четырехкратного увеличения входного контекста и расширения архитектуры для захвата более продолжительных пространственных зависимостей, MetNet-2 улучшает производительность первой версии этой нейросетевой модели. Также MetNet-2 превосходит современную ансамблевую модель HREF для 12-часового прогнозирования погоды.
Входы в MetNet-2 включают радиолокационные и спутниковые изображения. Также MetNet-2 использует предварительно обработанное начальное состояние из физических моделей в качестве прокси и как дополнительную информацию. Измерения осадков на основе радара (MRMS) служат в качестве достоверной информации, т.е. результатов прогнозирования и нужны оптимизации параметров MetNet-2. Вероятностные прогнозы MetNet-2 можно рассматривать как усреднение всех возможных будущих погодных условий, взвешенных по их вероятности. Благодаря своей вероятностной природе, MetNet-2 можно сравнить с ансамблевыми моделями, основанными на физике, которые усредняют некоторое количество будущих погодных условий. Но работа ансамблевых моделей занимает около часа, тогда как MetNet-2 выдает результат примерно за 1 секунду благодаря распараллеливанию по 128 ядрам Cloud TPU v3-128. А чтобы сверточные слои DL-модели могли улавливать большие пространственные контексты, MetNet-2 использует расширенные рецептивные поля. Их размер удваивается послойно, чтобы соединить точки на входе, которые находятся далеко друг от друга.
https://ai.googleblog.com/2021/11/metnet-2-deep-learning-for-12-hour.html

🛳DL-нейросеть на внимании для подводной акустики
Глубокое обучение помогает обнаруживать подводные объекты, исключая шумовые помехи. В подводной акустике глубокое обучение используется для обнаружения кораблей и подводных лодок, которые терпят бедствие. Исследователи из Китая и США разработали глубокую нейросеть, основанную на внимании (ABNN, Attention-based deep neural network), которая позволяет лучше обнаруживать целевые сигналы. ABNN использует модуль внимания, чтобы сосредоточиться на самых важных частях через добавление большего веса к определенным узлам. Включив ABNN в гидроакустическое оборудование для целевого обнаружения кораблей, исследователи испытали два корабля на мелководье площадью 135 квадратных миль в Южно-Китайском море. По сравнению с другими глубокими нейросетями, ABNN показала более точные результаты. Обнаружение становится более явным, т.к. DL-сеть непрерывно циклически проходит через весь набор обучающих данных, акцентируя внимание на взвешенных узлах и игнорируя нерелевантную информацию.
https://www.sciencedaily.com/releases/2021/10/211012154827.htm

👀DL и аппаратные инновации для конфокального микроскопа
Принцип конфокальной микроскопии, запатентованный еще в 1957 году, стал стандартом в медико-биологических лабораториях благодаря отличной контрастности по сравнению с традиционной широкопольной микроскопией. Но конфокальные микроскопы не идеальны: исследования на них длятся достаточно долго, т.к. сканирование биологического образца выполняется последовательно с постепенным повышением разрешения.
Поэтому ученые добавили DL-нейросети, чтобы снизить фототоксичность, т.е. уменьшить свет от лазера микроскопа и исключить зернистость фона. Команда обучила модель глубокого обучения различать изображения более низкого качества с низким отношением сигнал/шум (SNR) и более качественные изображения с более высоким SNR. В итоге сеть может предсказывать изображения с более высоким SNR даже при довольно низком входном SNR. Модель успешно показала себя в исследованиях около 20 различных фиксированных и живых образцах со структурами размером от 100 нанометров до миллиметра. Образцы включали распределение белков в отдельных клетках; ядра и развивающиеся нейроны у эмбрионов, личинок и взрослых нематод, миобласты в дисках крыльев дрозофилы, а также в тканях почек, пищевода, сердца и мозга мышей. В перспективе подобную DL-модель можно использовать для визуализации тканей человека в медицинских лабораториях гистологии и патологии.
https://phys.org/news/2021-11-workhorse-artificial-intelligence-hardware-boost.html

Обучение с подкреплением: главные плюсы и минусы RL
Reinforcement Learning – один из самых популярных сегодня методов глубокого обучения. Он наиболее близок к человеческому способу познания мира – получение практического опыта методом проб и ошибок. Технически RL подразумевает, что агент получает количественное вознаграждение за успешные действия, а затем максимизирует шансы на получение максимального бонуса с помощью оптимальной политики.
Основной плюс RL – это отсутствие повторяемости ошибок. В отличие от традиционных ML-моделей обучения с учителем, RL-агенты учатся сами и с меньшей вероятностью повторят ошибку дважды. Более того, они поддерживают баланс между исследованием и производительностью. В отличие от других ML-алгоритмов, RL может разработать идеальную политику, которая открывает новые возможности, а также использует правильные действия из прошлого опыта.
Недостаток в том, что RL-модели не всегда быстро находят оптимальную политику, поэтому им нужна более-менее постоянная среда, параметры которой не меняются быстро. Это маловероятно в реальном мире, поэтому отсроченное вознаграждение агента может привести к плохой согласованности политики.
Тем не менее, RL отлично подходит для ситуаций, когда нужно смоделировать определенный процесс. Например, бизнес хочет выяснить реакцию потребителей на новый пользовательский интерфейс своего продукта. Подобные кейсы сложно оптимизировать вручную из-за большого пространства состояний и множества вариантов на выбор, а RL справляется с этим. Однако, в случае нечетких функций вознаграждения RL становится не самым удачным решением. Поскольку алгоритмы RL не имеют представления об окружающей среде до того, как они начнут совершать действия, то ошибки на начальных этапах моделирования случаются часто. Если это недопустимо или выходит слишком долго/дорого, вместо RL лучше выбрать другой метод машинного обучения.
https://medium.com/geekculture/reinforcement-learning-what-rewards-you-makes-you-stronger-9aa03ad9e0e

🍏Автоматическая маркировка текста для NLP
«Сырые» текстовые данные нельзя проанализировать сразу с помощью ML не только потому, что текст представлен в виде символов, а не чисел, но и из-за отсутствия разметки, которая маркирует ключевые слова относительно контекста. Обычно для разметки текстовых данных нужен человек, что замедляет скорость предподготовки датасета и повышает стоимость этого процесса. Но есть возможность сделать маркировку автоматически, используя подход обучения с нулевым выстрелом (ZSL, zero-shot learning), который изначально относился к специфическому типу задачи: изучить классификатор на одном наборе меток, а оценить на другом. В NLP этот подход позволяет заставить модель делать то, чему она явно не была обучена. При этом можно использовать одну модель для встраивания и данных, и имен классов в одно пространство, устраняя необходимость в этапе выравнивания на большом количестве данных.
Посмотреть, как это работает, можно в демо-приложении Zero-shot classification от Hugging Face https://huggingface.co/zero-shot/. А подробная теория изложена здесь:
https://medium.com/algoanalytics/automatic-labelling-of-text-for-nlp-5270e70a2f5f
https://joeddav.github.io/blog/2020/05/29/ZSL.html

🏂RL как основной движок AutoML в будущем
Благодаря универсальной идее, обучение с подкреплением (RL) можно рассматривать как способ разработать единый ML-алгоритм общего назначения для широкого круга задач. Но таксономия известных RL-алгоритмов довольно велика, а разработка новых требует обширной настройки и проверки. Поэтому более реально сперва создать метод мета-обучения, который мог бы разрабатывать новые RL-алгоритмы с возможностью их автоматического обобщения в будущем.
Успех AutoML обусловлен тем, что архитектура нейросети или весь ML-алгоритм представлены в виде графа, а для его оптимизации используются отдельные методы. Однако, из-за того что в RL много возможностей оптимизации (архитектуры нейросетей для агентов, стратегии выборки из буфера воспроизведения, общая формулировка функции потерь), не всегда ясно, какая процедура обновления модели будет наилучшей.
Поэтому исследователи из Google AI предложили новые аналитически интерпретируемые и обобщаемые RL-алгоритмы на графах и методах оптимизации AutoML. В частности, представление функции потерь для оптимизации параметров агента с учетом его опыта, в виде вычислительного графа и регулируемую эволюцию (Regularized Evolution) для развития совокупности вычислительных графов в наборе простых обучающих сред. Так RL-алгоритмы становятся более совершенными и могут работать в более сложных средах.
https://ai.googleblog.com/2021/04/evolving-reinforcement-learning.html

👣DL для выхода из медицинского тупика
Ученые MIT совместно с коллегами из медорганизаций разработали модель глубокого обучения для прогнозирования «медицинского тупика» - ситуации, когда пациент с большой вероятностью умрет, независимо от стратегии и тактики лечения. Это особенно важно в критических случаях, когда негативный исход развивается очень быстро и у врачей нет времени на долгий подбор наилучшего средства. Например, сепсис – обширное заражение, смерть от которого может наступить в течение суток.
Обычно при обучении с подкреплением алгоритм обучается методом проб и ошибок, учится предпринимать действия, которые максимизируют накопление вознаграждения. Но в условиях здравоохранения практически невозможно собрать достаточно данных для этих DL-моделей, чтобы определить оптимальное лечение, поскольку экспериментировать с возможными стратегиями лечения неэтично. Поэтому исследователи изменили подход к Deep Learning, использовав ограниченные данные из отделения интенсивной терапии для обучения с подкреплением, чтобы определить методы лечения, которых следует избегать, чтобы пациент избежал медицинского тупика.
Одна из основных идей здесь состоит в том, чтобы уменьшить вероятность выбора каждого лечения пропорционально его шансу вынудить пациента войти в медицинский тупик - свойство, которое называется безопасностью лечения. Сложность в том, что данные не дают такого представления напрямую. Но теоретические результаты позволили преобразовать эту идею в проблему обучения с подкреплением. Для этого ученые создали две копии нейросети, одна из которых фокусируется только на отрицательных результатах (пациент умер), а вторая – только на положительных (пациент выжил). Использование двух нейросетей по отдельности позволило исследователям обнаружить рискованное лечение в одной, а затем подтвердить ее с помощью другой. На вход нейросетям идет статистика здоровья пациентов и предлагаемое лечение. Сети выводят оценочную стоимость этого лечения и вероятность того, что пациент попадет в медицинский тупик. Сравнение этих оценок позволяет установить вхождение пациента в опасную зону (желтый флаг), а красный флаг указывает, что с высокой вероятностью пациент не выздоровеет.
Исследователи протестировали свою модель, используя набор данных пациентов, предположительно страдающих сепсисом, из отделения интенсивной терапии Медицинского центра Beth Israel Deaconess. Этот набор данных содержит около 19 300 госпитализаций с наблюдениями за 72-часовой период, сосредоточенный вокруг того, когда у пациентов впервые проявляются симптомы сепсиса. Их результаты подтвердили, что некоторые пациенты из набора данных попали в медицинские тупики.
Ученые также обнаружили, что 20-40% пациентов, которые не выжили, отмечены хотя бы одним желтым флагом перед смертью, причем многие из них как минимум за 48 часов до этого исхода. Результаты также показали, что при сравнении тенденций выживших и умерших пациентов, как только отметился первый желтый флаг, наблюдается очень резкое отклонение в ценности проведенного лечения. Окно времени вокруг первого флага является критическим моментом при принятии решения о лечении. Поэтому лечение имеет значение: потенциально можно было избежать более 11% неоптимальных методов, применив альтернативы. Это довольно большое число количества пациентов с сепсисом в любой больнице мира.
Важно, DL-модель предназначена для помощи врачам, а не для их замены. Решение о лечении в любом случае принимают люди. Но ML помогает быстрее распознать риски и принять соответствующие меры. В будущем эти RL-модели можно использовать, для оценки причинно-следственных связей между решениями о лечении и развитием здоровья пациентов, чтобы снижать неопределенность и помогать врачам принимать более обоснованные решения.
https://news.mit.edu/2021/machine-learning-treatments-1209