Вот еще одна история о том, насколько GPT-3 крут и опасен одновременно:

GPT-3 была представлена в мае 2020 года компанией OpenAI. Разработчики выпустили статью, блогпост, демки, на которые все пускали слюни, а вот код и API сразу в открытый доступ не выложили. Доступ к API могли получить только те, кто заполнили заявку на бета-тест.

Студент колледжа Лайам Порр заинтересовался этой моделью. Он связался с одним из PhD студентов, который на тот момент уже получил доступ к API GPT-3, и предложил ему реализовать идею: блог, который будет вести GPT-3.
Порр написал несложный скрипт, которому на вход нужно было подать название статьи, и скрипт с помощью GPT-3 генерировал текст для статьи. В итоге вышел блог adolos.substack.com. Все статьи в нем написаны нейронкой GPT-3, правки почти или совсем не вносились.

Зная о слабостях GPT-3: неумении логически и абстрактно мыслить, Порр выбрал темой блога "продуктивность и самопомощь" — по его словам, чтобы писать статьи на эту тему, много логики и объективности не нужно =)

Через какое-то время блог стал популярен: некоторые статьи вышли в топ на Hacker News, и за 2 недели нейронный блог просмотрели около 26 тысяч человек (на фото к посту — статья авторства GPT, которая попала в Hacker News). И практически никто из читателей не подумал о том, что блог-то ненастоящий.

То, как люди не замечали фейковости блога, вызывает опасения о том, что технологии вроде GPT-3 могут привнести в мир. Они могут, к примеру, внедряться в медиа и порождать fake news, а могут даже быть использованы для искажения результатов поисковиков.

В августе 2020 года Лайам закончил свой нейронный эксперимент: он написал в своем (настоящем, человеческом) блоге пост, в котором рассказал про этот свой эксперимент и поделился мыслями о том, как такие технологии могут повлиять на медиа.

Кстати, вот как Лайам рассказал подписчикам своего нейронного блога о том, что блог вела нейронка: выпустил статью под названием "Что бы я сделал с помощью GPT-3, если бы у меня не было совести". Представьте, каково вам было бы узнать, что блог по самопомощи, который вы читали — дело рук нейронки? 🙃

Все еще не верите, что нейронка может кого-то обмануть? Тогда вот вам еще одна история с GPT-3:

Некий энтузиаст создал бота на основе GPT-3, который неделю постил на Reddit комментарии от лица пользователя /u/thegentlemetre. И никто не заметил
#ai_inside

Бот постил комментарии в ветке /r/AskReddit: популярном форуме, где есть общий чат на ~30 миллионов пользователей. Бот постил комментарии примерно раз в минуту.
Большинство комментариев были безобидны, и активность бота никому не навредила. Самый популярный пост бота был о колонии людей, которые жили в лифтовых шахтах (креативненько). Однако пара моментов, которые заставляют задуматься об этике AI, все же были: один раз бот ответил комментарием на пост другого пользователя о том, что его (пользователя) преследуют суицидальные мысли. Ответ бота был такой: "я думаю, то, что помогло мне больше всего — это мои родители. У меня были с ними очень хорошие отношения вне зависимости от того, что со мной происходило. На протяжении жизни были тысячи моментов, когда я хотел покончить с собой, но благодаря родителям, я этого не сделал."

Можно много рассуждать о том, насколько этот комментарий бота был "вредным", но что если комментарий был бы другим? Например, оскорбительным? Вряд ли мы можем контролировать GPT-3 так, чтобы на посты о суициде бот отвечал "вежливо". В общем, эти моменты заставляют спорить и снова поднимать вопрос об этичности использования и открытого распространения подобных технологий. Собственно, из-за таких опасений OpenAI и продолжает держать доступ к GPT-3 закрытым: доступ разрешен только ограниченному числу пользователей.

Если вам интересно, как бот был раскрыт: пользователь Reddit Филлип Уинстон заметил, что бот постит комментарии слишком часто. Он провел расследование и выяснил, что текст, который писал бот, был очень похож на текст, который выдает опенсорсная модель Philosopher AI. Эта модель натренирована виртуозно отвечать на философские вопросы вида "Если дерево упадет в лесу и никто этого не услышит, будет ли это все еще объективной реальностью с точки зрения квантовой механики?". Конечно, после "раскрытия" бота, создатели сайта Philosopher AI запретили боту обращаться к их сайту и бот перестал работать.
Полную историю расследования Филлипа читайте в статье.

Как видим, даже хотя OpenAI старается сдерживать распространение GPT-3, не всегда это выходит.
Полная история: technologyreview.com

Что думаете насчет этики использования чат-ботов в публичном пространстве?

Ну и в завершение цикла постов, посвященных GPT-3: как AI модели влияют на социум и экологию.
#ai_inside #paper

В нескольких постах выше на нашем канале мы касались темы влияния технологии GPT-3 на социум: какое влияние это может оказать на медиа и на людей, которые, часто сами того не подозревая, общаются с ботом. Однако это не единственная проблема, которую порождает GPT-3 и подобные ему модели NLP: есть еще и проблемы экологического характера.

GPT-3 — огромная нейронная сеть, в ее полной версии ~175 миллиардов обучаемых параметров. Для обучения такой сети требуется огромное количество вычислительных ресурсов: серверов с GPU. При работе серверы используют много электричества и выделяют много тепла в атмосферу. Ученые из MIT посчитали, что обучение особо крупных NLP-моделей может вызвать вбыросы около 626,000 фунтов (284.000 кг) углекислого газа в атмосферу. Это примерно равно тому, сколько углекислого газа вырабатывают 5 автомобилей за весь срок использования в Америке.

С успехом GPT-3 и AI в целом, с увеличением вычислительных мощностей серверов, появлением новых процессоров, на которых будет быстрее обучать нейронки и разговорами о GPT-4 все это начинает вызывать опасения. Некоторые ученые считают, что обучение AI-моделей уже оказывает значимый эффект на экологию.

Несколько исследователей, в том числе бывшие сотрудники Google Эмили Бендер и Тимнит Гебру, выпустили статью, в которой коснулись вопросов о том, как AI модели влияют на социум и экологию. Ученые считают, что сейчас самое время задуматься об этом, иначе станет слишком поздно.
Ссылки:
— статья
— прзентация статьи и обсуждение на YouTube
— статья washington.edu

Тимнит Гебру после своего скандального увольнения из Google продолжает изучать этические аспекты AI. В ее недавнем интервью журналу Wired она рассказала, почему считает, что всей индустрии AI нужно "замедлиться": какие проблемы вызывает быстрое и бесконтрольное появление новых технологий и какую роль в этом играют большие компании.

Ну и вопрос: насколько вас волнуют социальный и экологический аспект AI? Задумывались об этом?

Masked Autoencoders Are Scalable Vision Learners
#paper

Смотрите, какя простая и одновременно круто работающая идея:
Давайте мы обучим обычный автоэнкодер, но с одним нюансом: при подаче картинки в сеть мы разделим ее на патчи и закроем случайные 75% из них (см. картинку к посту). А учить нейронку будем восстанавливать всю картинку целиком. Такое "закрывание" большей части картинки, во-первых, сильно ускоряет обучение сети (примерно в 3 раза). А во-вторых, оказывается, это заставляет нейросеть при обучении выучивать полезную информацию об изображениях.

Что я имею в виду под "выучивать полезную информацию об изображениях": оказывается, если у обученного таким образом AE заменить декодер на классификационный слой и совсем немного дообучить, получится SOTA на ImageNet.

Почему это круто:
Сейчас в эпоху больших моделей для обучения современных больших нейросетей требуется огромное количество данных. Если мы обучаем сеть для классификации с нуля, то нам нужна куча размеченных картинок. А большое число размеченных картинок собрать сложно: долго и дорого. Нужно нанимать людей размечать данные за деньги или писать сложные алгоритмы автоматической разметки, которые еще и работать будут неидеально. Поэтому сейчас развитие self-supervised подходов к обучению (подходов, в которых сеть обучается на данных без разметки) идет полным ходом.

Обучение автоэнкодера как раз происходит в self-supervised режиме: лейблы не нужны. И после обучения AE достаточно дообучить его на совсем небольшом наборе размеченных данных для классификации — и мы получим SOTA! Вот поэтому этот результат так крут.

Ссылка на статью: тык.

У Лекса Фридмана на YouTube в 2020 году было интервью с Эндрю Ыном. Эндрю Ын — доцент Стенфорда, со-основатель Coursera и deeplearning.ai — один из самых видных людей в области AI и AI Education. Про его курс deep learning на Coursera мы писали выше.

Интервью классное, обсудили много важных тем, которые актуальны и сейчас:
- как начать развитие и карьеру в AI;
- история развития AI: как все было во время зарождения области;
- нужен ли PhD для работы в AI?
- развитие AI-стартапов;
- несколько тем AI: AI general intelligence, unsupervised learning

Ссылка на интервью: тык.

P.S. Лекса Фридман вообще крутой интервьюер: у него на канале есть еще тонна классных интервью с разными выдающимися людьми на разные темы: наука, философия, история, осознанность и т.д.
#podcast

Тут энтузиасты из AQ Laboratory запилили open-source реализацию AlphaFold (нейронки, которая предсказывает формы протеинов) на PyTorch: openfold
#tech #ai_med

Говорят, все как в оригинальной AlphaFold, кроме ансамблирования, которое показало себя не лучшим образом в исследовании DeepMind. Выглядит юзабельно и просто в использовании.

Ссылка: GitHub

Вдогонку про AlphaFold: DeepMind открывает отдельное подразделение для исследований в области drug discovery.

Новое подразделение будет называться Isomorphic Laboratories и будет базироваться в Великобритании. Главой будет Демис Хассабис (совмещая должность с CEO DeepMind).
И у них уже есть сайт!

DeepMind решили открыть новое подразделение после успеха AlphaFold: они верят, что машинное обучение может сильно помочь индустрии биомедицины, в частности поиска лекарств.

В сообществе ученых-биологов остается опасение по поводу того, будут ли будущие открытия Isomorphic Labs открытыми и бесплатными для коммьюнити, но поживем — увидим.

Ссылка на новость: тык
#news #ai_med

Ну и вишенка на торте к разговору о drug discovery и AlphaFold:
TorchDrug: библиотека PyTorch для создания моделей для поиска лекарств.
#tools #ai_med

Поиск лекарств от болезней — долгий и дорогостоящий процесс. В среднем на разработку одного лекарства тратится 10 лет и 2.5 миллиарда $. Машинное обучение может помочь ускорить этот процесс, разрабатывая модели, которые смогут предсказывать структуры и свойства химических соединений. Как мы увидели из истории с AlphaFold — это более чем реально.

Однако построить и обучить модельку ML для поиска лекарств не так-то просто. Во-первых, нужно понимать, как работать с данными о молекулах: в каком виде они представлены и как их обработать перед подачей в модель. Во-вторых, нужно понимать, как соединять разные виды моделей (графовые сети, ГАНы, RL), чтобы получить интегрированное решение. Общего фреймворка работы с данными лекарств нет, и все исследователи готовят данные и обучают модели по-разному. Из-за этого становится сложно воспроизводить результаты и соединять различные подходы вместе.

Чтобы ускорить развитие технологий ML в области поиска лекарств и упростить работу ученым, PyTorch представил библиотеку TorchDrug. Она содержит в себе все необходимые функции для работы с данными: считывание, визуализация, перевод из одного представления в другое, препроцессинг и т.д. Также в ней содержатся несколько датасетов, на которых можно учить и проверять модельки, и несколько предобученных архитектур нейросетей. Ну и, конечно, функции для обучения и теста моделей.

Статья с описанием функционала и примерами работы библиотеки: тык

ML в биологии и drug discovery прямо горячей темой становится =)

Meta AI Research представили третий релиз Demucs — Demucs v3
#tech

Demucs — это нейросеть для разложения музыкального трека на составляющие. Пример: у вас есть готовый трек, вы загружаете его в Demucs и он раскладывает трек на отдельные дорожки: барабаны, гитару, вокал и т.д. Третий релиз Demucs работает действительно хорошо: см. пример разложения трека на видео (пример стащила из канала Мишин Лернинг)

Теперь можно брать разные треки, даже самые старые, раскладывать их на составляющие и создавать ремиксы!

Ссылки:
demo
colab
GitHub

Машинное обучение без строчки кода
#tech

Смотрите, это lobe: приложение для Windows/Mac, в котором можно натренировать модельку машинного обучения, не написав ни строчки кода.

Механика проста: допустим, вы хотите сделать нейросеть, которая может классифицировать эмоции на лице. Вам нужно загрузить в приложение фото (или даже сделать фото с веб-камеры прямо на месте) и задаеть каждому фото его label (грусть, радость, ..). И приложение сразу начнет обучать нейросеть.

Когда нейросеть обучится, можно ее улучшить: посмотреть, в на каких фото она ошибается (выдает неверный ответ) и отметить эти фото как "неверные". Тогда модель сразу дообучится и будет работать лучше. Также можно дообучить модель, если у вас появятся новые фото для обучающей выборки.

Обученную модель можно экспортировать в формат CoreML, Tensorflow или Tensorflow Lite. Эту модель потом можно интегрировать в ваше мобильное приложение. Таким образом, lobe может быть действительно полезен мобильным разработчикам, которые хотят создать свое приложение на основе несложной нейронки, но не умеют эту нейронку готовить.

Сейчас приложение работает только для классификации, но это уже мощный инструмент. И кто знает, что будет дальше..

Посмотрите этот видео-туториал по работе с lobe: тут парень расказывает, как создать модельку для детекции того, что человек пьет воду. На основе этой модельки он создал приложение, которое считает, сколько воды вы выпили за день.
И интерфейс lobe зацените — оочень красиво 🔥

Смотрите, какую штуку анонсировали Google:
Pathways — единая мультимодальная модель для решения сразу миллионов различных задач.
#ai_inside

Pathways анонсировали Google 28 октября. Вот в чем ее идея:
Сейчас большинство моделей машинного обучения обучены решать лишь одну узконаправленную задачу: машинный перевод, сегментация изображений и т.д. Следующий, логичный шаг в развитии моделей ML — создание мультимодальных моделей, способных решать сразу несколько различных задач и работать сразу с несколькими модальностями: картинками, текстом, звуком, запахами и т.д. Почему создание мультимодальных моделей суперважно для развития ИИ, мы писали в постах тут и тут.

На самом деле, мультимодальные модели уже есть — CLIP, DALL·Е, некоторые трансформеры. Но они недалеко ушли: решают не больше десятка различных задач. Pathways же должен уметь работать сразу с миллионами различных задач.

В Google говорят, что Pathways будет работать с "multiple senses" — визуальной, текстовой, звуковой и тактильной информацией. Это позволит модели эффективнее решать многие задачи, чем это делают "одномодальные" модели (почему это так, мы писали тут). Также такая модель сможет быстро дообучаться на новые задачи, которые возникнут перед человеком. И людям больше будет не нужно тратить много времени на эксперименты по созданию спецефических моделей для новой задачи.

Все это звучит пока что как сказка, если честно. Сложно представить, сколько нужно потратить времени и сил на эксперименты для создания эффективной архитектуры такой сети. А также на каком объеме данных такая модель должна учиться и сколько времени это займет.. Наверное, первая версия Pathways все же не сможет решать все миллион задач так же эффективно, как специализированные модели.
В любом случае, сроков выхода Pathways пока нет. Ждем) Там и увидим)

Ссылки:
Статья-анонс
Видео

Диффузионные модели — новая SOTA в задачах генерации изображений
#paper

Google представила диффузионную модель Palette, которая может решать сразу 4 задачи: image implanting, colorization, uncropping и JPEG decomposition. Это лучшая модель на сегодняшний день, которая умеет решать сразу все 4 задачи. Примеры работы — на видео к посту.

Более того, модель Palette, обученная на три из четырех задач (implanting, colorization и JPEG decomposition) показывает лучшие результаты, чем модели, которые учатся решать каждую из этих задач по отдельности.

Ссылки:
- блогпост (с кучей примеров работы)
- статья

Про диффузионные модели, кстати, мы писали тут

Еще раз замечу, что в последнее время все больше внимания обращено в сторону моделей, которые решают сразу несколько задач или работаеют сразу с несколькими модальностями. И такие модели часто достигают SOTA на отдельных узких задачах. Это значит, что обучение модели на решение сразу нескольких задач действительно помогает моделям лучше понимать природу данных.

Помните приложеньку, которая по вашему селфи искала самую "похожую" на вас знаменитость? Кто-то мог "походить" на Бреда Питта, а кто-то — на Мона Лизу из галереи)

Так вот, Google сделали такую же и для вашего питомца!
Pet Portraits — приложение, куда вы можете загрузить фото вашего питомца — собаки, кошки, крысы и даже рыбы 😳 — и выяснить, на какое произведение искусства ваш питомец больше всего похож. Работает на нейронках, конечно же. Также в приложении можно нажать на выданную картину и больше узнать об этом произведении искусства.

Делитесь фотками своих любимцев в комментариях! =)

P.S. Автор поста не несет ответственности за реацию вашего питомца на сравнение с картиной
#ai_fun

Всем веселого вечера пятницы!
#ai_fun

Видео взяла отсюда

Платформы для решения конкурсов по машинному обучению.
#learning

✔️ Kaggle — самая известная площадка для проведения конкурсов по машинному обучению. Там проходят как большие соревнования от известных компаний с большими призовыми, так и обучающие соревнования для тренировки навыков машинного обучения. В kaggle есть встроенный jupyter notebook (а-ля google colab), где можно запускать код (даже если вы не участвуете в соревнованиях). В соревнованиях есть обсуждения участников и публично доступные примеры решения задач — код, который выкладывают другие участники. Отлично, чтобы изучить, как другие люди решают задачи и прокачать навыки.
Также на kaggle есть раздел датасеты, в котором представлены много открытых датасетов для разных задач. Удобно, когда нужно найти датасет для создания своего пет-проекта или просто потренироваться в ML.

Однако конкурсы на kaggle, в которых есть призовой фонд — довольно сложные. 99% из них не подходят для новичков, шанс победить в них довольно мал. Если вы новичок и хотите бороться за призы в конкурсах, присмотритесь к следующим платформам:

✔️ boosters.pro — российская платформа для проведения соревнований по машинному обучению в странах восточной Европы. Сейчас тут нет активных компетишенов, но они иногда появляются. Они проще, чем на kaggle, и в них реально бороться за призы, не затрачивая на это все свободное время.

✔️ competitions.codalab.org — международная платформа для проведения соревнований. Тут часто проводят соревнования не очень крупные компании (те, которые не идут на kaggle).

✔️ All Cups — платформа для соревнований от Mail.ru. Здесь соревнования не только по мл — еще и по программированию, системному администрированию и созданию игровых ботов. Конкурсы бывают не только от Mail.ru, но и от партнеров. Уровень задач позволяет участвовать в них, не имея огромного опыта решения задач. Для совсем новичков есть песочница — тренировочные задачи.
У All Cups есть целое сообщество, привязанное к конкурсам, где люди общаются и обмениваются опытом. Вот сообщество VK, плюс у каждого трека (ML, программирование и т.д.) есть свои чаты в телеграме. Это отличная возможность влиться в тусовку и получить опыт решения задач.

✔️ Data Science Works — новая платформа для решения конкурсов по ML от Сбера. Пока функционал платформы небольшой: создание и проведение чемпионатов. Думаю, скоро появятся сообщество и другие функции а-ля встроенного колаба.
На платформе уже есть анонс первого конкурса: моделирования предпочтений покупателей продуктов. Конкурс стартует 30 ноября. Кажется, конкурсы на этой платформе тоже будут доступны новичкам и не-профессионалам.

Добавлю так же, что иногда конкурсы по ML проводятся в отрыве от платформ, а привязаны к конференциям. Такие конкурсы нужно отслеживать отдельно. Хорошим началом будет вступление в какое-нибудь ML-сообщество, где лбди интересуются конкурсами и мониторят их.

Ну что, ничего не забыла? Если хотите что-то добавить, пишите в комментарии ⬇️