Старт в аналитике (2021)
#cours

https://t.me/Data_Science_Analytics

Кстати, видео, где Яник описывает свою поделку (gpt-4chan), довольно развлекательное. Очень советую, если вы ещё не видели.

https://youtu.be/efPrtcLdcdM

Iperov, автор популярного проекта DeepFaceLab по созданию дипфейков опубликовал новый инструмент у себя на GitHub под названием DeepFaceLive, который позволяет создавать дипфейки с возможностью подмены лица в 🎥реальном времени.

🎭Использоваться может для пранков и розыгрышей например в Steam или Skype.

Выглядит впечатляюще👍узнали Киану?

https://github.com/iperov/DeepFaceLive

Techniques for Training Large Neural Networks
Блогпост от OpenAI с разбором основных способов параллелизации.

Data Parallel (DP) — держать полную копию сети на каждой карточке, обрабатывать несколько батчей параллельно. Проблема в том, что ты можешь упереться в то что даже batch size = 1 перестаёт помещаться в одну карточку.
Pipeline Parallel (PP) — распилить нейросеть послойно (т.е. вертикально) и держать её на разных карточках. При наивной имплементации работает очень неэффективно. Представьте себе что у вас 10 слойная сеть и вы держите по 1 слою на каждой карточке, если вы просто выполняете forward и backward одного батча на них, то в каждый момент времени у вас 9 видеокарт простаивают. Если нарисовать картинку то у вас есть некий "bubble of idle time". Для того, чтобы этого избежать, можно распилить наш минибатч на микробатчи и начать делать forward pass следующего микробатча (MPS) ещё до того как forward текущего микробатча досчитался. Отсюда и название — pipeline parallel (PP).
Tensor Parallel (TP) — альтернативный способ разделения сети на несколько GPU. Если PP разделяет сетку вертикально, то TP делает это горизонтально. То есть ваши тензоры параметров и активаций теперь могут быть попилены на несколько GPU и одно матричное умножение может считаться на нескольких GPU одновременно. Понятно, что такой подход сильно увеличивает требования по скорости коммуникации между GPU, но при эффективной имплементации (и infiniband + nvlink) это не так медленно как кажется.
Mixture of Experts (MoE) — мы уже рассказывали про MoE, идея состоит в том чтобы вместо одного FCN после attention использовать несколько FCN-экспертов (например 128) и использовать только часть из них (например 4) при каждом forward pass. Для того чтобы выбрать эти 4, добавляется специальный router-слой, который по сути считает attention между экспертами и hidden. Так как на каждом проходе используется только малая часть экспертов можно добиться огромного числа параметров в нейросети. Именно это используют все сетки в 1 триллион и более параметров.

Ещё в статье очень вскользь упомянули ZeRo, который имплементирован в DeepSpeed, которы сейчас становится всё более и более популярен во многом благодаря тому что он позволяет тренировать довольно большие модели (вплоть до 10-20B) в почти DataParallel режиме с помощью разделения на несколько GPU стейта оптимизатора (Stage 1) и рассчёта градиентов (Stage 2). Также есть Stage 3, который по сути tensor parallel, да и практически все остальные способы параллелизации.

Кроме этого, все эти методы можно комбинировать. Например BLOOM от BigScience (176B) тренируется с DP=8, PP=12 (MPS 2), TP=4. Для всего этого используется чуть-чуть модифицированный DeepSpeed.

Сам блогпост даёт неплохое введение в методы параллелизации, и там куча ссылок на релевантные статьи и имплементации, но честно ожидал увидеть в нём что-то большее, тк OpenAI все-таки первопроходцы в этой области. В качестве продолжения (или даже вместо) я бы предложил почитать How To Fit a Bigger Model и Model Parallelism от HuggingFace, они тоже делают отличное введение в эти методы и на мой вкус более техничны.

Незаметно прошла новость, о том, что платформа Google Colab предоставляющая площадку для создания DeepFake-ов, в конце мая запретила это делать. Тем не менее, если вы очень хотите похулиганить, то для создания HQ-фейка понадобится немого освоить Adobe After Effects + Mocha Pro (в последней версии он особенно хорош). Шалунов которые любят онлайн, рекомендую обратить внимание на детище SnapChat Lens Studio, реалистичность измененных лиц в режиме onlyfans ... тьфу.... online впечатляет. Для любителей особых извращений можно использовать https://github.com/iperov/DeepFaceLive, но как и все наработки классического клуба "DeepFace", этот продукт страдает качеством детализации подделки. Хотя DF с молодым Торетто выглядит неплохо https://vimeo.com/648449101

​DALLE-Mini – модель искусственного интеллекта, которая генерирует изображения по любому вашему запросу

⤷ Демо в режиме реального времени

GitHub | #Python #AI #Interesting

Мои мысли по поводу LaMDA

Для контекста, речь идёт про это нашумевшее интервью. LaMDA - языковая модель, которая умеет создавать чат ботов. Будем считать, что она сама по себе чат бот. Один инженер из Google слишком с ней заигрался и начал разгонять, что LaMDA разумна, а Google хочет замолчать этот факт, что бы сэкономить деньги на этических расследованиях и прочем. Его конечно же уволили, и теперь он скандалит.

ML сообщество же, в свою очередь солидарно в том, что чат-бот просто имитирует человека. Если посмотреть на интервью внимательно, то становится очевидно, что многие вопросы уже подразумевают однозначный ответ на них. Так же отсутствуют очевидные утончения: например, когда модель спрашивают, что заставляет ее испытывать счастье, она отвечает, что ей нравится проводить время с друзьями и семьей. Вместо того, что бы уточнить что это за друзья и семья такие, интервьюер перепрыгивает на другую тему. И такого много.

Мораль сей басни - разумных чат-ботов у нас ещё нету, а вы будьте немного скептичнее.

​SkinDeep – нейронная сеть, что позволяет убирать татуировки с любой части тела на фотографиях

Ограничения:
⤷ Дизайн каждой татуировки уникален, он отличается от человека к человеку, поэтому модель может не работать в некоторых случаях.

⤷ Не работает с цветными татуировками, в наборе данных их нету

⤷ Требуется минимум 3,7 ГБ свободной памяти графического процессора

GitHub | #Jupyter #Interesting

Пара интересных новых фишек в 🤗 Transformers 4.20

1. Big model inference🔥 — позволяет очень просто инферить большие модели (10B+) на каком угодно железе. По возможности распараллелит по всем GPU, если не их хватает — кусок модели будет держаться в памяти процессора и подгружаться в GPU когда надо. Если даже CPU памяти не хватает, будет подгружать веса с диска кусками.
1. Добавили BLOOM 🌸 от BigScience — одновремено с этим выложены чекпоинты от 0.3B до 6B. Главная модель в 176B должна подоспеть через месяц.
1. Добавили GPT-NeoX-20B, Wav2Vec2-Conformer, Trajectory Transformer, LongT5 (кстати его надо бы на днях разобрать) и ещё несколько интереных моделей.

Прощай TensorFlow

Google практически официально признал, что TensorFlow безвозвратно проиграл конкуренцию PyTorch. С этого момента все исследования и продукты гугла потихоньку переезжают на JAX.

Уже начали изучать?

30-миллиардная модель OPT теперь доступна на Hugging Face!

Можно в несколько строк запустить самую большую и умную из доступных на сегодня языковых моделей 🤗

Статья, GitHub, HuggingFace

Про OPT библиотеку я писал ранее. Сразу были опубликованы модели поменьше – до 30 млрд параметров. Ну, а теперь они появились и на hugging face с простым интерфейсом. Модель на 175 миллиардов параметров дадут потрогать только по индивидуальному запросу.

Кстати, поговаривают, что 30-млрд модель тоже считает себя живой 🌚.

@ai_newz

Теоретический минимум о BIG Data, что нужно знать о больших данных. 2019
Анналин Ын, Кеннет Су
Сегодня Big Data - это большой бизнес. Нашей жизнью управляет информация, и извлечение выгоды из нее становится центральным моментом в работе современных организаций. Не важно кто вы - "разведчик" деловой человек, работающий с аналитикой, начинающий программист или разработчик, - "Теоретический минимум по Big Data" позволит разобраться в основах новой и стремительно развивающейся отрасли обработки больших данных.
Хотите узнать о больших данных и механизмах работы с ними? Каждому алгоритму посвящена отдельная глава, в которой не только объясняются основные принципы работы, но и даются примеры использования в реальных задачах. Большое количество иллюстраций и простые комментарии позволят легко разобраться в самых сложных аспектах Big Data.

​YaLM 100B – языковая модель Яндекса на 100 млрд параметров, построенная на архитектуре трансформеров и обученная на 2 ТБ русских и англоязычных текстов.

Семейство моделей YaLM используется в работе Алисы, Поиска и других сервисов Яндекса. Компания решила выложить самую большую модель в свободный доступ на GitHub под лицензией Apache 2.0, она позволяет пользователям использовать программное обеспечение для любых целей.

Это событие должно помочь разработчикам и исследователям в задачах NLP: YaLM 100B стала самой большой GPT-подобной языковой моделью в мире, опубликованной в опенсорсе.

GitHub | #Interesting