(1/2) Эксперименты со StyleGAN + Clip

clip.tokenize("A replicant sex worker from Blade Runner movie")

Мне нравится!

(2/2) Эксперименты со StyleGAN + Clip

clip.tokenize("A girl with cat's ears who looks like an android")

Автор эспериментов https://twitter.com/l4rz

​​Кто хочет зарубиться в Бомбермана с помощью RL? Есть тут у нас сильные RL-щики?

Появился новый AI-Gym, где можно засабмитить своего бота и посоревноваться с ботами других участников. Чтобы участвовать в конкурсе, нужно отправить хотя бы один сабмит до 23:59 UTC этого воскресенья.

https://www.gocoder.one/bomberland

Подкаст об алгоритмическом трейдинге

Мне очень интересна тема инвестиций в ценные бумаги и алго-трейдинга. Сейчас нахожусь в плавном процессе изучения кухни трейдинга. Сегодня послушал отличный подкаст об алго-трейдинге. В эпизоде разговаривают два профессора ВШЭ и программист, квант с 10-летним опытом в высокочастотном алго-трейдинге. Особенно понравилась вторая часть подкаста, где разговор пошёл более предметно про алгоритмы и математику. Советую.

Зарабатывать на алго-трейдинге можно, но нужно обладать комбинацией скилов: быть и сильным математиком, и инженером.

Просто с улицы в трейдинг лучше не соваться. Есть мнение, что трейдингом могут успешно заниматься только крупные институционные игроки. Но не боги горшки обжигают. В подкасте говорится, что людям с профильным математическим/физическим/CS образованием, коих, думаю, много среди моих читателей, познать эту сферу вполне реально, если есть желание учиться. Правда структурированных ресурсов для изучения этой темы не так много, и нужно в большей степени учиться на своём опыте. Если кто-то знает толковые курсы/книги - велком в комментарии.

🔊 Подкаст, ч.1
🔊 Подкаст, ч.2

​​thisbeachdoesnotexist.com

StyleGAN2-Ada натренированный на 22к фотографий пляжей. На сайте есть веса модели.

Залипательно.

Вот такие разработки выглядят очень круто. Прям вселяют веру в человечество. Кроме помощи инвалидами и жертвам различных несчастных случаев, можно ещё пофантазировать о применении продвинутых экзоскелетов для аугментации возможностей тела и здоровых людей.

В Google Colab на подписке Pro+ стали выпадать 40-гиговые Nvidia A100. И это хорошо!

Именно. Добавить на свой сайт, где при каждой перезагрузке будет появляться новое фото тебя😅

UPD: Прикиньте, как хорошо лицо Олеси будет распознаваться на любой уличной камере. Такой датасет в интернете!

Обожаю.

Recursively Summarizing Books with Human Feedback
Wu et al. [OpenAI]
arxiv.org/abs/2109.10862
openai.com/blog/summarizing-books

Эксперименты OpenAI с суммаризацией книг. По-моему это может быть одним из лучших бенчмарков "умности" текущих методов ML, поэтому я очень хайпаю статью.

Сама статья очень необычная сразу по нескольким причинам. С одной стороны, это OpenAI и мы ожидаем от них безумных экспериментов с почти неограниченными вычислительными ресурсами. С другой стороны, к этому проекту они привлекли ещё более дорогой ресурс — людей. Модель тренируется не один раз на заготовленном датасете по суммаризации, а итеративно улучшается с фидбеком от специальных тренированных людей. Фидбэк бывает двух видов: 1) человек пишет более правильное саммари 2) человек выбирает одно из двух саммари написанных моделью. В случае 1 понятно как улучшить модель — просто зафайнтюнить на дополнительных данных. Случай 2 веселее — тут используется великий и страшный reinforcement learning.

Теперь про сам подход. Он довольно простой. Допустим у вас есть текст размера 10K токенов, а модель может читать только 2К. Разделим текст на 5 чанков по 2К и для каждого из них сгенерируем саммари допустим размера 500 токенов. Потом сконкатим их и получим текст длины 2.5K токенов. Всё ещё слишком длинно — разделим его на два куска и пусть каждый из них сгенерит саммари по 500 токенов. Сконкатим эти результаты, получим текст 1000 токенов. Теперь можно получить из него финальное саммари.

Подход очень простой и решает кучу проблем. Во-первых такую разметку просто делать. Вы не заставляете людей суммаризировать целые книги, а лишь просите из суммаризировать чанки по 2K токенов. Куча плюсов: людям проще такое делать, машинам проще такое учить, плюс с одной книги получаете кучу разметки. В качестве инициализации для модели используют GPT-3.

В результате подход получается на удивление прикладным, итеративным и масштабируемым. Мне кажется, ровно так можно организовать работу команды занимающейся задачей суммаризации где-нибудь в индустрии.

По результатам: некоторые саммари близки по качеству к человекам, но их около 5% 🍒. В среднем скор человека ~6/7, а лучшей модели ~3.5/7. Естественно размер модели важен и 175млрд параметров дают огромный буст по сравнению с 6млрд. Внезапно RL хорошо зашёл и его использование улучшает скор с 2.5 до 3.5. Думаю он эффективен потому что доставать для него данные просто — людям нужно лишь выбрать одно из двух саммари, а не писать новое.

Как всегда в статье от OpenAI много интересных технических деталей, например как они выбрали на каких узлах дерева тренировать модель. Явно стоит того, чтобы потратить час на чтение.

О, тут выкатили веб интерфейс Stylegan-Nada, можно потестить прям онлайн. Работает быстро (но под нагрузкой может и тупить). На прикреплённом фото пример с Ельциным и всеми поддерживаемыми стилями

Понажимать можно тут: https://replicate.ai/rinongal/stylegan-nada

Ежели под нагрузкой будет тупить, а вам не лень пердолиться с колабом, то вот ссылка

Если получится что-то годное, делитесь в личку

⚡️Немного ликбеза об эффективных сетках. Pt.2

В Pt.1 мы говорили о главной идее архитектуры MobilenetV1 - depthwise separable convolutions. В этом посте речь пойдет о MobileNetV2.

Во второй версии MobileNet авторы из Google Inc. предложили пробросить skip-соединения и использовать Inverted Residual Block (IRF), что существенно сократило необходимый объем памяти для тренировки и предсказания сети, и улучшило точность на многих задачах.

В обычных residual блоках из статьи про ResNet skip-соединения проброшены между выходами жирных конволюций, то есть каждая конволюция имеет довольно большое число выходных каналов, причем это число каналов поддерживается фиксированным на протяжении нескольких блоков. Нововведение IRF блока в том, что:
(1) он использует depthwise separable конволюции, как и в MobilenetV1;
(2) число каналов внутри блока меняется за счет того, что в начале каждого IRF блока стоит 1x1 conv, который увеличивает число каналов (expansion layer). Затем идет 3x3 depthwise convolution. А замыкает блок ещё один 1x1 conv, который уменьшает число каналов (projection layer). Смотрим схему на картинке.

Таким образом, skip-соединения всегда связывают тензоры боле низкой размерности (после projection layer), а бóльшая часть "работы" по выучиванию сложных фичей происходит внутри блока, где размерность выше (после expansion layer). Главное преимущество такого подхода в том, что требуется меньше памяти и меньше операций сложения, т.к. skip-соединения проброшены между тензорами низкой размерности. Кроме того, IRF блоки более эффективны чем традиционные residual block-и из-за использования 1x1 конволюций и 3x3 depthwise конволюций.

Интересно, что авторы не добавляют ReLU после projection layer, то есть IRF блоки провязаны skip-соединениями, где нет нелинейности. Эмпирически это даёт лучшую точность, т.к. добавление нелинейности режет информацию после каждого блока, а без нее больше информации может свободно "гулять" по сети.

Блог-пост на английском, откуда я нарезал картинки.

---

Друзья, напишите в комментариях, нравятся ли вам посты в таком стиле. Ваша благодарность даёт мне мотивацию. Так же предлагайте свои темы, я выберу наиболее интересные для следующего разбора.

#efficient_nets #ликбез

Интересное замечание о логике выдачи видеокарт в Colab Pro+. За 3-4 дня до списания абоонентской платы начинают выдаваться хорошие видеокарты, а после оплаты опять выдаётся шелупень всякая.

Ваше мнение, господа? Замечали такое?