Доля пессимизма (скорее - реализма) от того, кто потестил Copilot

Если коротко - местами он прям удивительно угадывает, что от него хотят.
Но в то же время он пишет даже не на уровне среднего прогера, умеющего в гугл - например, используются старые версии библиотек. Что не удивительно, учили-то на всем. Вот хохмы будет с библиотеками, где API менялось зигзагами. И не учитываются встроенные решения самого языка.
На примерах от автора первый запрос на стаковерфлоу дает решения лучше (вспоминается стебная библиотека, позволяющая импортировать код со stackoverflow)

Почему реализм, а не пессимизм?
Так как автор честно говорит - то, что сделано - круто.
Но - без domain knowledge и активного его внедрения в модель будет получаться не очень.
И, понятно, если OpenAI реально собирается на Copilot зарабатывать, то это изменится.

В целом мораль - можно взять архитектуру из соседней области и она даст приемлемый результат на вашей задаче (что уже круто). Но обычно без domain knowledge дальше не уйти.

Multiscale Vision Transformers

Facebook AI выпустили Multiscale Vision Transformers (MViT).
Сеть используют для representation learning (на изображения и видео). MViT относится к семейству моделей пользующихся иерархическими представлениями (по заветам D.H. Hubel и T.N. Wiesel, разработавших иерархическую модель человеческого зрения в 60х годах).

Почему это важно:
MViT - это значительное улучшение по сравнению с предыдущими попытками понимания видео Трансформерами.

Блог-пост
GitHub

#transformer #images #video #SSL #representationLearning

Планируем доклад Василия Раменского на 13 августа (перенос с прошлой недели)

🚀 @SBERLOGA продолжает серию онлайн докладов посвященных АльфаФолд и темам вокруг него:
👨‍🔬 В. Е. Раменский (МГУ): "Структуры белков и варианты генома"
⌚️ Пятница 13 августа, 19.00 по Москве

Первые кристаллографические структуры белков дали возможность описать возможные механизмы действия немногочисленных известных тогда болезнетворных замен аминокислот в белках. Пятьдесят лет спустя огромное количество обнаруженных у человека вариантов последовательности позволяет понять, какие участки белков являются мишенями для болезнетворных мутаций и какие структурные свойства характерны для болезнетворных и нейтральных замен.

Василий Евгеньевич Раменский, к.ф.-м.н., доцент МГУ им М.В.Ломоносова,
Руководитель лаб. геномной и медицинской биоинформатики
НМИЦ Терапии и профилактической медицины

PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogabio ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga

SoundStream - an End-to-End Neural Audio Codec

Аудиокодеки используются для эффективного сжатия звука с целью снижения требований к хранению или пропускной способности сети.

SoundStream - это первый нейрокодек для работы с речью и музыкой, который может работать в режиме реального времени на процессоре смартфона. Он способен обеспечить современное качество в широком диапазоне битрейтов с помощью одной обученной модели, что представляет собой значительный прогресс в области обучаемых кодеков.

Блог-пост и сэмплы
Обещают скоро зарелизить код

#sound #signals #compression #audio #speech #music

The WikiScenes Dataset

Набор данных WikiScenes состоит из парных изображений и языковых описаний мировых достопримечательностей и культурных объектов, с соответствующими 3D-моделями и позами камеры. WikiScenes получен из обширного публичного каталога свободно лицензируемых краудсорсинговых данных проекта Wikimedia Commons, который содержит большое количество изображений с подписями и другими метаданными.

Описание
GitHub

#datasets #multimodal #images #nlp #3d

Хотели поиграть с Codex, но не попали в бету? Genji - Open-Source copilot теперь на Spaces!
Работает даже с телефона

Возможно, интересный воркшоп по физике

https://msml21.github.io/workshop_phys/#Westermayr

#nips #scientificml

Воркшоп на NIPS по структурной биологии - https://www.mlsb.io/

Среди выступающих - Бронштейн (сейчас наиболее известен как специалист в графовых нейросетях), среди организаторов - Сергей Овчинников (структурная биология, в частности - предсказание структур белков)

AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing

Большая обзорная статья на Transformer-based pretrained language models (T-PTLMs). Эволюция этих моделей началась с GPT и BERT.

Этот обширный обзор послужит хорошим пособием для изучения основных концептов, а также для того, чтобы быть в курсе последних событий в области T-PTLMs.

ArXiv

#nlp #gpt

#joke #ScientificML #biology #alphafold

Learning Machine Book - бесплатная нтерактивная книга, скорее даже не книга, а справочник по машинному обучению.

В Интернете существует множество ресурсов по машинному обучению. Однако большинство из них либо:
😒 Слишком длинные. На чтение уходит полчаса.
📐 Слишком тяжелые с точки зрения математики. Вам потребуется целая вечность, чтобы понять.
🤪 Слишком запутанные.

Эта книга призвана решить все эти проблемы. Она старается быть максимально сжатой и легкой для понимания.

Сайт
GitHub
Видео-обзор Яника

#book #resources

Сегодня ArXiv отмечает своё 30 летие! 🔬🤟 с чем мы их (да и всех нас) и поздравляем 🎉

A Generalizable Approach to Learning Optimizers (OpenAI)

Нейронные сети зачастую плохо генерализуются на проблемы реального мира. Чтобы решить эту проблему, коллектив авторов из OpenAI описывает вот такую систему: вместо того что бы обновлять параметры модели напрямую, обучается обновление гиперпараметров оптимизатора.

Такой полученный оптимизатор превосходит Adam во всех нейросетевых задачах, в том числе на модальностях, которые не рассматривались во время обучения. Авторы достигают 2-кратного ускорения на ImageNet и 2,5-кратного ускорения на задаче моделирования языка.

В чем подвох спросите вы? И почему же статья вышла в июне и мы до сих пор им не пользуемся? Подвох конечно же в вычислительных ресурсах, которых надо на несколько порядков больше что бы вся эта штука работала.

ArXiv

#training #optimizers

Призыв от Стеллы Бёрдмэн из ElutherAI:

Вы (некомпьютерный) ученый, который хочет использовать такие модели, как GPT-3 от @OpenAI, для исследований? #EleutherAI хочет помочь. Мы разработали самые мощные в мире свободно распространяемые языковые модели ИИ и хотим передать их в ваши руки.

В какой поддержке вы нуждаетесь? Что я могу сделать, чтобы ваша исследовательская программа была осуществима? Напишите мне DM, @, ответьте в этой теме, напишите мне по адресу stella@eleuther.ai

Для ясности: мы не являемся стартапом и не берем $$. Мы - частная исследовательская группа с нулевым интересом к получению прибыли. Вы можете заплатить нам цитированием, соавторством и (что наиболее важно) проведением потрясающих исследований с помощью наших инструментов.

Тред

#ScientificML #science #gpt

Continual Backprop: Stochastic Gradient Descent with Persistent Randomness

Алгоритм Backprop (обратное распространение ошибки) для обучения в нейронных сетях использует два механизма: во-первых, стохастический градиентный спуск и, во-вторых, инициализацию с небольшими случайными весами, где последний необходим для эффективности первого. В статье рассказывается про то, что в системах непрерывного обучения Backprop показывает хорошие результаты на начальном этапе, но со временем его эффективность снижается. Стохастический градиентный спуск сам по себе недостаточен для непрерывного обучения; изначальная рандомность позволяет только качественное начальное обучение, но не непрерывное.

Для решения этой проблемы авторы предлагают алгоритм, который постоянно вводит случайные фичи наряду с градиентным спуском, используя новый процесс генерации и тестирования - непрерывный Backprop.

Continual Backprop способен непрерывно адаптироваться как в задачах обучения с учителем, так и в задачах RL.

ArXiv

#training #optimizers

W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training (Google Brain)

Мотивированные успехом масочного моделирования языка~(MLM) в предварительном обучении моделей обработки естественного языка, авторы предлагают w2v-BERT, который использует MLM для self-supervised learning speech representation. w2v-BERT - это модель, которая сочетает контрастивное обучение и MLM, где первое обучает модель дискретизировать непрерывные речевые сигналы на конечный набор дискриминирующих речевых лексем, а второе обучает модель обучению контекстуализированных представлений речи через решение задачи предсказания с маской, которой на вход подаются дискретизированные лексемы.

w2v-BERT может быть оптимизирована end-to-end. Эксперименты авторов показывают, что w2v-BERT достигает конкурентоспособных результатов по сравнению с текущими современными pretrained modes на эталонах LibriSpeech при использовании корпуса Libri-Light~60k в качестве данных для deg-supervised learning. В частности, по сравнению с опубликованными моделями, такими как wav2vec~2.0 и HuBERT, модель показывает от ~5% до ~10% относительного снижения WER на подмножествах test-clean и test-other. При применении к набору данных трафика голосового поиска Google, w2v-BERT превосходит нашу внутреннюю модель wav2vec~2.0 на основе конформера более чем на 30%.

ArXiv

#SSL #speech #audio

Иллюстрация w2v-BERT

Рубрика Back to Basics (в которой мы выкладываем хорошие ресурсы для того что бы с начать изучать нейросети)

Плейлист, составленный не кем иным, как @3blue1brown. В серии восхитительно иллюстрированных лекций,
объясняется, как работает прямое и обратное распространение ошибки, градиентный спуск и прочие базовые блоки позволяющие нам обучать нейросети.

Смотреть тут

#basics

Рубрика Back to Basics (в которой мы выкладываем хорошие ресурсы для того что бы с начать изучать нейросети)

Продолжая тему с основами - один из лучших каналов по основам статистики и машинному обучению - https://youtube.com/c/joshstarmer

Автор рассказывает про почти все практические области, с которыми сталкивается начинающий data scientist.

Акцент в примерах и темах смещен в сторону биологии, так как автор биостатистик. Однако каких-то дополнительных требований это не добавляет.

У автора одно из самых понятных объяснений идей bootstrapping (используется в случайном лесе, является вдохновителем dropout и тд). Очень понятно поясняются и другие базовые темы - SVM, PCA, tSNE. Также очень понятное (местами до скуки;( ) объяснение идей градиентного бустинга и xgboost.

У автора, как и у всех,случаются ляпы, но они очень редки и он оперативно отвечает и правит их в следующих версиях.

#basics

Как именно Apple будет сканировать ваши фотографии в iCloud:

Недавно компания Apple объявила о сканировании всех изображений, загружаемых в iCloud, на предмет наличия CSAM (материалов, связанных с насилием над детьми), и что это сканирование будет происходить локально на телефонах пользователей. Авторы видео ознакомились с техническим отчетом и подробно рассмотрели, как работает система, как она призвана сохранять конфиденциальность пользователей и какие слабые места у нее все еще есть.

Смотреть тут

#hashing #privacy

NeuralCompression (Facebook research)

NeuralCompression - это PyTorch репозиторий, посвященный исследованию нейронных сетей, сжимающих данные. Репозиторий включает такие инструменты, как энтропийные кодеры на основе JAX, модели сжатия изображений, модели сжатия видео, а также метрики для оценки изображений и видео.

#compression #audio #video #images