The WikiScenes Dataset

Набор данных WikiScenes состоит из парных изображений и языковых описаний мировых достопримечательностей и культурных объектов, с соответствующими 3D-моделями и позами камеры. WikiScenes получен из обширного публичного каталога свободно лицензируемых краудсорсинговых данных проекта Wikimedia Commons, который содержит большое количество изображений с подписями и другими метаданными.

Описание
GitHub

#datasets #multimodal #images #nlp #3d

Хотели поиграть с Codex, но не попали в бету? Genji - Open-Source copilot теперь на Spaces!
Работает даже с телефона

Возможно, интересный воркшоп по физике

https://msml21.github.io/workshop_phys/#Westermayr

#nips #scientificml

Воркшоп на NIPS по структурной биологии - https://www.mlsb.io/

Среди выступающих - Бронштейн (сейчас наиболее известен как специалист в графовых нейросетях), среди организаторов - Сергей Овчинников (структурная биология, в частности - предсказание структур белков)

AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing

Большая обзорная статья на Transformer-based pretrained language models (T-PTLMs). Эволюция этих моделей началась с GPT и BERT.

Этот обширный обзор послужит хорошим пособием для изучения основных концептов, а также для того, чтобы быть в курсе последних событий в области T-PTLMs.

ArXiv

#nlp #gpt

#joke #ScientificML #biology #alphafold

Learning Machine Book - бесплатная нтерактивная книга, скорее даже не книга, а справочник по машинному обучению.

В Интернете существует множество ресурсов по машинному обучению. Однако большинство из них либо:
😒 Слишком длинные. На чтение уходит полчаса.
📐 Слишком тяжелые с точки зрения математики. Вам потребуется целая вечность, чтобы понять.
🤪 Слишком запутанные.

Эта книга призвана решить все эти проблемы. Она старается быть максимально сжатой и легкой для понимания.

Сайт
GitHub
Видео-обзор Яника

#book #resources

Сегодня ArXiv отмечает своё 30 летие! 🔬🤟 с чем мы их (да и всех нас) и поздравляем 🎉

A Generalizable Approach to Learning Optimizers (OpenAI)

Нейронные сети зачастую плохо генерализуются на проблемы реального мира. Чтобы решить эту проблему, коллектив авторов из OpenAI описывает вот такую систему: вместо того что бы обновлять параметры модели напрямую, обучается обновление гиперпараметров оптимизатора.

Такой полученный оптимизатор превосходит Adam во всех нейросетевых задачах, в том числе на модальностях, которые не рассматривались во время обучения. Авторы достигают 2-кратного ускорения на ImageNet и 2,5-кратного ускорения на задаче моделирования языка.

В чем подвох спросите вы? И почему же статья вышла в июне и мы до сих пор им не пользуемся? Подвох конечно же в вычислительных ресурсах, которых надо на несколько порядков больше что бы вся эта штука работала.

ArXiv

#training #optimizers

Призыв от Стеллы Бёрдмэн из ElutherAI:

Вы (некомпьютерный) ученый, который хочет использовать такие модели, как GPT-3 от @OpenAI, для исследований? #EleutherAI хочет помочь. Мы разработали самые мощные в мире свободно распространяемые языковые модели ИИ и хотим передать их в ваши руки.

В какой поддержке вы нуждаетесь? Что я могу сделать, чтобы ваша исследовательская программа была осуществима? Напишите мне DM, @, ответьте в этой теме, напишите мне по адресу stella@eleuther.ai

Для ясности: мы не являемся стартапом и не берем $$. Мы - частная исследовательская группа с нулевым интересом к получению прибыли. Вы можете заплатить нам цитированием, соавторством и (что наиболее важно) проведением потрясающих исследований с помощью наших инструментов.

Тред

#ScientificML #science #gpt

Continual Backprop: Stochastic Gradient Descent with Persistent Randomness

Алгоритм Backprop (обратное распространение ошибки) для обучения в нейронных сетях использует два механизма: во-первых, стохастический градиентный спуск и, во-вторых, инициализацию с небольшими случайными весами, где последний необходим для эффективности первого. В статье рассказывается про то, что в системах непрерывного обучения Backprop показывает хорошие результаты на начальном этапе, но со временем его эффективность снижается. Стохастический градиентный спуск сам по себе недостаточен для непрерывного обучения; изначальная рандомность позволяет только качественное начальное обучение, но не непрерывное.

Для решения этой проблемы авторы предлагают алгоритм, который постоянно вводит случайные фичи наряду с градиентным спуском, используя новый процесс генерации и тестирования - непрерывный Backprop.

Continual Backprop способен непрерывно адаптироваться как в задачах обучения с учителем, так и в задачах RL.

ArXiv

#training #optimizers

W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training (Google Brain)

Мотивированные успехом масочного моделирования языка~(MLM) в предварительном обучении моделей обработки естественного языка, авторы предлагают w2v-BERT, который использует MLM для self-supervised learning speech representation. w2v-BERT - это модель, которая сочетает контрастивное обучение и MLM, где первое обучает модель дискретизировать непрерывные речевые сигналы на конечный набор дискриминирующих речевых лексем, а второе обучает модель обучению контекстуализированных представлений речи через решение задачи предсказания с маской, которой на вход подаются дискретизированные лексемы.

w2v-BERT может быть оптимизирована end-to-end. Эксперименты авторов показывают, что w2v-BERT достигает конкурентоспособных результатов по сравнению с текущими современными pretrained modes на эталонах LibriSpeech при использовании корпуса Libri-Light~60k в качестве данных для deg-supervised learning. В частности, по сравнению с опубликованными моделями, такими как wav2vec~2.0 и HuBERT, модель показывает от ~5% до ~10% относительного снижения WER на подмножествах test-clean и test-other. При применении к набору данных трафика голосового поиска Google, w2v-BERT превосходит нашу внутреннюю модель wav2vec~2.0 на основе конформера более чем на 30%.

ArXiv

#SSL #speech #audio

Иллюстрация w2v-BERT

Рубрика Back to Basics (в которой мы выкладываем хорошие ресурсы для того что бы с начать изучать нейросети)

Плейлист, составленный не кем иным, как @3blue1brown. В серии восхитительно иллюстрированных лекций,
объясняется, как работает прямое и обратное распространение ошибки, градиентный спуск и прочие базовые блоки позволяющие нам обучать нейросети.

Смотреть тут

#basics

Рубрика Back to Basics (в которой мы выкладываем хорошие ресурсы для того что бы с начать изучать нейросети)

Продолжая тему с основами - один из лучших каналов по основам статистики и машинному обучению - https://youtube.com/c/joshstarmer

Автор рассказывает про почти все практические области, с которыми сталкивается начинающий data scientist.

Акцент в примерах и темах смещен в сторону биологии, так как автор биостатистик. Однако каких-то дополнительных требований это не добавляет.

У автора одно из самых понятных объяснений идей bootstrapping (используется в случайном лесе, является вдохновителем dropout и тд). Очень понятно поясняются и другие базовые темы - SVM, PCA, tSNE. Также очень понятное (местами до скуки;( ) объяснение идей градиентного бустинга и xgboost.

У автора, как и у всех,случаются ляпы, но они очень редки и он оперативно отвечает и правит их в следующих версиях.

#basics

Как именно Apple будет сканировать ваши фотографии в iCloud:

Недавно компания Apple объявила о сканировании всех изображений, загружаемых в iCloud, на предмет наличия CSAM (материалов, связанных с насилием над детьми), и что это сканирование будет происходить локально на телефонах пользователей. Авторы видео ознакомились с техническим отчетом и подробно рассмотрели, как работает система, как она призвана сохранять конфиденциальность пользователей и какие слабые места у нее все еще есть.

Смотреть тут

#hashing #privacy

NeuralCompression (Facebook research)

NeuralCompression - это PyTorch репозиторий, посвященный исследованию нейронных сетей, сжимающих данные. Репозиторий включает такие инструменты, как энтропийные кодеры на основе JAX, модели сжатия изображений, модели сжатия видео, а также метрики для оценки изображений и видео.

#compression #audio #video #images

SOTR: Segmenting Objects with Transformers

В этой работе авторы представляют эффективную модель для сегментации объектов. Предложенный метод, Segmenting Objects with TRansformers (SOTR) предсказывает категории каждого объекта с помощью трансформера, а затем динамически генерирует маски сегментации с помощью многоуровневого модуля апсемплинга. SOTR может эффективно извлекать низкоуровневые представления признаков и захватывать дальние контекстные зависимости с помощью сети пирамид признаков (FPN) и двойного трансформера, соответственно. Авторы показывают, что SOTR хорошо работает на наборе данных MS COCO и достигает SOTA (State of the Art) на задачах сегментации.

ArXiv
GitHub

#segmentation #images #transformer

Сколтех проведёт бесплатную Школу молодых учёных «Нейротехнологии и биоэлектронная медицина».

Мероприятие состоится при поддержке Российского научного фонда, а руководителем станет профессор Сколтеха Михаил Лебедев.

Основные темы школы:
исследования и разработки в области интерфейсов мозг-компьютер;
построение реабилитационных стратегий, основанных на различных методах стимуляции и нейрообратной связи;
внедрение нейроассистивных технологий и стимуляции в клинику.

🇷🇺🇬🇧 Рабочий язык: русский, английский.
🧐 Кто может участвовать: молодые учёные до 35 лет.
📅 Когда: с 8 по 10 сентября.

Регистрация тут

#news #schools #этополюбви

How to avoid machine learning pitfalls: a guide for academic researchers

В статье дается краткое описание некоторых распространенных ошибок, которые встречаются
при использовании методов машинного обучения, и что можно сделать, чтобы их избежать.

Статья предназначена в первую очередь как руководство для студентов-исследователей и разбирает вопросы, которые особенно важны в академических исследованиях, например, необходимость проведения тщательного сравнения моделей и получение обоснованных выводов. Статья охватывает пять этапов процесса машинного обучения: что нужно сделать перед тем как строить модели, как надежно строить модели, как
как надежно оценивать модели, как справедливо сравнивать модели и как публиковать результаты.

Статья очень и очень хороша!

#basics

CLIP Guided Diffusion Uncond

Вновь обновился Colab с Guided Diffusion (нейросеть которая позволяет из любого текста сделать картинку). Качество изображений стало ещё лучше, теперь неплохо получаются лица.

Бежим играть - делитесь в комментах, что у вас получилось.

(Prompt с обложки поста: the rise of consciousness)

#generative #diffusion #CLIP #images #multimodal #text2image