The WikiScenes Dataset
Набор данных WikiScenes состоит из парных изображений и языковых описаний мировых достопримечательностей и культурных объектов, с соответствующими 3D-моделями и позами камеры. WikiScenes получен из обширного публичного каталога свободно лицензируемых краудсорсинговых данных проекта Wikimedia Commons, который содержит большое количество изображений с подписями и другими метаданными.
Описание
GitHub
#datasets #multimodal #images #nlp #3d
Набор данных WikiScenes состоит из парных изображений и языковых описаний мировых достопримечательностей и культурных объектов, с соответствующими 3D-моделями и позами камеры. WikiScenes получен из обширного публичного каталога свободно лицензируемых краудсорсинговых данных проекта Wikimedia Commons, который содержит большое количество изображений с подписями и другими метаданными.
Описание
GitHub
#datasets #multimodal #images #nlp #3d
AI Для Всех
Genji - CoPilot для бедных. Модель GPT-J (open-source версия GPT-3 от Eluther AI) затюненая на генерацию кода на Python. Colab Модель на Huggingface Spaces #code #generative #nlp #gpt
Хотели поиграть с Codex, но не попали в бету? Genji - Open-Source copilot теперь на Spaces!
Работает даже с телефона
Работает даже с телефона
huggingface.co
Genji Python 6b - a Hugging Face Space by akhaliq
Discover amazing ML apps made by the community
#nips #scientificml
Воркшоп на NIPS по структурной биологии - https://www.mlsb.io/
Среди выступающих - Бронштейн (сейчас наиболее известен как специалист в графовых нейросетях), среди организаторов - Сергей Овчинников (структурная биология, в частности - предсказание структур белков)
Воркшоп на NIPS по структурной биологии - https://www.mlsb.io/
Среди выступающих - Бронштейн (сейчас наиболее известен как специалист в графовых нейросетях), среди организаторов - Сергей Овчинников (структурная биология, в частности - предсказание структур белков)
www.mlsb.io
Machine Learning in Structural Biology
Workshop at the 37th Conference on Neural Information Processing Systems
AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing
Большая обзорная статья на Transformer-based pretrained language models (T-PTLMs). Эволюция этих моделей началась с GPT и BERT.
Этот обширный обзор послужит хорошим пособием для изучения основных концептов, а также для того, чтобы быть в курсе последних событий в области T-PTLMs.
ArXiv
#nlp #gpt
Большая обзорная статья на Transformer-based pretrained language models (T-PTLMs). Эволюция этих моделей началась с GPT и BERT.
Этот обширный обзор послужит хорошим пособием для изучения основных концептов, а также для того, чтобы быть в курсе последних событий в области T-PTLMs.
ArXiv
#nlp #gpt
Learning Machine Book - бесплатная нтерактивная книга, скорее даже не книга, а справочник по машинному обучению.
В Интернете существует множество ресурсов по машинному обучению. Однако большинство из них либо:
😒 Слишком длинные. На чтение уходит полчаса.
📐 Слишком тяжелые с точки зрения математики. Вам потребуется целая вечность, чтобы понять.
🤪 Слишком запутанные.
Эта книга призвана решить все эти проблемы. Она старается быть максимально сжатой и легкой для понимания.
Сайт
GitHub
Видео-обзор Яника
#book #resources
В Интернете существует множество ресурсов по машинному обучению. Однако большинство из них либо:
😒 Слишком длинные. На чтение уходит полчаса.
📐 Слишком тяжелые с точки зрения математики. Вам потребуется целая вечность, чтобы понять.
🤪 Слишком запутанные.
Эта книга призвана решить все эти проблемы. Она старается быть максимально сжатой и легкой для понимания.
Сайт
GitHub
Видео-обзор Яника
#book #resources
Сегодня ArXiv отмечает своё 30 летие! 🔬🤟 с чем мы их (да и всех нас) и поздравляем 🎉
A Generalizable Approach to Learning Optimizers (OpenAI)
Нейронные сети зачастую плохо генерализуются на проблемы реального мира. Чтобы решить эту проблему, коллектив авторов из OpenAI описывает вот такую систему: вместо того что бы обновлять параметры модели напрямую, обучается обновление гиперпараметров оптимизатора.
Такой полученный оптимизатор превосходит Adam во всех нейросетевых задачах, в том числе на модальностях, которые не рассматривались во время обучения. Авторы достигают 2-кратного ускорения на ImageNet и 2,5-кратного ускорения на задаче моделирования языка.
В чем подвох спросите вы? И почему же статья вышла в июне и мы до сих пор им не пользуемся? Подвох конечно же в вычислительных ресурсах, которых надо на несколько порядков больше что бы вся эта штука работала.
ArXiv
#training #optimizers
Нейронные сети зачастую плохо генерализуются на проблемы реального мира. Чтобы решить эту проблему, коллектив авторов из OpenAI описывает вот такую систему: вместо того что бы обновлять параметры модели напрямую, обучается обновление гиперпараметров оптимизатора.
Такой полученный оптимизатор превосходит Adam во всех нейросетевых задачах, в том числе на модальностях, которые не рассматривались во время обучения. Авторы достигают 2-кратного ускорения на ImageNet и 2,5-кратного ускорения на задаче моделирования языка.
В чем подвох спросите вы? И почему же статья вышла в июне и мы до сих пор им не пользуемся? Подвох конечно же в вычислительных ресурсах, которых надо на несколько порядков больше что бы вся эта штука работала.
ArXiv
#training #optimizers
Призыв от Стеллы Бёрдмэн из ElutherAI:
Вы (некомпьютерный) ученый, который хочет использовать такие модели, как GPT-3 от @OpenAI, для исследований? #EleutherAI хочет помочь. Мы разработали самые мощные в мире свободно распространяемые языковые модели ИИ и хотим передать их в ваши руки.
В какой поддержке вы нуждаетесь? Что я могу сделать, чтобы ваша исследовательская программа была осуществима? Напишите мне DM, @, ответьте в этой теме, напишите мне по адресу stella@eleuther.ai
Для ясности: мы не являемся стартапом и не берем $$. Мы - частная исследовательская группа с нулевым интересом к получению прибыли. Вы можете заплатить нам цитированием, соавторством и (что наиболее важно) проведением потрясающих исследований с помощью наших инструментов.
Тред
#ScientificML #science #gpt
Вы (некомпьютерный) ученый, который хочет использовать такие модели, как GPT-3 от @OpenAI, для исследований? #EleutherAI хочет помочь. Мы разработали самые мощные в мире свободно распространяемые языковые модели ИИ и хотим передать их в ваши руки.
В какой поддержке вы нуждаетесь? Что я могу сделать, чтобы ваша исследовательская программа была осуществима? Напишите мне DM, @, ответьте в этой теме, напишите мне по адресу stella@eleuther.ai
Для ясности: мы не являемся стартапом и не берем $$. Мы - частная исследовательская группа с нулевым интересом к получению прибыли. Вы можете заплатить нам цитированием, соавторством и (что наиболее важно) проведением потрясающих исследований с помощью наших инструментов.
Тред
#ScientificML #science #gpt
Twitter
Stella Rose Biderman
#AcademicTwitter #AcademicChatter Are you a (non-computer) scientist who wants to use models like @OpenAI’s GPT-3 for research? #EleutherAI wants to help. We have developed the most powerful freely available AI language models in the world and want to put…
Continual Backprop: Stochastic Gradient Descent with Persistent Randomness
Алгоритм Backprop (обратное распространение ошибки) для обучения в нейронных сетях использует два механизма: во-первых, стохастический градиентный спуск и, во-вторых, инициализацию с небольшими случайными весами, где последний необходим для эффективности первого. В статье рассказывается про то, что в системах непрерывного обучения Backprop показывает хорошие результаты на начальном этапе, но со временем его эффективность снижается. Стохастический градиентный спуск сам по себе недостаточен для непрерывного обучения; изначальная рандомность позволяет только качественное начальное обучение, но не непрерывное.
Для решения этой проблемы авторы предлагают алгоритм, который постоянно вводит случайные фичи наряду с градиентным спуском, используя новый процесс генерации и тестирования - непрерывный Backprop.
Continual Backprop способен непрерывно адаптироваться как в задачах обучения с учителем, так и в задачах RL.
ArXiv
#training #optimizers
Алгоритм Backprop (обратное распространение ошибки) для обучения в нейронных сетях использует два механизма: во-первых, стохастический градиентный спуск и, во-вторых, инициализацию с небольшими случайными весами, где последний необходим для эффективности первого. В статье рассказывается про то, что в системах непрерывного обучения Backprop показывает хорошие результаты на начальном этапе, но со временем его эффективность снижается. Стохастический градиентный спуск сам по себе недостаточен для непрерывного обучения; изначальная рандомность позволяет только качественное начальное обучение, но не непрерывное.
Для решения этой проблемы авторы предлагают алгоритм, который постоянно вводит случайные фичи наряду с градиентным спуском, используя новый процесс генерации и тестирования - непрерывный Backprop.
Continual Backprop способен непрерывно адаптироваться как в задачах обучения с учителем, так и в задачах RL.
ArXiv
#training #optimizers
W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training (Google Brain)
Мотивированные успехом масочного моделирования языка~(MLM) в предварительном обучении моделей обработки естественного языка, авторы предлагают w2v-BERT, который использует MLM для self-supervised learning speech representation. w2v-BERT - это модель, которая сочетает контрастивное обучение и MLM, где первое обучает модель дискретизировать непрерывные речевые сигналы на конечный набор дискриминирующих речевых лексем, а второе обучает модель обучению контекстуализированных представлений речи через решение задачи предсказания с маской, которой на вход подаются дискретизированные лексемы.
w2v-BERT может быть оптимизирована end-to-end. Эксперименты авторов показывают, что w2v-BERT достигает конкурентоспособных результатов по сравнению с текущими современными pretrained modes на эталонах LibriSpeech при использовании корпуса Libri-Light~60k в качестве данных для deg-supervised learning. В частности, по сравнению с опубликованными моделями, такими как wav2vec~2.0 и HuBERT, модель показывает от ~5% до ~10% относительного снижения WER на подмножествах test-clean и test-other. При применении к набору данных трафика голосового поиска Google, w2v-BERT превосходит нашу внутреннюю модель wav2vec~2.0 на основе конформера более чем на 30%.
ArXiv
#SSL #speech #audio
Мотивированные успехом масочного моделирования языка~(MLM) в предварительном обучении моделей обработки естественного языка, авторы предлагают w2v-BERT, который использует MLM для self-supervised learning speech representation. w2v-BERT - это модель, которая сочетает контрастивное обучение и MLM, где первое обучает модель дискретизировать непрерывные речевые сигналы на конечный набор дискриминирующих речевых лексем, а второе обучает модель обучению контекстуализированных представлений речи через решение задачи предсказания с маской, которой на вход подаются дискретизированные лексемы.
w2v-BERT может быть оптимизирована end-to-end. Эксперименты авторов показывают, что w2v-BERT достигает конкурентоспособных результатов по сравнению с текущими современными pretrained modes на эталонах LibriSpeech при использовании корпуса Libri-Light~60k в качестве данных для deg-supervised learning. В частности, по сравнению с опубликованными моделями, такими как wav2vec~2.0 и HuBERT, модель показывает от ~5% до ~10% относительного снижения WER на подмножествах test-clean и test-other. При применении к набору данных трафика голосового поиска Google, w2v-BERT превосходит нашу внутреннюю модель wav2vec~2.0 на основе конформера более чем на 30%.
ArXiv
#SSL #speech #audio
Рубрика Back to Basics (в которой мы выкладываем хорошие ресурсы для того что бы с начать изучать нейросети)
Плейлист, составленный не кем иным, как @3blue1brown. В серии восхитительно иллюстрированных лекций,
объясняется, как работает прямое и обратное распространение ошибки, градиентный спуск и прочие базовые блоки позволяющие нам обучать нейросети.
Смотреть тут
#basics
Плейлист, составленный не кем иным, как @3blue1brown. В серии восхитительно иллюстрированных лекций,
объясняется, как работает прямое и обратное распространение ошибки, градиентный спуск и прочие базовые блоки позволяющие нам обучать нейросети.
Смотреть тут
#basics
Рубрика Back to Basics (в которой мы выкладываем хорошие ресурсы для того что бы с начать изучать нейросети)
Продолжая тему с основами - один из лучших каналов по основам статистики и машинному обучению - https://youtube.com/c/joshstarmer
Автор рассказывает про почти все практические области, с которыми сталкивается начинающий data scientist.
Акцент в примерах и темах смещен в сторону биологии, так как автор биостатистик. Однако каких-то дополнительных требований это не добавляет.
У автора одно из самых понятных объяснений идей bootstrapping (используется в случайном лесе, является вдохновителем dropout и тд). Очень понятно поясняются и другие базовые темы - SVM, PCA, tSNE. Также очень понятное (местами до скуки;( ) объяснение идей градиентного бустинга и xgboost.
У автора, как и у всех,случаются ляпы, но они очень редки и он оперативно отвечает и правит их в следующих версиях.
#basics
Продолжая тему с основами - один из лучших каналов по основам статистики и машинному обучению - https://youtube.com/c/joshstarmer
Автор рассказывает про почти все практические области, с которыми сталкивается начинающий data scientist.
Акцент в примерах и темах смещен в сторону биологии, так как автор биостатистик. Однако каких-то дополнительных требований это не добавляет.
У автора одно из самых понятных объяснений идей bootstrapping (используется в случайном лесе, является вдохновителем dropout и тд). Очень понятно поясняются и другие базовые темы - SVM, PCA, tSNE. Также очень понятное (местами до скуки;( ) объяснение идей градиентного бустинга и xgboost.
У автора, как и у всех,случаются ляпы, но они очень редки и он оперативно отвечает и правит их в следующих версиях.
#basics
Как именно Apple будет сканировать ваши фотографии в iCloud:
Недавно компания Apple объявила о сканировании всех изображений, загружаемых в iCloud, на предмет наличия CSAM (материалов, связанных с насилием над детьми), и что это сканирование будет происходить локально на телефонах пользователей. Авторы видео ознакомились с техническим отчетом и подробно рассмотрели, как работает система, как она призвана сохранять конфиденциальность пользователей и какие слабые места у нее все еще есть.
Смотреть тут
#hashing #privacy
Недавно компания Apple объявила о сканировании всех изображений, загружаемых в iCloud, на предмет наличия CSAM (материалов, связанных с насилием над детьми), и что это сканирование будет происходить локально на телефонах пользователей. Авторы видео ознакомились с техническим отчетом и подробно рассмотрели, как работает система, как она призвана сохранять конфиденциальность пользователей и какие слабые места у нее все еще есть.
Смотреть тут
#hashing #privacy
NeuralCompression (Facebook research)
NeuralCompression - это PyTorch репозиторий, посвященный исследованию нейронных сетей, сжимающих данные. Репозиторий включает такие инструменты, как энтропийные кодеры на основе JAX, модели сжатия изображений, модели сжатия видео, а также метрики для оценки изображений и видео.
#compression #audio #video #images
NeuralCompression - это PyTorch репозиторий, посвященный исследованию нейронных сетей, сжимающих данные. Репозиторий включает такие инструменты, как энтропийные кодеры на основе JAX, модели сжатия изображений, модели сжатия видео, а также метрики для оценки изображений и видео.
#compression #audio #video #images
GitHub
GitHub - facebookresearch/NeuralCompression: A collection of tools for neural compression enthusiasts.
A collection of tools for neural compression enthusiasts. - facebookresearch/NeuralCompression
SOTR: Segmenting Objects with Transformers
В этой работе авторы представляют эффективную модель для сегментации объектов. Предложенный метод, Segmenting Objects with TRansformers (SOTR) предсказывает категории каждого объекта с помощью трансформера, а затем динамически генерирует маски сегментации с помощью многоуровневого модуля апсемплинга. SOTR может эффективно извлекать низкоуровневые представления признаков и захватывать дальние контекстные зависимости с помощью сети пирамид признаков (FPN) и двойного трансформера, соответственно. Авторы показывают, что SOTR хорошо работает на наборе данных MS COCO и достигает SOTA (State of the Art) на задачах сегментации.
ArXiv
GitHub
#segmentation #images #transformer
В этой работе авторы представляют эффективную модель для сегментации объектов. Предложенный метод, Segmenting Objects with TRansformers (SOTR) предсказывает категории каждого объекта с помощью трансформера, а затем динамически генерирует маски сегментации с помощью многоуровневого модуля апсемплинга. SOTR может эффективно извлекать низкоуровневые представления признаков и захватывать дальние контекстные зависимости с помощью сети пирамид признаков (FPN) и двойного трансформера, соответственно. Авторы показывают, что SOTR хорошо работает на наборе данных MS COCO и достигает SOTA (State of the Art) на задачах сегментации.
ArXiv
GitHub
#segmentation #images #transformer
Сколтех проведёт бесплатную Школу молодых учёных «Нейротехнологии и биоэлектронная медицина».
Мероприятие состоится при поддержке Российского научного фонда, а руководителем станет профессор Сколтеха Михаил Лебедев.
Основные темы школы:
исследования и разработки в области интерфейсов мозг-компьютер;
построение реабилитационных стратегий, основанных на различных методах стимуляции и нейрообратной связи;
внедрение нейроассистивных технологий и стимуляции в клинику.
🇷🇺🇬🇧 Рабочий язык: русский, английский.
🧐 Кто может участвовать: молодые учёные до 35 лет.
📅 Когда: с 8 по 10 сентября.
Регистрация тут
#news #schools #этополюбви
Мероприятие состоится при поддержке Российского научного фонда, а руководителем станет профессор Сколтеха Михаил Лебедев.
Основные темы школы:
исследования и разработки в области интерфейсов мозг-компьютер;
построение реабилитационных стратегий, основанных на различных методах стимуляции и нейрообратной связи;
внедрение нейроассистивных технологий и стимуляции в клинику.
🇷🇺🇬🇧 Рабочий язык: русский, английский.
🧐 Кто может участвовать: молодые учёные до 35 лет.
📅 Когда: с 8 по 10 сентября.
Регистрация тут
#news #schools #этополюбви
How to avoid machine learning pitfalls: a guide for academic researchers
В статье дается краткое описание некоторых распространенных ошибок, которые встречаются
при использовании методов машинного обучения, и что можно сделать, чтобы их избежать.
Статья предназначена в первую очередь как руководство для студентов-исследователей и разбирает вопросы, которые особенно важны в академических исследованиях, например, необходимость проведения тщательного сравнения моделей и получение обоснованных выводов. Статья охватывает пять этапов процесса машинного обучения: что нужно сделать перед тем как строить модели, как надежно строить модели, как
как надежно оценивать модели, как справедливо сравнивать модели и как публиковать результаты.
Статья очень и очень хороша!
#basics
В статье дается краткое описание некоторых распространенных ошибок, которые встречаются
при использовании методов машинного обучения, и что можно сделать, чтобы их избежать.
Статья предназначена в первую очередь как руководство для студентов-исследователей и разбирает вопросы, которые особенно важны в академических исследованиях, например, необходимость проведения тщательного сравнения моделей и получение обоснованных выводов. Статья охватывает пять этапов процесса машинного обучения: что нужно сделать перед тем как строить модели, как надежно строить модели, как
как надежно оценивать модели, как справедливо сравнивать модели и как публиковать результаты.
Статья очень и очень хороша!
#basics