A Generalizable Approach to Learning Optimizers (OpenAI)
Нейронные сети зачастую плохо генерализуются на проблемы реального мира. Чтобы решить эту проблему, коллектив авторов из OpenAI описывает вот такую систему: вместо того что бы обновлять параметры модели напрямую, обучается обновление гиперпараметров оптимизатора.
Такой полученный оптимизатор превосходит Adam во всех нейросетевых задачах, в том числе на модальностях, которые не рассматривались во время обучения. Авторы достигают 2-кратного ускорения на ImageNet и 2,5-кратного ускорения на задаче моделирования языка.
В чем подвох спросите вы? И почему же статья вышла в июне и мы до сих пор им не пользуемся? Подвох конечно же в вычислительных ресурсах, которых надо на несколько порядков больше что бы вся эта штука работала.
ArXiv
#training #optimizers
Нейронные сети зачастую плохо генерализуются на проблемы реального мира. Чтобы решить эту проблему, коллектив авторов из OpenAI описывает вот такую систему: вместо того что бы обновлять параметры модели напрямую, обучается обновление гиперпараметров оптимизатора.
Такой полученный оптимизатор превосходит Adam во всех нейросетевых задачах, в том числе на модальностях, которые не рассматривались во время обучения. Авторы достигают 2-кратного ускорения на ImageNet и 2,5-кратного ускорения на задаче моделирования языка.
В чем подвох спросите вы? И почему же статья вышла в июне и мы до сих пор им не пользуемся? Подвох конечно же в вычислительных ресурсах, которых надо на несколько порядков больше что бы вся эта штука работала.
ArXiv
#training #optimizers
Призыв от Стеллы Бёрдмэн из ElutherAI:
Вы (некомпьютерный) ученый, который хочет использовать такие модели, как GPT-3 от @OpenAI, для исследований? #EleutherAI хочет помочь. Мы разработали самые мощные в мире свободно распространяемые языковые модели ИИ и хотим передать их в ваши руки.
В какой поддержке вы нуждаетесь? Что я могу сделать, чтобы ваша исследовательская программа была осуществима? Напишите мне DM, @, ответьте в этой теме, напишите мне по адресу stella@eleuther.ai
Для ясности: мы не являемся стартапом и не берем $$. Мы - частная исследовательская группа с нулевым интересом к получению прибыли. Вы можете заплатить нам цитированием, соавторством и (что наиболее важно) проведением потрясающих исследований с помощью наших инструментов.
Тред
#ScientificML #science #gpt
Вы (некомпьютерный) ученый, который хочет использовать такие модели, как GPT-3 от @OpenAI, для исследований? #EleutherAI хочет помочь. Мы разработали самые мощные в мире свободно распространяемые языковые модели ИИ и хотим передать их в ваши руки.
В какой поддержке вы нуждаетесь? Что я могу сделать, чтобы ваша исследовательская программа была осуществима? Напишите мне DM, @, ответьте в этой теме, напишите мне по адресу stella@eleuther.ai
Для ясности: мы не являемся стартапом и не берем $$. Мы - частная исследовательская группа с нулевым интересом к получению прибыли. Вы можете заплатить нам цитированием, соавторством и (что наиболее важно) проведением потрясающих исследований с помощью наших инструментов.
Тред
#ScientificML #science #gpt
Twitter
Stella Rose Biderman
#AcademicTwitter #AcademicChatter Are you a (non-computer) scientist who wants to use models like @OpenAI’s GPT-3 for research? #EleutherAI wants to help. We have developed the most powerful freely available AI language models in the world and want to put…
Continual Backprop: Stochastic Gradient Descent with Persistent Randomness
Алгоритм Backprop (обратное распространение ошибки) для обучения в нейронных сетях использует два механизма: во-первых, стохастический градиентный спуск и, во-вторых, инициализацию с небольшими случайными весами, где последний необходим для эффективности первого. В статье рассказывается про то, что в системах непрерывного обучения Backprop показывает хорошие результаты на начальном этапе, но со временем его эффективность снижается. Стохастический градиентный спуск сам по себе недостаточен для непрерывного обучения; изначальная рандомность позволяет только качественное начальное обучение, но не непрерывное.
Для решения этой проблемы авторы предлагают алгоритм, который постоянно вводит случайные фичи наряду с градиентным спуском, используя новый процесс генерации и тестирования - непрерывный Backprop.
Continual Backprop способен непрерывно адаптироваться как в задачах обучения с учителем, так и в задачах RL.
ArXiv
#training #optimizers
Алгоритм Backprop (обратное распространение ошибки) для обучения в нейронных сетях использует два механизма: во-первых, стохастический градиентный спуск и, во-вторых, инициализацию с небольшими случайными весами, где последний необходим для эффективности первого. В статье рассказывается про то, что в системах непрерывного обучения Backprop показывает хорошие результаты на начальном этапе, но со временем его эффективность снижается. Стохастический градиентный спуск сам по себе недостаточен для непрерывного обучения; изначальная рандомность позволяет только качественное начальное обучение, но не непрерывное.
Для решения этой проблемы авторы предлагают алгоритм, который постоянно вводит случайные фичи наряду с градиентным спуском, используя новый процесс генерации и тестирования - непрерывный Backprop.
Continual Backprop способен непрерывно адаптироваться как в задачах обучения с учителем, так и в задачах RL.
ArXiv
#training #optimizers
W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training (Google Brain)
Мотивированные успехом масочного моделирования языка~(MLM) в предварительном обучении моделей обработки естественного языка, авторы предлагают w2v-BERT, который использует MLM для self-supervised learning speech representation. w2v-BERT - это модель, которая сочетает контрастивное обучение и MLM, где первое обучает модель дискретизировать непрерывные речевые сигналы на конечный набор дискриминирующих речевых лексем, а второе обучает модель обучению контекстуализированных представлений речи через решение задачи предсказания с маской, которой на вход подаются дискретизированные лексемы.
w2v-BERT может быть оптимизирована end-to-end. Эксперименты авторов показывают, что w2v-BERT достигает конкурентоспособных результатов по сравнению с текущими современными pretrained modes на эталонах LibriSpeech при использовании корпуса Libri-Light~60k в качестве данных для deg-supervised learning. В частности, по сравнению с опубликованными моделями, такими как wav2vec~2.0 и HuBERT, модель показывает от ~5% до ~10% относительного снижения WER на подмножествах test-clean и test-other. При применении к набору данных трафика голосового поиска Google, w2v-BERT превосходит нашу внутреннюю модель wav2vec~2.0 на основе конформера более чем на 30%.
ArXiv
#SSL #speech #audio
Мотивированные успехом масочного моделирования языка~(MLM) в предварительном обучении моделей обработки естественного языка, авторы предлагают w2v-BERT, который использует MLM для self-supervised learning speech representation. w2v-BERT - это модель, которая сочетает контрастивное обучение и MLM, где первое обучает модель дискретизировать непрерывные речевые сигналы на конечный набор дискриминирующих речевых лексем, а второе обучает модель обучению контекстуализированных представлений речи через решение задачи предсказания с маской, которой на вход подаются дискретизированные лексемы.
w2v-BERT может быть оптимизирована end-to-end. Эксперименты авторов показывают, что w2v-BERT достигает конкурентоспособных результатов по сравнению с текущими современными pretrained modes на эталонах LibriSpeech при использовании корпуса Libri-Light~60k в качестве данных для deg-supervised learning. В частности, по сравнению с опубликованными моделями, такими как wav2vec~2.0 и HuBERT, модель показывает от ~5% до ~10% относительного снижения WER на подмножествах test-clean и test-other. При применении к набору данных трафика голосового поиска Google, w2v-BERT превосходит нашу внутреннюю модель wav2vec~2.0 на основе конформера более чем на 30%.
ArXiv
#SSL #speech #audio
Рубрика Back to Basics (в которой мы выкладываем хорошие ресурсы для того что бы с начать изучать нейросети)
Плейлист, составленный не кем иным, как @3blue1brown. В серии восхитительно иллюстрированных лекций,
объясняется, как работает прямое и обратное распространение ошибки, градиентный спуск и прочие базовые блоки позволяющие нам обучать нейросети.
Смотреть тут
#basics
Плейлист, составленный не кем иным, как @3blue1brown. В серии восхитительно иллюстрированных лекций,
объясняется, как работает прямое и обратное распространение ошибки, градиентный спуск и прочие базовые блоки позволяющие нам обучать нейросети.
Смотреть тут
#basics
Рубрика Back to Basics (в которой мы выкладываем хорошие ресурсы для того что бы с начать изучать нейросети)
Продолжая тему с основами - один из лучших каналов по основам статистики и машинному обучению - https://youtube.com/c/joshstarmer
Автор рассказывает про почти все практические области, с которыми сталкивается начинающий data scientist.
Акцент в примерах и темах смещен в сторону биологии, так как автор биостатистик. Однако каких-то дополнительных требований это не добавляет.
У автора одно из самых понятных объяснений идей bootstrapping (используется в случайном лесе, является вдохновителем dropout и тд). Очень понятно поясняются и другие базовые темы - SVM, PCA, tSNE. Также очень понятное (местами до скуки;( ) объяснение идей градиентного бустинга и xgboost.
У автора, как и у всех,случаются ляпы, но они очень редки и он оперативно отвечает и правит их в следующих версиях.
#basics
Продолжая тему с основами - один из лучших каналов по основам статистики и машинному обучению - https://youtube.com/c/joshstarmer
Автор рассказывает про почти все практические области, с которыми сталкивается начинающий data scientist.
Акцент в примерах и темах смещен в сторону биологии, так как автор биостатистик. Однако каких-то дополнительных требований это не добавляет.
У автора одно из самых понятных объяснений идей bootstrapping (используется в случайном лесе, является вдохновителем dropout и тд). Очень понятно поясняются и другие базовые темы - SVM, PCA, tSNE. Также очень понятное (местами до скуки;( ) объяснение идей градиентного бустинга и xgboost.
У автора, как и у всех,случаются ляпы, но они очень редки и он оперативно отвечает и правит их в следующих версиях.
#basics
Как именно Apple будет сканировать ваши фотографии в iCloud:
Недавно компания Apple объявила о сканировании всех изображений, загружаемых в iCloud, на предмет наличия CSAM (материалов, связанных с насилием над детьми), и что это сканирование будет происходить локально на телефонах пользователей. Авторы видео ознакомились с техническим отчетом и подробно рассмотрели, как работает система, как она призвана сохранять конфиденциальность пользователей и какие слабые места у нее все еще есть.
Смотреть тут
#hashing #privacy
Недавно компания Apple объявила о сканировании всех изображений, загружаемых в iCloud, на предмет наличия CSAM (материалов, связанных с насилием над детьми), и что это сканирование будет происходить локально на телефонах пользователей. Авторы видео ознакомились с техническим отчетом и подробно рассмотрели, как работает система, как она призвана сохранять конфиденциальность пользователей и какие слабые места у нее все еще есть.
Смотреть тут
#hashing #privacy
NeuralCompression (Facebook research)
NeuralCompression - это PyTorch репозиторий, посвященный исследованию нейронных сетей, сжимающих данные. Репозиторий включает такие инструменты, как энтропийные кодеры на основе JAX, модели сжатия изображений, модели сжатия видео, а также метрики для оценки изображений и видео.
#compression #audio #video #images
NeuralCompression - это PyTorch репозиторий, посвященный исследованию нейронных сетей, сжимающих данные. Репозиторий включает такие инструменты, как энтропийные кодеры на основе JAX, модели сжатия изображений, модели сжатия видео, а также метрики для оценки изображений и видео.
#compression #audio #video #images
GitHub
GitHub - facebookresearch/NeuralCompression: A collection of tools for neural compression enthusiasts.
A collection of tools for neural compression enthusiasts. - facebookresearch/NeuralCompression
SOTR: Segmenting Objects with Transformers
В этой работе авторы представляют эффективную модель для сегментации объектов. Предложенный метод, Segmenting Objects with TRansformers (SOTR) предсказывает категории каждого объекта с помощью трансформера, а затем динамически генерирует маски сегментации с помощью многоуровневого модуля апсемплинга. SOTR может эффективно извлекать низкоуровневые представления признаков и захватывать дальние контекстные зависимости с помощью сети пирамид признаков (FPN) и двойного трансформера, соответственно. Авторы показывают, что SOTR хорошо работает на наборе данных MS COCO и достигает SOTA (State of the Art) на задачах сегментации.
ArXiv
GitHub
#segmentation #images #transformer
В этой работе авторы представляют эффективную модель для сегментации объектов. Предложенный метод, Segmenting Objects with TRansformers (SOTR) предсказывает категории каждого объекта с помощью трансформера, а затем динамически генерирует маски сегментации с помощью многоуровневого модуля апсемплинга. SOTR может эффективно извлекать низкоуровневые представления признаков и захватывать дальние контекстные зависимости с помощью сети пирамид признаков (FPN) и двойного трансформера, соответственно. Авторы показывают, что SOTR хорошо работает на наборе данных MS COCO и достигает SOTA (State of the Art) на задачах сегментации.
ArXiv
GitHub
#segmentation #images #transformer
Сколтех проведёт бесплатную Школу молодых учёных «Нейротехнологии и биоэлектронная медицина».
Мероприятие состоится при поддержке Российского научного фонда, а руководителем станет профессор Сколтеха Михаил Лебедев.
Основные темы школы:
исследования и разработки в области интерфейсов мозг-компьютер;
построение реабилитационных стратегий, основанных на различных методах стимуляции и нейрообратной связи;
внедрение нейроассистивных технологий и стимуляции в клинику.
🇷🇺🇬🇧 Рабочий язык: русский, английский.
🧐 Кто может участвовать: молодые учёные до 35 лет.
📅 Когда: с 8 по 10 сентября.
Регистрация тут
#news #schools #этополюбви
Мероприятие состоится при поддержке Российского научного фонда, а руководителем станет профессор Сколтеха Михаил Лебедев.
Основные темы школы:
исследования и разработки в области интерфейсов мозг-компьютер;
построение реабилитационных стратегий, основанных на различных методах стимуляции и нейрообратной связи;
внедрение нейроассистивных технологий и стимуляции в клинику.
🇷🇺🇬🇧 Рабочий язык: русский, английский.
🧐 Кто может участвовать: молодые учёные до 35 лет.
📅 Когда: с 8 по 10 сентября.
Регистрация тут
#news #schools #этополюбви
How to avoid machine learning pitfalls: a guide for academic researchers
В статье дается краткое описание некоторых распространенных ошибок, которые встречаются
при использовании методов машинного обучения, и что можно сделать, чтобы их избежать.
Статья предназначена в первую очередь как руководство для студентов-исследователей и разбирает вопросы, которые особенно важны в академических исследованиях, например, необходимость проведения тщательного сравнения моделей и получение обоснованных выводов. Статья охватывает пять этапов процесса машинного обучения: что нужно сделать перед тем как строить модели, как надежно строить модели, как
как надежно оценивать модели, как справедливо сравнивать модели и как публиковать результаты.
Статья очень и очень хороша!
#basics
В статье дается краткое описание некоторых распространенных ошибок, которые встречаются
при использовании методов машинного обучения, и что можно сделать, чтобы их избежать.
Статья предназначена в первую очередь как руководство для студентов-исследователей и разбирает вопросы, которые особенно важны в академических исследованиях, например, необходимость проведения тщательного сравнения моделей и получение обоснованных выводов. Статья охватывает пять этапов процесса машинного обучения: что нужно сделать перед тем как строить модели, как надежно строить модели, как
как надежно оценивать модели, как справедливо сравнивать модели и как публиковать результаты.
Статья очень и очень хороша!
#basics
AI Для Всех
CLIP Guided Diffusion HQ Обновился Colab с guided diffusion. Теперь доступное разрешение 512х512 px и улучшилось качество генерации. Картинка сгенерирована по тексту: a beautiful watercolor painting of wind #text2image #generative #CLIP #diffusion
CLIP Guided Diffusion Uncond
Вновь обновился Colab с Guided Diffusion (нейросеть которая позволяет из любого текста сделать картинку). Качество изображений стало ещё лучше, теперь неплохо получаются лица.
Бежим играть - делитесь в комментах, что у вас получилось.
(Prompt с обложки поста: the rise of consciousness)
#generative #diffusion #CLIP #images #multimodal #text2image
Вновь обновился Colab с Guided Diffusion (нейросеть которая позволяет из любого текста сделать картинку). Качество изображений стало ещё лучше, теперь неплохо получаются лица.
Бежим играть - делитесь в комментах, что у вас получилось.
(Prompt с обложки поста: the rise of consciousness)
#generative #diffusion #CLIP #images #multimodal #text2image
CLIPIT PixelDraw
Возможно некоторые из вас уже видели новую сеть для генерации Pixel Art из текстового описания. И вот наконец к ней выложили Colab с которым можно поиграться самостоятельно.
#generative #CLIP #multimodal #images #text2image
Возможно некоторые из вас уже видели новую сеть для генерации Pixel Art из текстового описания. И вот наконец к ней выложили Colab с которым можно поиграться самостоятельно.
#generative #CLIP #multimodal #images #text2image
Program Synthesis with Large Language Models
Авторы используют большие языковые модели для синтеза компьютерных программ, выполнения программ, решения математических задач и диалога с людьми для итеративного уточнения кода.
Модели могут решить 60% и 81% задач по программированию и математике, соответственно.
Оказалось что, большие модели не только решают проблемы, которые не могут решить меньшие модели, но и более надежно решают более простые проблемы, которые меньшие модели решают реже.
В статье разобранны различные аспекты работы с такими кодовыми моделями.
ArXiv
#code #generative #nlp
Авторы используют большие языковые модели для синтеза компьютерных программ, выполнения программ, решения математических задач и диалога с людьми для итеративного уточнения кода.
Модели могут решить 60% и 81% задач по программированию и математике, соответственно.
Оказалось что, большие модели не только решают проблемы, которые не могут решить меньшие модели, но и более надежно решают более простые проблемы, которые меньшие модели решают реже.
В статье разобранны различные аспекты работы с такими кодовыми моделями.
ArXiv
#code #generative #nlp
При этом стоит отметить, что главное достижение этой статье - это датасеты и про "диалог с людьми".
Сама статья во многом пессимистична.
Первое - самые первые примеры написаны неверно
В первой задаче модель очевидным образом затюнилась на тесты. При этом такой код скорее бы всего обычный программист не написал - он в принципе нелогичен.
Во втором же случае программа не написала MergeSort. Это очень грубая поделка под нее, которая на Python будет отжирать много памяти и работать долго в силу тех же slice и append.
Сама статья во многом пессимистична.
Первое - самые первые примеры написаны неверно
В первой задаче модель очевидным образом затюнилась на тесты. При этом такой код скорее бы всего обычный программист не написал - он в принципе нелогичен.
Во втором же случае программа не написала MergeSort. Это очень грубая поделка под нее, которая на Python будет отжирать много памяти и работать долго в силу тех же slice и append.
Второе - авторы сами явно показывают, что даже на сравнительно простых задачах модель склонна переобучаться на assert.
Например, в задаче удалить первое и последнее вхождения переданного на вход символа не все сгенерированные программы проходят challange test кейсы, если их им не дать на вход.
Причем, заметьте, задача легкая. Писать под такую тесты будут только очень упорные люди. И написание этих тестов (с предугадыванием, что может программа сделать не так) - очень нетривиальное занятие, которое отнимет времени сильно больше, чем написание кода самим человеком.
Например, в задаче удалить первое и последнее вхождения переданного на вход символа не все сгенерированные программы проходят challange test кейсы, если их им не дать на вход.
Причем, заметьте, задача легкая. Писать под такую тесты будут только очень упорные люди. И написание этих тестов (с предугадыванием, что может программа сделать не так) - очень нетривиальное занятие, которое отнимет времени сильно больше, чем написание кода самим человеком.
Ну и самое печальное, что тоже диагностируется авторами - их модели, которые вроде бы хорошо выступают на созданных авторами датасетах и генерируют хороший код не могут предсказать, что выдаст написанная ими программа. То есть, казалось бы, самой важной информации - как исполняется код, в модели нет. В случае питон информации, которую нужно знать, кстати, не так уж и много в 99% случаев
Аналогично, программа не всегда удачно объясняет свое решение (тоже очень простой задачи)
По сути это опять же к тому, что как autocomplete эти модели могуут работать. По сути и обычный autocomplete может вам подсунууть полную отсебятину.
Но шутки про "ща нейросетка заменит программиста" пока еще остаются шутками.
Аналогично, программа не всегда удачно объясняет свое решение (тоже очень простой задачи)
По сути это опять же к тому, что как autocomplete эти модели могуут работать. По сути и обычный autocomplete может вам подсунууть полную отсебятину.
Но шутки про "ща нейросетка заменит программиста" пока еще остаются шутками.