Доля пессимизма (скорее - реализма) от того, кто потестил Copilot
Если коротко - местами он прям удивительно угадывает, что от него хотят.
Но в то же время он пишет даже не на уровне среднего прогера, умеющего в гугл - например, используются старые версии библиотек. Что не удивительно, учили-то на всем. Вот хохмы будет с библиотеками, где API менялось зигзагами. И не учитываются встроенные решения самого языка.
На примерах от автора первый запрос на стаковерфлоу дает решения лучше (вспоминается стебная библиотека, позволяющая импортировать код со stackoverflow)
Почему реализм, а не пессимизм?
Так как автор честно говорит - то, что сделано - круто.
Но - без domain knowledge и активного его внедрения в модель будет получаться не очень.
И, понятно, если OpenAI реально собирается на Copilot зарабатывать, то это изменится.
В целом мораль - можно взять архитектуру из соседней области и она даст приемлемый результат на вашей задаче (что уже круто). Но обычно без domain knowledge дальше не уйти.
Если коротко - местами он прям удивительно угадывает, что от него хотят.
Но в то же время он пишет даже не на уровне среднего прогера, умеющего в гугл - например, используются старые версии библиотек. Что не удивительно, учили-то на всем. Вот хохмы будет с библиотеками, где API менялось зигзагами. И не учитываются встроенные решения самого языка.
На примерах от автора первый запрос на стаковерфлоу дает решения лучше (вспоминается стебная библиотека, позволяющая импортировать код со stackoverflow)
Почему реализм, а не пессимизм?
Так как автор честно говорит - то, что сделано - круто.
Но - без domain knowledge и активного его внедрения в модель будет получаться не очень.
И, понятно, если OpenAI реально собирается на Copilot зарабатывать, то это изменится.
В целом мораль - можно взять архитектуру из соседней области и она даст приемлемый результат на вашей задаче (что уже круто). Но обычно без domain knowledge дальше не уйти.
Multiscale Vision Transformers
Facebook AI выпустили Multiscale Vision Transformers (MViT).
Сеть используют для representation learning (на изображения и видео). MViT относится к семейству моделей пользующихся иерархическими представлениями (по заветам D.H. Hubel и T.N. Wiesel, разработавших иерархическую модель человеческого зрения в 60х годах).
Почему это важно:
MViT - это значительное улучшение по сравнению с предыдущими попытками понимания видео Трансформерами.
Блог-пост
GitHub
#transformer #images #video #SSL #representationLearning
Facebook AI выпустили Multiscale Vision Transformers (MViT).
Сеть используют для representation learning (на изображения и видео). MViT относится к семейству моделей пользующихся иерархическими представлениями (по заветам D.H. Hubel и T.N. Wiesel, разработавших иерархическую модель человеческого зрения в 60х годах).
Почему это важно:
MViT - это значительное улучшение по сравнению с предыдущими попытками понимания видео Трансформерами.
Блог-пост
GitHub
#transformer #images #video #SSL #representationLearning
Forwarded from Sberloga (Alexander C)
Планируем доклад Василия Раменского на 13 августа (перенос с прошлой недели)
🚀 @SBERLOGA продолжает серию онлайн докладов посвященных АльфаФолд и темам вокруг него:
👨🔬 В. Е. Раменский (МГУ): "Структуры белков и варианты генома"
⌚️ Пятница 13 августа, 19.00 по Москве
Первые кристаллографические структуры белков дали возможность описать возможные механизмы действия немногочисленных известных тогда болезнетворных замен аминокислот в белках. Пятьдесят лет спустя огромное количество обнаруженных у человека вариантов последовательности позволяет понять, какие участки белков являются мишенями для болезнетворных мутаций и какие структурные свойства характерны для болезнетворных и нейтральных замен.
Василий Евгеньевич Раменский, к.ф.-м.н., доцент МГУ им М.В.Ломоносова,
Руководитель лаб. геномной и медицинской биоинформатики
НМИЦ Терапии и профилактической медицины
PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogabio ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga
🚀 @SBERLOGA продолжает серию онлайн докладов посвященных АльфаФолд и темам вокруг него:
👨🔬 В. Е. Раменский (МГУ): "Структуры белков и варианты генома"
⌚️ Пятница 13 августа, 19.00 по Москве
Первые кристаллографические структуры белков дали возможность описать возможные механизмы действия немногочисленных известных тогда болезнетворных замен аминокислот в белках. Пятьдесят лет спустя огромное количество обнаруженных у человека вариантов последовательности позволяет понять, какие участки белков являются мишенями для болезнетворных мутаций и какие структурные свойства характерны для болезнетворных и нейтральных замен.
Василий Евгеньевич Раменский, к.ф.-м.н., доцент МГУ им М.В.Ломоносова,
Руководитель лаб. геномной и медицинской биоинформатики
НМИЦ Терапии и профилактической медицины
PS
Ссылка на зум будет доступна через тг чат https://t.me/sberlogabio ближе к началу доклада.
Видео записи докладов доступны на ютуб канале SBERLOGA https://www.youtube.com/c/sberloga
Telegram
(sci)Berloga Bioinformatics, Biology, etc. Club
Биоинформатика, дата сайнс, биология. Основное правило - вежливое и уважительное общение.
@sberlogabig - основной канал
@sberlogasci математика, физика, ДС
@sberlogatalkclub за жизнь
Доклады:
https://www.youtube.com/c/SciBerloga
@sberlogabig - основной канал
@sberlogasci математика, физика, ДС
@sberlogatalkclub за жизнь
Доклады:
https://www.youtube.com/c/SciBerloga
SoundStream - an End-to-End Neural Audio Codec
Аудиокодеки используются для эффективного сжатия звука с целью снижения требований к хранению или пропускной способности сети.
SoundStream - это первый нейрокодек для работы с речью и музыкой, который может работать в режиме реального времени на процессоре смартфона. Он способен обеспечить современное качество в широком диапазоне битрейтов с помощью одной обученной модели, что представляет собой значительный прогресс в области обучаемых кодеков.
Блог-пост и сэмплы
Обещают скоро зарелизить код
#sound #signals #compression #audio #speech #music
Аудиокодеки используются для эффективного сжатия звука с целью снижения требований к хранению или пропускной способности сети.
SoundStream - это первый нейрокодек для работы с речью и музыкой, который может работать в режиме реального времени на процессоре смартфона. Он способен обеспечить современное качество в широком диапазоне битрейтов с помощью одной обученной модели, что представляет собой значительный прогресс в области обучаемых кодеков.
Блог-пост и сэмплы
Обещают скоро зарелизить код
#sound #signals #compression #audio #speech #music
The WikiScenes Dataset
Набор данных WikiScenes состоит из парных изображений и языковых описаний мировых достопримечательностей и культурных объектов, с соответствующими 3D-моделями и позами камеры. WikiScenes получен из обширного публичного каталога свободно лицензируемых краудсорсинговых данных проекта Wikimedia Commons, который содержит большое количество изображений с подписями и другими метаданными.
Описание
GitHub
#datasets #multimodal #images #nlp #3d
Набор данных WikiScenes состоит из парных изображений и языковых описаний мировых достопримечательностей и культурных объектов, с соответствующими 3D-моделями и позами камеры. WikiScenes получен из обширного публичного каталога свободно лицензируемых краудсорсинговых данных проекта Wikimedia Commons, который содержит большое количество изображений с подписями и другими метаданными.
Описание
GitHub
#datasets #multimodal #images #nlp #3d
AI Для Всех
Genji - CoPilot для бедных. Модель GPT-J (open-source версия GPT-3 от Eluther AI) затюненая на генерацию кода на Python. Colab Модель на Huggingface Spaces #code #generative #nlp #gpt
Хотели поиграть с Codex, но не попали в бету? Genji - Open-Source copilot теперь на Spaces!
Работает даже с телефона
Работает даже с телефона
huggingface.co
Genji Python 6b - a Hugging Face Space by akhaliq
Discover amazing ML apps made by the community
#nips #scientificml
Воркшоп на NIPS по структурной биологии - https://www.mlsb.io/
Среди выступающих - Бронштейн (сейчас наиболее известен как специалист в графовых нейросетях), среди организаторов - Сергей Овчинников (структурная биология, в частности - предсказание структур белков)
Воркшоп на NIPS по структурной биологии - https://www.mlsb.io/
Среди выступающих - Бронштейн (сейчас наиболее известен как специалист в графовых нейросетях), среди организаторов - Сергей Овчинников (структурная биология, в частности - предсказание структур белков)
www.mlsb.io
Machine Learning in Structural Biology
Workshop at the 37th Conference on Neural Information Processing Systems
AMMUS : A Survey of Transformer-based Pretrained Models in Natural Language Processing
Большая обзорная статья на Transformer-based pretrained language models (T-PTLMs). Эволюция этих моделей началась с GPT и BERT.
Этот обширный обзор послужит хорошим пособием для изучения основных концептов, а также для того, чтобы быть в курсе последних событий в области T-PTLMs.
ArXiv
#nlp #gpt
Большая обзорная статья на Transformer-based pretrained language models (T-PTLMs). Эволюция этих моделей началась с GPT и BERT.
Этот обширный обзор послужит хорошим пособием для изучения основных концептов, а также для того, чтобы быть в курсе последних событий в области T-PTLMs.
ArXiv
#nlp #gpt
Learning Machine Book - бесплатная нтерактивная книга, скорее даже не книга, а справочник по машинному обучению.
В Интернете существует множество ресурсов по машинному обучению. Однако большинство из них либо:
😒 Слишком длинные. На чтение уходит полчаса.
📐 Слишком тяжелые с точки зрения математики. Вам потребуется целая вечность, чтобы понять.
🤪 Слишком запутанные.
Эта книга призвана решить все эти проблемы. Она старается быть максимально сжатой и легкой для понимания.
Сайт
GitHub
Видео-обзор Яника
#book #resources
В Интернете существует множество ресурсов по машинному обучению. Однако большинство из них либо:
😒 Слишком длинные. На чтение уходит полчаса.
📐 Слишком тяжелые с точки зрения математики. Вам потребуется целая вечность, чтобы понять.
🤪 Слишком запутанные.
Эта книга призвана решить все эти проблемы. Она старается быть максимально сжатой и легкой для понимания.
Сайт
GitHub
Видео-обзор Яника
#book #resources
Сегодня ArXiv отмечает своё 30 летие! 🔬🤟 с чем мы их (да и всех нас) и поздравляем 🎉
A Generalizable Approach to Learning Optimizers (OpenAI)
Нейронные сети зачастую плохо генерализуются на проблемы реального мира. Чтобы решить эту проблему, коллектив авторов из OpenAI описывает вот такую систему: вместо того что бы обновлять параметры модели напрямую, обучается обновление гиперпараметров оптимизатора.
Такой полученный оптимизатор превосходит Adam во всех нейросетевых задачах, в том числе на модальностях, которые не рассматривались во время обучения. Авторы достигают 2-кратного ускорения на ImageNet и 2,5-кратного ускорения на задаче моделирования языка.
В чем подвох спросите вы? И почему же статья вышла в июне и мы до сих пор им не пользуемся? Подвох конечно же в вычислительных ресурсах, которых надо на несколько порядков больше что бы вся эта штука работала.
ArXiv
#training #optimizers
Нейронные сети зачастую плохо генерализуются на проблемы реального мира. Чтобы решить эту проблему, коллектив авторов из OpenAI описывает вот такую систему: вместо того что бы обновлять параметры модели напрямую, обучается обновление гиперпараметров оптимизатора.
Такой полученный оптимизатор превосходит Adam во всех нейросетевых задачах, в том числе на модальностях, которые не рассматривались во время обучения. Авторы достигают 2-кратного ускорения на ImageNet и 2,5-кратного ускорения на задаче моделирования языка.
В чем подвох спросите вы? И почему же статья вышла в июне и мы до сих пор им не пользуемся? Подвох конечно же в вычислительных ресурсах, которых надо на несколько порядков больше что бы вся эта штука работала.
ArXiv
#training #optimizers
Призыв от Стеллы Бёрдмэн из ElutherAI:
Вы (некомпьютерный) ученый, который хочет использовать такие модели, как GPT-3 от @OpenAI, для исследований? #EleutherAI хочет помочь. Мы разработали самые мощные в мире свободно распространяемые языковые модели ИИ и хотим передать их в ваши руки.
В какой поддержке вы нуждаетесь? Что я могу сделать, чтобы ваша исследовательская программа была осуществима? Напишите мне DM, @, ответьте в этой теме, напишите мне по адресу stella@eleuther.ai
Для ясности: мы не являемся стартапом и не берем $$. Мы - частная исследовательская группа с нулевым интересом к получению прибыли. Вы можете заплатить нам цитированием, соавторством и (что наиболее важно) проведением потрясающих исследований с помощью наших инструментов.
Тред
#ScientificML #science #gpt
Вы (некомпьютерный) ученый, который хочет использовать такие модели, как GPT-3 от @OpenAI, для исследований? #EleutherAI хочет помочь. Мы разработали самые мощные в мире свободно распространяемые языковые модели ИИ и хотим передать их в ваши руки.
В какой поддержке вы нуждаетесь? Что я могу сделать, чтобы ваша исследовательская программа была осуществима? Напишите мне DM, @, ответьте в этой теме, напишите мне по адресу stella@eleuther.ai
Для ясности: мы не являемся стартапом и не берем $$. Мы - частная исследовательская группа с нулевым интересом к получению прибыли. Вы можете заплатить нам цитированием, соавторством и (что наиболее важно) проведением потрясающих исследований с помощью наших инструментов.
Тред
#ScientificML #science #gpt
Twitter
Stella Rose Biderman
#AcademicTwitter #AcademicChatter Are you a (non-computer) scientist who wants to use models like @OpenAI’s GPT-3 for research? #EleutherAI wants to help. We have developed the most powerful freely available AI language models in the world and want to put…
Continual Backprop: Stochastic Gradient Descent with Persistent Randomness
Алгоритм Backprop (обратное распространение ошибки) для обучения в нейронных сетях использует два механизма: во-первых, стохастический градиентный спуск и, во-вторых, инициализацию с небольшими случайными весами, где последний необходим для эффективности первого. В статье рассказывается про то, что в системах непрерывного обучения Backprop показывает хорошие результаты на начальном этапе, но со временем его эффективность снижается. Стохастический градиентный спуск сам по себе недостаточен для непрерывного обучения; изначальная рандомность позволяет только качественное начальное обучение, но не непрерывное.
Для решения этой проблемы авторы предлагают алгоритм, который постоянно вводит случайные фичи наряду с градиентным спуском, используя новый процесс генерации и тестирования - непрерывный Backprop.
Continual Backprop способен непрерывно адаптироваться как в задачах обучения с учителем, так и в задачах RL.
ArXiv
#training #optimizers
Алгоритм Backprop (обратное распространение ошибки) для обучения в нейронных сетях использует два механизма: во-первых, стохастический градиентный спуск и, во-вторых, инициализацию с небольшими случайными весами, где последний необходим для эффективности первого. В статье рассказывается про то, что в системах непрерывного обучения Backprop показывает хорошие результаты на начальном этапе, но со временем его эффективность снижается. Стохастический градиентный спуск сам по себе недостаточен для непрерывного обучения; изначальная рандомность позволяет только качественное начальное обучение, но не непрерывное.
Для решения этой проблемы авторы предлагают алгоритм, который постоянно вводит случайные фичи наряду с градиентным спуском, используя новый процесс генерации и тестирования - непрерывный Backprop.
Continual Backprop способен непрерывно адаптироваться как в задачах обучения с учителем, так и в задачах RL.
ArXiv
#training #optimizers
W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training (Google Brain)
Мотивированные успехом масочного моделирования языка~(MLM) в предварительном обучении моделей обработки естественного языка, авторы предлагают w2v-BERT, который использует MLM для self-supervised learning speech representation. w2v-BERT - это модель, которая сочетает контрастивное обучение и MLM, где первое обучает модель дискретизировать непрерывные речевые сигналы на конечный набор дискриминирующих речевых лексем, а второе обучает модель обучению контекстуализированных представлений речи через решение задачи предсказания с маской, которой на вход подаются дискретизированные лексемы.
w2v-BERT может быть оптимизирована end-to-end. Эксперименты авторов показывают, что w2v-BERT достигает конкурентоспособных результатов по сравнению с текущими современными pretrained modes на эталонах LibriSpeech при использовании корпуса Libri-Light~60k в качестве данных для deg-supervised learning. В частности, по сравнению с опубликованными моделями, такими как wav2vec~2.0 и HuBERT, модель показывает от ~5% до ~10% относительного снижения WER на подмножествах test-clean и test-other. При применении к набору данных трафика голосового поиска Google, w2v-BERT превосходит нашу внутреннюю модель wav2vec~2.0 на основе конформера более чем на 30%.
ArXiv
#SSL #speech #audio
Мотивированные успехом масочного моделирования языка~(MLM) в предварительном обучении моделей обработки естественного языка, авторы предлагают w2v-BERT, который использует MLM для self-supervised learning speech representation. w2v-BERT - это модель, которая сочетает контрастивное обучение и MLM, где первое обучает модель дискретизировать непрерывные речевые сигналы на конечный набор дискриминирующих речевых лексем, а второе обучает модель обучению контекстуализированных представлений речи через решение задачи предсказания с маской, которой на вход подаются дискретизированные лексемы.
w2v-BERT может быть оптимизирована end-to-end. Эксперименты авторов показывают, что w2v-BERT достигает конкурентоспособных результатов по сравнению с текущими современными pretrained modes на эталонах LibriSpeech при использовании корпуса Libri-Light~60k в качестве данных для deg-supervised learning. В частности, по сравнению с опубликованными моделями, такими как wav2vec~2.0 и HuBERT, модель показывает от ~5% до ~10% относительного снижения WER на подмножествах test-clean и test-other. При применении к набору данных трафика голосового поиска Google, w2v-BERT превосходит нашу внутреннюю модель wav2vec~2.0 на основе конформера более чем на 30%.
ArXiv
#SSL #speech #audio
Рубрика Back to Basics (в которой мы выкладываем хорошие ресурсы для того что бы с начать изучать нейросети)
Плейлист, составленный не кем иным, как @3blue1brown. В серии восхитительно иллюстрированных лекций,
объясняется, как работает прямое и обратное распространение ошибки, градиентный спуск и прочие базовые блоки позволяющие нам обучать нейросети.
Смотреть тут
#basics
Плейлист, составленный не кем иным, как @3blue1brown. В серии восхитительно иллюстрированных лекций,
объясняется, как работает прямое и обратное распространение ошибки, градиентный спуск и прочие базовые блоки позволяющие нам обучать нейросети.
Смотреть тут
#basics
Рубрика Back to Basics (в которой мы выкладываем хорошие ресурсы для того что бы с начать изучать нейросети)
Продолжая тему с основами - один из лучших каналов по основам статистики и машинному обучению - https://youtube.com/c/joshstarmer
Автор рассказывает про почти все практические области, с которыми сталкивается начинающий data scientist.
Акцент в примерах и темах смещен в сторону биологии, так как автор биостатистик. Однако каких-то дополнительных требований это не добавляет.
У автора одно из самых понятных объяснений идей bootstrapping (используется в случайном лесе, является вдохновителем dropout и тд). Очень понятно поясняются и другие базовые темы - SVM, PCA, tSNE. Также очень понятное (местами до скуки;( ) объяснение идей градиентного бустинга и xgboost.
У автора, как и у всех,случаются ляпы, но они очень редки и он оперативно отвечает и правит их в следующих версиях.
#basics
Продолжая тему с основами - один из лучших каналов по основам статистики и машинному обучению - https://youtube.com/c/joshstarmer
Автор рассказывает про почти все практические области, с которыми сталкивается начинающий data scientist.
Акцент в примерах и темах смещен в сторону биологии, так как автор биостатистик. Однако каких-то дополнительных требований это не добавляет.
У автора одно из самых понятных объяснений идей bootstrapping (используется в случайном лесе, является вдохновителем dropout и тд). Очень понятно поясняются и другие базовые темы - SVM, PCA, tSNE. Также очень понятное (местами до скуки;( ) объяснение идей градиентного бустинга и xgboost.
У автора, как и у всех,случаются ляпы, но они очень редки и он оперативно отвечает и правит их в следующих версиях.
#basics
Как именно Apple будет сканировать ваши фотографии в iCloud:
Недавно компания Apple объявила о сканировании всех изображений, загружаемых в iCloud, на предмет наличия CSAM (материалов, связанных с насилием над детьми), и что это сканирование будет происходить локально на телефонах пользователей. Авторы видео ознакомились с техническим отчетом и подробно рассмотрели, как работает система, как она призвана сохранять конфиденциальность пользователей и какие слабые места у нее все еще есть.
Смотреть тут
#hashing #privacy
Недавно компания Apple объявила о сканировании всех изображений, загружаемых в iCloud, на предмет наличия CSAM (материалов, связанных с насилием над детьми), и что это сканирование будет происходить локально на телефонах пользователей. Авторы видео ознакомились с техническим отчетом и подробно рассмотрели, как работает система, как она призвана сохранять конфиденциальность пользователей и какие слабые места у нее все еще есть.
Смотреть тут
#hashing #privacy