WebDataset
WebDataset - это реализация PyTorch Dataset (IterableDataset), обеспечивающая эффективный доступ к наборам данных, хранящимся в POSIX tar архивах, и использующая только последовательный/потоковый доступ к данным. Это дает существенное преимущество в производительности во многих вычислительных средах, и это очень важно для очень крупномасштабного обучения.
Хотя WebDataset масштабируется для решения очень больших задач, он также хорошо работает с небольшими наборами данных и упрощает создание, управление и распространение обучающих данных для глубокого обучения.
WebDataset реализует стандартный интерфейс PyTorch IterableDataset и работает с PyTorch DataLoader.
GitHub
#datasets #code #training
WebDataset - это реализация PyTorch Dataset (IterableDataset), обеспечивающая эффективный доступ к наборам данных, хранящимся в POSIX tar архивах, и использующая только последовательный/потоковый доступ к данным. Это дает существенное преимущество в производительности во многих вычислительных средах, и это очень важно для очень крупномасштабного обучения.
Хотя WebDataset масштабируется для решения очень больших задач, он также хорошо работает с небольшими наборами данных и упрощает создание, управление и распространение обучающих данных для глубокого обучения.
WebDataset реализует стандартный интерфейс PyTorch IterableDataset и работает с PyTorch DataLoader.
GitHub
#datasets #code #training
How Can Increased Randomness in Stochastic Gradient Descent Improve Generalization?
В недавних работах сообщается, что увеличение скорости обучения или уменьшение размера минимального батча в стохастическом градиентном спуске (SGD) может улучшить производительность на тесте. Авторы утверждают, что это ожидаемо при некоторых условиях в моделях с функцией потерь с несколькими локальными минимумами. Предлагается использовать приближенный, но аналитический подход, вдохновленный методами физики, для изучения роли скорости обучения SGD и размера батча в генерализации.
Авторы характеризуют производительность на тесте при сдвиге (data shift) между распределениями обучающих и тестовых данных для функций потерь с несколькими минимумами. Сдвиг может быть вызван просто выборкой и поэтому обычно присутствует в практических приложениях.
Оказывается, что вызванное этим сдвигом смещение локальных минимумов ухудшает производительность теста.
Еще показывают, что скорость обучения, деленная на размер минимального батча, играет роль, аналогичную температуре в статистической механике, и подразумевает, что СГД, включая его стационарное распределение, в значительной степени инвариантен к изменениям скорости обучения или размера батча, которые оставляют его температуру постоянной. Авторы показывают, что повышение температуры SGD способствует выбору локальных минимумов с меньшей кривизной и может обеспечить лучшее обобщение.
arXiv
#theory #training
В недавних работах сообщается, что увеличение скорости обучения или уменьшение размера минимального батча в стохастическом градиентном спуске (SGD) может улучшить производительность на тесте. Авторы утверждают, что это ожидаемо при некоторых условиях в моделях с функцией потерь с несколькими локальными минимумами. Предлагается использовать приближенный, но аналитический подход, вдохновленный методами физики, для изучения роли скорости обучения SGD и размера батча в генерализации.
Авторы характеризуют производительность на тесте при сдвиге (data shift) между распределениями обучающих и тестовых данных для функций потерь с несколькими минимумами. Сдвиг может быть вызван просто выборкой и поэтому обычно присутствует в практических приложениях.
Оказывается, что вызванное этим сдвигом смещение локальных минимумов ухудшает производительность теста.
Еще показывают, что скорость обучения, деленная на размер минимального батча, играет роль, аналогичную температуре в статистической механике, и подразумевает, что СГД, включая его стационарное распределение, в значительной степени инвариантен к изменениям скорости обучения или размера батча, которые оставляют его температуру постоянной. Авторы показывают, что повышение температуры SGD способствует выбору локальных минимумов с меньшей кривизной и может обеспечить лучшее обобщение.
arXiv
#theory #training
How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers (Google AI)
Visual Transformers (ViT) показали, что они достигают высокой конкурентоспособности в широком спектре задач зрения, таких как классификация изображений, обнаружение объектов и семантическая сегментация. По сравнению со сверточными нейронными сетями, более слабый индуктивный баес трансформатора зрения обычно приводит к увеличению зависимости от регуляризации модели или аугментации данных ("AugReg" для краткости) при обучении на небольших наборах данных. В статье проводится систематическое эмпирическое исследование взаимосвязанности между количеством обучающих данных, AugReg, размером модели и вычислительным бюджетом.
В результате этого исследования обнаружили, что сочетание увеличения вычислительных ресурсов и AugReg может выдавать модели с такой же производительностью, что и модели, обученные на значительно большем количестве обучающих данных.
arXiv
#transformer #images #training #theory
Visual Transformers (ViT) показали, что они достигают высокой конкурентоспособности в широком спектре задач зрения, таких как классификация изображений, обнаружение объектов и семантическая сегментация. По сравнению со сверточными нейронными сетями, более слабый индуктивный баес трансформатора зрения обычно приводит к увеличению зависимости от регуляризации модели или аугментации данных ("AugReg" для краткости) при обучении на небольших наборах данных. В статье проводится систематическое эмпирическое исследование взаимосвязанности между количеством обучающих данных, AugReg, размером модели и вычислительным бюджетом.
В результате этого исследования обнаружили, что сочетание увеличения вычислительных ресурсов и AugReg может выдавать модели с такой же производительностью, что и модели, обученные на значительно большем количестве обучающих данных.
arXiv
#transformer #images #training #theory
Максим Рябинин из Yandex Research рассказал на Хабре о новом подходе к обучению больших нейросетей — DeDLOC. Технология не требует дата-центра с сотнями мощных видеокарт — вместо этого объединяются компьютеры волонтёров.
Это совместная научная работа исследователей Яндекса, Hugging Face, студентов ШАД, ВШЭ и МФТИ, а также профессора Университета Торонто. Модель и код доступны всем — вы можете применить их для своих проектов
Habr
#training
Это совместная научная работа исследователей Яндекса, Hugging Face, студентов ШАД, ВШЭ и МФТИ, а также профессора Университета Торонто. Модель и код доступны всем — вы можете применить их для своих проектов
Habr
#training
Train short. Test long. Attention with linear biases enables input length extrapolation. (Facebook AI)
Ещё со времён появления первых трансформеров остается открытым фундаментальный вопрос: как добиться экстраполяции на более длинные последовательности, чем те, на которых сеть обучалась?
Авторы описывают простой и эффективный метод, Attention with Linear Biases (ALiBi), который позволяет проводить такую экстраполяцию. ALiBi не добавляет позиционные эмбединги к эмбедингам слов; вместо этого it biases the query-key attention scores with a term that is proportional to their distance.
Авторы показывают, что этот метод позволяет обучить модель с 1,3 миллиардами параметров на входных последовательностях длиной 1024, которая экстраполируется на входные последовательности длиной 2048, достигая той же сложности, что и синусоидальная модель позиционных эмбедингов, обученная на входных данных длиной 2048, на 11% быстрее и используя на 11% меньше памяти. Индуктивный баес ALiBi в сторону рекуррентности позволяет ему превзойти несколько сильных позиционных методов на эталоне WikiText-103.
Статья
GitHub
Видео-разбор от Яника
#training #transformer
Ещё со времён появления первых трансформеров остается открытым фундаментальный вопрос: как добиться экстраполяции на более длинные последовательности, чем те, на которых сеть обучалась?
Авторы описывают простой и эффективный метод, Attention with Linear Biases (ALiBi), который позволяет проводить такую экстраполяцию. ALiBi не добавляет позиционные эмбединги к эмбедингам слов; вместо этого it biases the query-key attention scores with a term that is proportional to their distance.
Авторы показывают, что этот метод позволяет обучить модель с 1,3 миллиардами параметров на входных последовательностях длиной 1024, которая экстраполируется на входные последовательности длиной 2048, достигая той же сложности, что и синусоидальная модель позиционных эмбедингов, обученная на входных данных длиной 2048, на 11% быстрее и используя на 11% меньше памяти. Индуктивный баес ALiBi в сторону рекуррентности позволяет ему превзойти несколько сильных позиционных методов на эталоне WikiText-103.
Статья
GitHub
Видео-разбор от Яника
#training #transformer
Differentiable Prompt Makes Pre-trained Language Models Better Few-shot Learners
Огромные предобученные языковые модели внесли значительный вклад в обработку естественного языка. Однако их эффективность зависит в основном от масштабирования параметров модели, что препятствует их применению в большинстве реальных приложений. В этом исследовании предлагается новый масштабируемый и эффективный подход, названный DifferentiAble pRompT (DART).
Основной принцип этого подхода заключается в переформулировании потенциальных задач обработки естественного языка в задачи предобучения языковой модели и дифференциальной оптимизации шаблона подсказки и целевой метки с помощью обратного распространения. Кроме того, предложенный подход может быть: (i) использован с любыми предобученными языковым моделями; (ii) расширен на задачи классификации.
Статья
#nlp #training #prompting
Огромные предобученные языковые модели внесли значительный вклад в обработку естественного языка. Однако их эффективность зависит в основном от масштабирования параметров модели, что препятствует их применению в большинстве реальных приложений. В этом исследовании предлагается новый масштабируемый и эффективный подход, названный DifferentiAble pRompT (DART).
Основной принцип этого подхода заключается в переформулировании потенциальных задач обработки естественного языка в задачи предобучения языковой модели и дифференциальной оптимизации шаблона подсказки и целевой метки с помощью обратного распространения. Кроме того, предложенный подход может быть: (i) использован с любыми предобученными языковым моделями; (ii) расширен на задачи классификации.
Статья
#nlp #training #prompting
Accelerate PyTorch models with ONNX Runtime
ONNX Runtime for PyTorch ускоряет обучение моделей PyTorch с помощью ONNX Runtime.
Он доступен через пакет torch-ort python. ONNX Runtime for PyTorch дает вам возможность ускорить обучение больших трансформеров. Время и стоимость обучения сокращаются всего лишь за счет изменения одной строки кода.
GitHub
#code #training #speed
ONNX Runtime for PyTorch ускоряет обучение моделей PyTorch с помощью ONNX Runtime.
Он доступен через пакет torch-ort python. ONNX Runtime for PyTorch дает вам возможность ускорить обучение больших трансформеров. Время и стоимость обучения сокращаются всего лишь за счет изменения одной строки кода.
GitHub
#code #training #speed
High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning
Метод, основанный на глубоком метрическом обучении, для выполнения байесовской оптимизации над высокоразмерными структурированными входными пространствами с использованием вариационных автоэнкодеров (VAE). Авторы решают давнюю проблему в байесовской оптимизации для высокоразмерных VAE, а именно, как обеспечить дискриминативное латентное пространство в качестве индуктивного баеса.
Статья
#theory #training #baes #autoencoders #ScientificML
Метод, основанный на глубоком метрическом обучении, для выполнения байесовской оптимизации над высокоразмерными структурированными входными пространствами с использованием вариационных автоэнкодеров (VAE). Авторы решают давнюю проблему в байесовской оптимизации для высокоразмерных VAE, а именно, как обеспечить дискриминативное латентное пространство в качестве индуктивного баеса.
Статья
#theory #training #baes #autoencoders #ScientificML
The Devil is in the Detail: Simple Tricks Improve Systematic Generalization of Transformers (Шмидтхубер)
В последнее время было предложено множество наборов данных для проверки способности нейронных сетей к систематическому обобщению. Базовые трансформеры, обычно обучаемые с гиперпараметрами по умолчанию на основе стандартных задач, с обобщением не справляются.
В статье демонстрируется, что, пересмотрев такие базовые конфигурации модели, как масштабирование embeddings, early stopping, relative positional embeddings и универсальные варианты трансформеров, мы можем значительно улучшить обобщающую способность трансформеров.
Авторские модели повышают точность с 50% до 85% в наборе PCFG и с 35% до 81% в наборе COGS. Важно отметить, что различия в производительности между этими моделями, как правило, незаметны на срезе данных IID. Это говорит о том, что для разработки нейронных сетей, которые обобщают систематически, необходимо использовать соответствующие валидационные наборы для обобщения.
Статья
Код
Видео
#training #transformer
В последнее время было предложено множество наборов данных для проверки способности нейронных сетей к систематическому обобщению. Базовые трансформеры, обычно обучаемые с гиперпараметрами по умолчанию на основе стандартных задач, с обобщением не справляются.
В статье демонстрируется, что, пересмотрев такие базовые конфигурации модели, как масштабирование embeddings, early stopping, relative positional embeddings и универсальные варианты трансформеров, мы можем значительно улучшить обобщающую способность трансформеров.
Авторские модели повышают точность с 50% до 85% в наборе PCFG и с 35% до 81% в наборе COGS. Важно отметить, что различия в производительности между этими моделями, как правило, незаметны на срезе данных IID. Это говорит о том, что для разработки нейронных сетей, которые обобщают систематически, необходимо использовать соответствующие валидационные наборы для обобщения.
Статья
Код
Видео
#training #transformer
Finetuned Language Models Are Zero-Shot Learners (Google AI)
В этой статье рассматривается простой метод улучшения способности языковых моделей к обучению "zero shot".
Авторы берут предварительно обученную языковую модель с 137B параметров и тюнят ее на более чем 60 задачах НЛП, вербализованных с помощью шаблонов инструкций на естественном языке.
Эта модель существенно улучшает производительность своего немодифицированного аналога и превосходит zero-shot 175B GPT-3 на 19 из 25 задач, которые оценивали авторы.
Статья
#nlp #gpt #training #generative
В этой статье рассматривается простой метод улучшения способности языковых моделей к обучению "zero shot".
Авторы берут предварительно обученную языковую модель с 137B параметров и тюнят ее на более чем 60 задачах НЛП, вербализованных с помощью шаблонов инструкций на естественном языке.
Эта модель существенно улучшает производительность своего немодифицированного аналога и превосходит zero-shot 175B GPT-3 на 19 из 25 задач, которые оценивали авторы.
Статья
#nlp #gpt #training #generative
Learning Fast Sample Re-weighting Without Reward Data (Google Cloud AI)
Перевзвешивание обучающей выборки является эффективным подходом для борьбы с проблемами в данных, такими как несбалансированные и испорченные метки.
Существующие методы перевзвешивания выборок на основе обучения требуют вложенной оптимизации моделей и весовых параметров, что в свою очередь требует дорогостоящих вычислений. В этой работе представлен новый метод быстрого перевзвешивания выборки (FSR) на основе обучения, который не требует дополнительных данных о вознаграждении.
В основе метода лежат две ключевые идеи: обучение на основе истории для построения прокси-данных вознаграждения и совместное использование признаков для снижения стоимости оптимизации.
Предложенный метод достигает конкурентоспособных результатов по сравнению с современными методами в отношении устойчивости к шуму меток и распознавания длинных хвостов, и при этом достигает значительно более высокой эффективности обучения.
Статья
Код
#training #imbalance
Перевзвешивание обучающей выборки является эффективным подходом для борьбы с проблемами в данных, такими как несбалансированные и испорченные метки.
Существующие методы перевзвешивания выборок на основе обучения требуют вложенной оптимизации моделей и весовых параметров, что в свою очередь требует дорогостоящих вычислений. В этой работе представлен новый метод быстрого перевзвешивания выборки (FSR) на основе обучения, который не требует дополнительных данных о вознаграждении.
В основе метода лежат две ключевые идеи: обучение на основе истории для построения прокси-данных вознаграждения и совместное использование признаков для снижения стоимости оптимизации.
Предложенный метод достигает конкурентоспособных результатов по сравнению с современными методами в отношении устойчивости к шуму меток и распознавания длинных хвостов, и при этом достигает значительно более высокой эффективности обучения.
Статья
Код
#training #imbalance
Смотрите какая крутая штука! Оказывается loss функцию можно показывать очень и очень красиво и артистично!
Больше крутых примеров 👉 https://losslandscape.com/gallery/
#images #generative #training
Больше крутых примеров 👉 https://losslandscape.com/gallery/
#images #generative #training
AI Для Всех
Хорошая картинка в лекцию по dropout на тему "много их"
R-Drop: Regularized Dropout for Neural Networks
Развивая тему дропаутов - расскажу про ещё один.
В работе представляют простую стратегию регуляризации при дропауте в обучении модели, а именно R-Drop, которая заставляет выходные распределения различных подмоделей, сгенерированных при дропауте, быть согласованными друг с другом. В частности, для каждой обучающей выборки R-Drop минимизирует двунаправленное KL-расхождение между выходными распределениями двух подмоделей, отобранных при дропауте.
Статья
Код
#training
Развивая тему дропаутов - расскажу про ещё один.
В работе представляют простую стратегию регуляризации при дропауте в обучении модели, а именно R-Drop, которая заставляет выходные распределения различных подмоделей, сгенерированных при дропауте, быть согласованными друг с другом. В частности, для каждой обучающей выборки R-Drop минимизирует двунаправленное KL-расхождение между выходными распределениями двух подмоделей, отобранных при дропауте.
Статья
Код
#training
ResNet strikes back: An improved training procedure in timm
Влиятельный ResNet, разработанный He et al., остается золотым стандартом архитектуры в многочисленных научных публикациях (98к цитирований). ResNetы обычно служат в качестве базовой архитектуры с которой сравнивается работа какой-нибудь новой сетки. Тем не менее, с момента появления архитектуры ResNet в 2015 году произошел значительный прогресс в области лучших методов обучения нейронных сетей (например, новые методы оптимизации и аугментации данных).
В этой статье авторы заново оценивают производительность ванильной ResNet-50 при обучении с помощью новой процедуры, которая учитывает достижения за последние 6 лет. И конечно же добиваются лучшей точности.
Статья
Код
#images #training
Влиятельный ResNet, разработанный He et al., остается золотым стандартом архитектуры в многочисленных научных публикациях (98к цитирований). ResNetы обычно служат в качестве базовой архитектуры с которой сравнивается работа какой-нибудь новой сетки. Тем не менее, с момента появления архитектуры ResNet в 2015 году произошел значительный прогресс в области лучших методов обучения нейронных сетей (например, новые методы оптимизации и аугментации данных).
В этой статье авторы заново оценивают производительность ванильной ResNet-50 при обучении с помощью новой процедуры, которая учитывает достижения за последние 6 лет. И конечно же добиваются лучшей точности.
Статья
Код
#images #training
This media is not supported in your browser
VIEW IN TELEGRAM
Fake It Till You Make It
Microsoft демонстрирует, что можно обучать алгоритмы компьютерноего зрения,используя только синтетические данные, при этом, нейронки будут хорошо обобщать и на настоящих людях.
Сообщество уже давно пользуется преимуществами синтеза обучающих данных, но разрыв между реальными и синтетическими данными остается проблемой, особенно там, где это касается человеческих лиц.
Исследователи пытались преодолеть этот разрыв с помощью смешивания данных, адаптации к домену и аверсариального обучения, но увы. Microsoft же показывает, что можно синтезировать данные с минимальным отрывом от реальности, так что модели, обученные на синтетических данных, обобщаются на реальные лица в естественных условиях.
Только подумайте какие крутые возможности это все открывает!
Статья
Сайт проекта
#training #datasets
Microsoft демонстрирует, что можно обучать алгоритмы компьютерноего зрения,используя только синтетические данные, при этом, нейронки будут хорошо обобщать и на настоящих людях.
Сообщество уже давно пользуется преимуществами синтеза обучающих данных, но разрыв между реальными и синтетическими данными остается проблемой, особенно там, где это касается человеческих лиц.
Исследователи пытались преодолеть этот разрыв с помощью смешивания данных, адаптации к домену и аверсариального обучения, но увы. Microsoft же показывает, что можно синтезировать данные с минимальным отрывом от реальности, так что модели, обученные на синтетических данных, обобщаются на реальные лица в естественных условиях.
Только подумайте какие крутые возможности это все открывает!
Статья
Сайт проекта
#training #datasets