AI Для Всех
12.8K subscribers
1.17K photos
153 videos
10 files
1.38K links
Канал, в котором мы говорим про искусственный интеллект простыми словами

Главный редактор и по рекламе: @crimeacs

Иногда пишут в канал: @GingerSpacetail, @innovationitsme
Download Telegram
DECORE: Deep Compression with Reinforcement Learning

Многие глубокие нейронные сети имеют от миллионов до миллиардов параметров, что делает их непригодными для реальных приложений с ограничениями памяти или работы с низкой задержкой. Поэтому для широкого распространения глубокого обучения необходимо использовать мощные методы сжатия сетей (включая квантизация и тд). Авторы представляют DECORE, подход к обучению с подкреплением для автоматизации процесса сжатия сети. Используя простой метод градиентной политики для изучения того, какие нейроны или каналы следует оставить или удалить.

В отличие от других методов, DECORE прост и быстр в обучении, требуя всего несколько часов обучения на 1 GPU. При применении к стандартным сетевым архитектурам на различных наборах данных наш подход достигает сжатия от 11x до 103x на различных архитектурах, сохраняя при этом точность, аналогичную точности исходных больших сетей.

arXiv

#compression #inference #RL
ONNX Runtime Web

Вышла ONNX Runtime Web (ORT Web), новая функция в ONNX Runtime, позволяющая разработчикам JavaScript запускать и развертывать модели машинного обучения в браузерах. Она также поможет создать новые классы вычислений на устройствах. ORT Web заменит собой скоро выходящий из употребления onnx.js, при этом будут реализованы такие улучшения, как более согласованный опыт разработчиков между пакетами для вычислений на стороне сервера и на стороне клиента, а также улучшенная производительность вычислений и покрытие моделей. В этом блоге вы найдете краткий обзор ORT Web, а также ресурсы для начала работы с ним.

#inference
Torch Inferenece Mode

Хотите, чтобы ваши модели в PyTorch работали быстрее на инференсе? Вот как это сделать.

Замените `torch.no_grad()` на `torch.inference_mode()`

inference_mode() - это torch.no_grad() на стероидах.

В то время как NoGrad отключает операции отслеживания Автограда, InferenceMode делает это на два шага вперед, потенциально ускоряя ваш код (YMMV в зависимости от сложности модели и аппаратного обеспечения).

Обратите внимание, что наибольшее ускорение достигается для легких операций, узким местом которых являются накладные расходы на отслеживание.

Если операции достаточно сложные, отключение отслеживания с помощью InferenceMode не дает большого ускорения; например, использование InferenceMode на ResNet101 forward

#inference #code
Efficient Nearest Neighbor Language Models

Непараметрические нейролингвистические модели (NLM) изучают прогностические распределения текста, используя внешнее хранилище данных, что позволяет им обучаться за счет явного запоминания сэмплов. Несмотря на свою эффективность, эти модели часто требуют извлечения данных из большого хранилища во время тестирования, что значительно увеличивает накладные расходы на вывод и, таким образом, ограничивает применение непараметрических NLM в практических приложениях. Авторы предлагают эффеективную версию модели. Эксперименты на стандартном бэнчмарке WikiText-103 и наборе данных для адаптации к домену показывают, что их методы методы позволяют добиться 6-кратного увеличения скорости вывода при сохранении сопоставимой производительности. Представленный авторами эмпирический анализ может послужить руководством для будущих исследований, направленных на разработку или внедрение более эффективных непараметрических NLM.

Статья
Код

#nlp #knn #inference
How Underspecification Presents Challenges for Machine Learning

Модели машинного обучения (ML), при использовании в реальных областях, часто демонстрируют неожиданное поведение. Например, модели компьютерного зрения могут проявлять удивительную чувствительность к нерелевантным характеристикам, а модели обработки естественного языка могут непредсказуемо зависеть от демографических корреляций, не указанных непосредственно в тексте. Некоторые причины этих неудач хорошо известны: например, обучение ML-моделей на плохо обработанных данных. Некоторые - только изучаются.

В статье, авторы из Google, показывают, что предсказание на реальных данных проваливается из-за недоопределения. Идея недоопределения заключается в том, что хотя модели ML тестируются на проверенных данных, этой проверки часто недостаточно, чтобы гарантировать, что модели будут иметь четко определенное поведение, когда они используются в новых условиях.

Блог-пост

#training #inference
WeightWatcher (WW) - это диагностический инструмент с открытым исходным кодом для анализа глубоких нейронных сетей (DNN), не требующий доступа к обучающим или даже тестовым данным. Он может быть использован для:

* анализа предобученых сетей
* контроля за переобучением или перепараметризацией
* прогноза точности тестов для различных моделей, с обучающими данными или без них
* выявления потенциальных проблем при сжатии или точной настройке предварительно обученных моделей

И ещё много чего. Библиотека основана на серьезных исследованиях лаборатории в Беркли. Собираюсь дать этой штуке шанс и посмотреть насколько это все полезно в реальных задачах.

🖥 Код

#training #inference #theory