AI Для Всех
12.8K subscribers
1.17K photos
152 videos
10 files
1.37K links
Канал, в котором мы говорим про искусственный интеллект простыми словами

Главный редактор и по рекламе: @crimeacs

Иногда пишут в канал: @GingerSpacetail, @innovationitsme
Download Telegram
Efficient Nearest Neighbor Language Models

Непараметрические нейролингвистические модели (NLM) изучают прогностические распределения текста, используя внешнее хранилище данных, что позволяет им обучаться за счет явного запоминания сэмплов. Несмотря на свою эффективность, эти модели часто требуют извлечения данных из большого хранилища во время тестирования, что значительно увеличивает накладные расходы на вывод и, таким образом, ограничивает применение непараметрических NLM в практических приложениях. Авторы предлагают эффеективную версию модели. Эксперименты на стандартном бэнчмарке WikiText-103 и наборе данных для адаптации к домену показывают, что их методы методы позволяют добиться 6-кратного увеличения скорости вывода при сохранении сопоставимой производительности. Представленный авторами эмпирический анализ может послужить руководством для будущих исследований, направленных на разработку или внедрение более эффективных непараметрических NLM.

Статья
Код

#nlp #knn #inference