https://aclanthology.org/2022.findings-emnlp.7.pdf

#tda #transformers #attention

Acceptability Judgements via Examining the Topology of Attention Maps

"The role of the attention mechanism in encoding linguistic knowledge has received special interest in NLP. However, the attention heads’ ability to judge the grammatical acceptability of a sentence has been underexplored. This paper approaches the paradigm of acceptability judgments with topological data analysis (TDA), showing that the topological properties of the attention graph can be efficiently exploited for two standard practices in linguistics: binary judgments and linguistic minimal pairs. Topological features enhance the BERTbased acceptability classifier scores by up to 0.24 Matthew’s correlation coefficient score on COLA in three languages (English, Italian, and Swedish). By revealing the topological discrepancy between attention graphs of minimal pairs, we achieve the human-level performance on the BLIMP benchmark, outperforming nine statistical and Transformer LM baselines. At the same time, TDA provides the foundation for analyzing the linguistic functions of attention heads and interpreting the correspondence between the graph features and grammatical phenomena. We publicly release the code and other materials used in the experiments."

#nlp #mlm #transformers

Друзья, а какая из публично доступных моделей сейчас считается SOTA для мультиязыкового masked language prediction? Bert-ы что-то не вдохновляют.

капец. похоже, ошибку нашёл в contextualSpellChecker.
для "Я ушл в магазин.", bert-base-multilingual-cased предлагает топовый ответ '##шел' с вероятностью 0.3896,
Либа думает, что решётка означает склейку токенов, и склеивает очищенный от решёток вариант с предыдущим токеном. Хотя, кажется, Берт имеет в виду вовсе не склейку с предыдущим токеном, а скорее склейку с текущим токеном, но выброшенными посл 2-мя символами. А, нет, это уже глюки. ## это просто признак субтокена.

#yandex #ml #recommenders #transformers

Лучшие результаты для рекомендации Яндекс музыки дал трансформер сразу с 3+ лоссами.
Слишком большая история оказалась вредной.

Проделана гигантская работа, при этом вероятность лайка рекомендованного трека выросла всего на ~2%.
Правда, разнообразие рекомендаций увеличилось на 6%, и вероятность лайка не слышанного ранее трека взлетела уже на 16%.

Неясно, что имелось в виду, проценты или процентные пункты. Абсолютные итоговые значения вероятностей не разгласили.

https://www.youtube.com/watch?v=bk7J1oZGw6A&

#ml #timeseries #transformers

↓ В моей практике был один случай, когда трансформер из торча очень элегантно решал соревнование по предсказанию продаж Сбермаркета. Автор скрипта - Павел Орлов. На сырых данных его решение давало почти такой же по МЛ качеству результат, как мой вдесятеро больший по коду скрипт со сложным FE. В том соревновании я, кстати, с изумлением узнал, что НЕЛЬЗЯ просто так взять и использовать натренированную модельку классификации, если в test пропорции классов отличаются от train. Нельзя. Вы скажете, но как же, ведь на то и обучение, чтобы по признакам научиться угадывать таргет, а вовсе не по какой-то там пропорции примеров в трейне. Нет. При достаточно отличающемся балансе в тест прогнозы будут смещены настолько, что их придётся пересчитывать по спецформуле. Этому, кстати, не учат нигде ни в книгах, ни на курсах. По кр мере, мне не попадалось. Уникальный контент для подписчиков моего блога )

#lmul #transformers #floats

"Новый метод может сократить использование энергии вплоть до 95 %. Команда называет своё открытие «Умножением линейной сложности» (Linear-Complexity Multiplication) или сокращённо L-Mul. Как пишет TechSpot, этот вычислительный процесс основан на сложении целых чисел и требует значительно меньше энергии и операций по сравнению с умножением чисел с плавающей запятой, которое широко применяется в задачах, связанных с ИИ.

На сегодняшний день числа с плавающей запятой активно используются в ИИ для обработки очень больших или очень малых чисел. Они напоминают запись в бинарной форме, что позволяет алгоритмам точно выполнять сложные вычисления. Однако такая точность требует крайне больших ресурсов и уже вызывает определённые опасения, так как некоторым ИИ-моделям нужны огромные объёмы электроэнергии. Например, для работы ChatGPT требуется столько электроэнергии, сколько потребляют 18 000 домохозяйств в США — 564 МВт·ч ежедневно. По оценкам аналитиков из Кембриджского центра альтернативных финансов, к 2027 году ИИ-индустрия может потреблять от 85 до 134 ТВт·ч ежегодно.

Алгоритм L-Mul решает эту проблему за счёт замены сложных операций умножения с плавающей запятой на более простые сложения целых чисел. В ходе тестирования ИИ-модели сохранили точность, при этом энергопотребление для операций с тензорами сократилось на 95 %, а для скалярных операций на 80 %.

L-Mul также улучшает и производительность. Оказалось, что алгоритм превосходит текущие стандарты вычислений с 8-битной точностью, обеспечивая более высокую точность с меньшим количеством операций на уровне битов. В ходе тестов, охватывающих различные задачи ИИ, включая обработку естественного языка и машинное зрение, снижение производительности составило всего 0,07 %, что специалисты сочли незначительной потерей на фоне огромной экономии энергии.

При этом модели на основе трансформеров, такие как GPT, могут получить наибольшую выгоду от использования L-Mul, поскольку алгоритм легко интегрируется во все ключевые компоненты этих систем. А тесты на популярных моделях ИИ, таких как Llama и Mistral, показали даже улучшение точности в некоторых задачах."
https://3dnews.ru/1112241/noviy-algoritm-lmul-pomoget-snizit-energopotreblenie-ii-na-95-no-nvidia-eto-ne-ponravitsya