LASER – метод для улучшения перфоманса LLM от Microsoft

С LLM есть одна проблема – они неинтерпритируемы. Модель может хорошо справляться с одним типом задач, но с другим валять дурака. И исправить это сложно: мы не знаем, какие параметры за что отвечают, а значит не понимаем, что нужно менять.

Исследователи давно работают над этой проблемой. И на днях MIcrosoft сделали свой вклад. Они выкатили LASER (Layer-Selective Rank Reduction) и подробно рассказали, как работает инструмент. Идея состоит в том, чтобы экспериментально "вмешиваться" в отдельные куски весов, менять их и смотреть, как это воздействует на модель.

На практике берется матрица весов с очередного слоя трансформера и заменяется на приближенную к данной матрицу меньшего ранга (для этого используется сингулярное разложение). Казалось бы, точность должна понижаться. Но! Оказывается, что это работает как процесс шумоподавления, и улучшает ответы модели.

И обратите внимание: такой подход не только может улучшить ответы и повысить интерпретируемость, но и сокращает занимаемую моделью память!

В общем, отличная работа. Советуем прочитать статью и посмотреть ее красивый разбор.

Если в вашем проекте бардак, то скорее зовите на помощь мистера Пропера MLflow

Так, ну все ведь слышали про парня, который женится на девушке, которую нашел для него ChatGPT (общался с ней тоже бот)? Это тот самый человек, который весной защитил диплом с помощью этой же нейросети.

А теперь давайте прочтем технический разбор этой сказочной истории. Мнения?