Как нейросеть выходит за рамки чата

Языковая модель может пересказать статью, перевести договор или придумать сюжет рассказа. В основе этих задач — один принцип: модель получает текст и постепенно строит его продолжение. Например, ответ на ваш вопрос.

Но для ответа бывает нужно найти свежую информацию в интернете, сделать расчёт или учесть то, что вы рассказывали в прошлой беседе. Чтобы модель могла пользоваться всем этим, разработчики создают вокруг неё специальную систему — харнесс, или обвязку.

Харнесс передаёт модели нужные данные и даёт доступ к инструментам. Например, когда модель обращается к поиску, харнесс запускает его и возвращает ей результат, с которым она может работать дальше. Вот как это устроено на примере простого запроса:

🔵 Пользователь спрашивает, чем кормить собаку

🔵 Харнесс добавляет к вопросу заметку из памяти: «У пользователя четырёхмесячный щенок корги»

🔵 Харнесс даёт модели инструмент поиска ➡️ модель передаёт в инструмент запрос «корм для щенка корги» ➡️ харнесс запускает поиск

🔵 Из HTML найденных страниц харнесс извлекает чистый текст и передаёт его модели

🔵 Модель читает результаты и объясняет пользователю, какие корма рассмотреть и почему.

Так модель может не просто отвечать на основе знаний, полученных во время обучения, а работать с актуальной информацией и решать задачу в несколько шагов.

Система вокруг моделей может отвечать и за то, какую модель подключить к конкретному запросу. Например, в Алисе AI для этого работает специальный классификатор: он анализирует задачу, оценивает, сколько ресурсов потребуется для ответа, и выбирает подходящую модель. Для простых запросов достаточно простой быстрой модели, а для задач, где нужно учесть много условий, изучить документы, что-то рассчитать или составить подробный план, система может подключить экспертный режим.

Теперь так работает и Алиса AI в режиме «Авто»: она сама определяет, когда запросу нужно больше ресурсов и какая модель справится лучше. Также в Алисе доступен режим «Эксперт», в котором запрос всегда направляется в самую подходящую для задачи модель.

Подписывайтесь 👉 @techno_yandex