Немного об учебе

Прошел уже примерно год с момента поступления в универ ИТМО, а значит два семестра магистратуры позади

Направление называется «Глубокое обучение и генеративный искусственный интеллект», именно сюда я хотел попасть еще с зимы 4 курса физтеха СОГУ

Не во все предметы успел углубиться, но хочу отметить несколько классных дисциплин прошедшего семестра

Обучение с подкреплением: пришлось покопаться в коде обучения агента. Здесь агент это тележка с установленной вертикально палкой, нам же нужно обучить агента держать баланс

Методы ИИ в обработке естественных языков: по ходу курса мне надо было обучить вопросно- ответную модель, затем сгенерировать синтетические данные и обучить новую модель на этих данных, а затем сравнить некоторые метрики (например BLEU и ROUGE для машинного перевода). В качестве вопросно- ответной модели взял T5, с которой уже работал, а для генерации данных использовал квантизированную в 4 бит модель с 70 миллиардами параметров

Технологии обработки больших данных: не успел полностью погрузиться в курс, понравилась работа с CI/CD (Jenkins), а именно пайплайн сборки и деплоя ML- модели при каждом push/pull request в репозиторий. В целом очень серьезный курс по MLops

Помимо этого нужно отметить умных ребят, которые учатся на том же направлении, профессиональная среда это очень важная штука

Посмотрим как дальше🤖

ChatGPT, Gemini и другие языковые модели круто работают с текстом. Но можем ли мы расширить способности этих моделей? Допустим, сделать так, чтобы при вопросе «какая сейчас погода во Владикавказе?» модель вернула нам не галлюцинации, а реальные данные о погоде. Здесь на помощь приходит function calling-это свежее направление, концепция которого заключаются в том, чтобы дать возможность LLM влиять на внешний мир (узнавать погоду, отправлять письмо, давать команду роботу)

Недавно я проводил исследование по этой теме для МТС ИИ и решил перенести это в статью на Хабр. Подробнее можно почитать здесь:

https://habr.com/ru/companies/mts_ai/articles/831220/

Ссылка на гит с кодом для отправки почты с помощью LLM-агента:

https://github.com/mts-ai/function-calling

Когда ушел в отпуск (sorry for my English🤓)

Что происходит на видео: я говорю языковой модели что нужно сделать, а она вызывает соответствующую функцию для робота)

Подробнее:

До этого обучил языковую модель Phi-3, чтобы она научилась вызывать подходящие к запросу пользователя функции(подробнее в предыдущем посте) и подключил все это к своему старому роботу

Теперь можно передать языковой модели произвольный запрос, и он поймет какое из доступных действий для робота ей вызывать, на данном видео я показываю как модель вызывает несколько действий подряд (о чем я ее и попросил)

В общем, сделал так, чтобы LLM-агент управлял роботом

Нашей LLM Cotype Pro удалось обогнать удалось обогнать GPT-4 на большом контексте. Как мы это сделали?

Коротко: Предложил использовать метод RoPE, который позволил нам расширить окно контекста модели Cotype Pro до 16k, затем мы произвели автоматическую и ручную оценку на нашем длинном бенчмарке

Подробнее об этом и других методах можно почитать в интересной статье моей коллеги:

https://habr.com/ru/companies/mts_ai/articles/834786/

Зимой приложил руку к тому, чтобы защитить наш диалоговый ИИ от злоумышленников в случае утечки «мозгов» модели

Это делается с помощью такой несложной штуки как фингерпринтинг, мы учим языковую модель отвечать на ряд секретных вопросов на редких языках, с помощью которых можно подтвердить интеллектуальную собственность

Метод уже вышел в продакшн, это означает что LLM поставляется в компании уже со знанием секретных вопросов/ответов

Тут вышла новость про об этом:

https://rb.ru/opinion/kak-razrabotchiki-zashishayut-svoi-yazykovye-modeli-ot-krazhi/

Термин AGI стал очень шумным и многозначным; Летом в OpenAI ввели взамен систему из 5 уровней. Ранее Bloomberg писал, что якобы на июльской презентации модели прототипа o1 было заявлено о переходе с первого уровня (чатботы) на второй (reasoners, сущности, способные к рассуждениям). Но это были только слухи, и вот теперь Altman на камеру это подтвердил — они считают, что о1 достигла второго уровня в их шкале

Взято отсюда

Мы в Вихрях часто делаем модели в стол или оставляем их на время полежать. Собственно в этот раз ребята из MTSa опередили нас с релизом на несколько дней.

Выложили vikhr-qwen2.5-1.5b.

Для обучения использовали GrandMaster.

По арене чуть чуть хуже чем Cotype&

model

К чему это я, мы тут выпустили маленький ИИ Cotype-Nano, к которому я приложил руку, и его квантизированные версии, на данный момент (26.11.2024) это лучшая языковая модель в своем классе по замерам на ру арене