Языковые модели развиваются стремительным образом, но для обучения и инференса требуется много ресурсов. При этом современные модели размером от 0.5B параметров превосходят в производительности старые LLM размером в 7 и 14 миллиардов параметров. Поэтому один из важных трендов в NLP – уменьшение размеров языковых моделей.
На встрече Алан-Барсаг Газзаев, разработчик-исследователь в MTS AI и студент второго курса магистратуры «Глубокое обучение и генеративный искусственный интеллект», расскажет, как они с командой обучили модель Cotype Nano, которая несколько месяцев была лидером в своей весовой категории. А также как проходил процесс обучения и квантизации этой модели.
⏰ Когда: 19 февраля (среда), 17:00 МСК
🔗 Где: Google Meet. Подключение→
❗️ Уровень сложности: начинающий/средний, для понимания доклада будет достаточно базовых знаний по NLP
Добавляйте мероприятие в свои календари и до встречи!
На встрече Алан-Барсаг Газзаев, разработчик-исследователь в MTS AI и студент второго курса магистратуры «Глубокое обучение и генеративный искусственный интеллект», расскажет, как они с командой обучили модель Cotype Nano, которая несколько месяцев была лидером в своей весовой категории. А также как проходил процесс обучения и квантизации этой модели.
❗️ Уровень сложности: начинающий/средний, для понимания доклада будет достаточно базовых знаний по NLP
Добавляйте мероприятие в свои календари и до встречи!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Ян Лекун (легенда в области ML) считает, что невозможно достичь человеческого уровня интеллекта с помощью скейлинга языковых моделей (думаю, здесь имеется в виду увеличение размера текущих архитектур, количества и качества данных)
По мнению Лекуна, при общении с LLM нам может показаться, что мы общаемся с PhD, хотя на самом деле это просто система с гигантской памятью и хорошей способностью к сбору/резюмированию информации, которая не способна порождать решения для новых проблем
Видео взято у @dslab
По мнению Лекуна, при общении с LLM нам может показаться, что мы общаемся с PhD, хотя на самом деле это просто система с гигантской памятью и хорошей способностью к сбору/резюмированию информации, которая не способна порождать решения для новых проблем
Видео взято у @dslab
🔥7❤1🤗1
Наша команда выпустила Cotype Pro 2!
А вместе с этим статью про методологию оценки языковых моделей
Приложил руку к мультиагентной системе оценки языковых моделей, и предложил два метода на основе статьи Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. Суть заключается в том, что несколько агентов "думают" над вынесением финального вердикта при оценке текста, который сгенеровала модель. Таким образом мы смогли улучшить корреляцию с человеческой оценкой:
Ссылка на статью: https://habr.com/ru/companies/mts_ai/articles/892176/
Пресс-релиз в форбс: https://www.forbes.ru/tekhnologii/533813-agenty-vystraivautsa-v-linejku-mts-vypustit-na-rynok-korporativnyh-ii-pomosnikov
А вместе с этим статью про методологию оценки языковых моделей
Приложил руку к мультиагентной системе оценки языковых моделей, и предложил два метода на основе статьи Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate. Суть заключается в том, что несколько агентов "думают" над вынесением финального вердикта при оценке текста, который сгенеровала модель. Таким образом мы смогли улучшить корреляцию с человеческой оценкой:
Мы также попробовали использовать многоагентные системы для вынесения вердиктов:
Soft метод, в которой один агент выражает мнение, а второй соглашается или не соглашается с ним, после чего финальное решение принимает судья.
Hard метод, где второй агент всегда контраргументирует первому, и итоговый вердикт основывается на противоречивых оценках.
Анализируя мультиагентный подход, мы увидели что hard метод показывает слабую корреляцию с человеческой разметкой, так как другие агенты могут запутать итоговый вердикт. Однако soft метод улучшает корреляцию с экспертными оценками, поскольку второй агент зачастую дополняет логику первого, а агент-судья переоценивает все на основе предыдущих рассуждений. Такие многоагентные дебаты развивают концепцию CoT и могут улучшить качество модели-судьи.
Ссылка на статью: https://habr.com/ru/companies/mts_ai/articles/892176/
Пресс-релиз в форбс: https://www.forbes.ru/tekhnologii/533813-agenty-vystraivautsa-v-linejku-mts-vypustit-na-rynok-korporativnyh-ii-pomosnikov
arXiv.org
Encouraging Divergent Thinking in Large Language Models through...
Modern large language models (LLMs) like ChatGPT have shown remarkable performance on general language tasks but still struggle on complex reasoning tasks, which drives the research on cognitive...
🔥7❤3👍3
Master of Science in AI
Сегодня получил степень магистра в области ИИ в университете ITMO, защитив дипломную по теме рассуждающих языковых моделей🤖
Я начал полноценно заниматься машинным обучением летом перед четвертым курсом бакалавриата в области физики, так что получение академической степени в ИИ это очень важный этап для меня
Посмотрим как дальше
Сегодня получил степень магистра в области ИИ в университете ITMO, защитив дипломную по теме рассуждающих языковых моделей🤖
Я начал полноценно заниматься машинным обучением летом перед четвертым курсом бакалавриата в области физики, так что получение академической степени в ИИ это очень важный этап для меня
Посмотрим как дальше
❤11🔥4
Forwarded from MWS AI
Модель Cotype Nano стала победителем национальной премии в области информационных технологий «Приоритет: Цифра — 2025». Ещё в ноябре мы открыли её для бизнеса и уже успешно протестировали на реальных задачах.
Здесь подробно рассказали, как создавали и запускали Cotype Nano.
Среди номинантов Премии в этом году были Сбер, ВТБ, Альфа Банк, Норникель, Департамент информационных технологий города Москвы.
Принимаем поздравления
#MWSAI_новости
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5
Forwarded from Учёные Осетии
Языковая модель Cotype Nano стала победителем национальной премии в области информационных технологий «Приоритет: Цифра – 2025»
В ноябре MWS AI (дочерняя компания МТС) открыла её для бизнеса и уже успешно протестировала на реальных задачах. Подробности создания и запуска Cotype Nano можно глянуть по ссылке.
Одним из создателей модели является Алан Газзаев, разработчик-исследователь MWS AI, выпускник бакалавриата физико-технического факультета СОГУ по направлению «Физика» и магистратуры ИТМО по направлению «Глубокое обучение и генеративный искусственный интеллект».
В 2022 году его проект нейросетевого голосового ассистента для бизнеса победил в конкурсе Фонда содействия инновациям «Студенческий стартап». Сопровождением проекта занимался стартап-акселератор AxelRose, ныне замороженный и ждущий своего часа. Вот так продвигаются выпускники Акселя 😁
Поздравляем Алана и желаем ему дальнейших успехов!
Фото: пресс-службы АМС г. Владикавказ и MWS AI
Подписывайтесь на «Учёных Осетии»
В ноябре MWS AI (дочерняя компания МТС) открыла её для бизнеса и уже успешно протестировала на реальных задачах. Подробности создания и запуска Cotype Nano можно глянуть по ссылке.
Одним из создателей модели является Алан Газзаев, разработчик-исследователь MWS AI, выпускник бакалавриата физико-технического факультета СОГУ по направлению «Физика» и магистратуры ИТМО по направлению «Глубокое обучение и генеративный искусственный интеллект».
В 2022 году его проект нейросетевого голосового ассистента для бизнеса победил в конкурсе Фонда содействия инновациям «Студенческий стартап». Сопровождением проекта занимался стартап-акселератор AxelRose, ныне замороженный и ждущий своего часа. Вот так продвигаются выпускники Акселя 😁
Поздравляем Алана и желаем ему дальнейших успехов!
Фото: пресс-службы АМС г. Владикавказ и MWS AI
Подписывайтесь на «Учёных Осетии»
🔥4
Выпускник магистратуры ИТМО Алан Газзаев в 2022 году выиграл грант Фонда содействия инновациям по конкурсу «Студенческий стартап» в размере 1 млн рублей. Полученные средства он направил на разработку нейросетевого ассистента для бизнеса.
В дальнейшем Алан выступил одним из создателей системы Cotype Nano – компактной языковой модели для генерации русскоязычного текста. Малый размер здесь является преимуществом, позволяющим не только очень быстро генерировать тексты, но и использовать ассистента на любом устройстве.
https://fasie.ru/press/fund/proekt-pobeditelya-konkursa-studencheskiy-startap-poluchil-natsionalnuyu-premiyu/
Сходил сегодня в парламент Северной Осетии по приглашению, про IT (а тем более про ИИ) ничего не рассказали, если что
Но приятно что пригласили, спасибо
Но приятно что пригласили, спасибо
🔥6👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Сделал простую систему из ASR+Cotype-Nano+TTS, пришлось купить микрофон за 300 рублей, чтобы компьютер меня слышал
🔥2
Forwarded from Valuable AI / Валентин Малых
коллеги, уникальная возможность, мы сейчас в поисках человека к нам в команду, но - важно - вакансия в первую очередь не про текст, а про звук и картинки
вот тут полное описание вакансии, там же можно откликнуться или напрямую написать на почту нашему рекрутеру Алене: a.ostroushko@mts.ai
@valuableai
вот тут полное описание вакансии, там же можно откликнуться или напрямую написать на почту нашему рекрутеру Алене: a.ostroushko@mts.ai
@valuableai
This media is not supported in your browser
VIEW IN TELEGRAM
Сняли большое интервью для российского тревел-шоу, должно выйти в сентябре 🎥
🔥4
Forwarded from IrystonTV
Media is too big
VIEW IN TELEGRAM
😍 Выпускник СОГУ стал победителем престижной премии "Приоритет: Цифра 2025 "
✅ Алан Газзаев с детства мечтал о программировании и прошёл путь от СОГУ до магистратуры в ИТМО по искусственному интеллекту. Сейчас он работает в крупной компании и стал соавтором компактной русскоязычной нейросети, не требующей интернета и настраиваемой под разные задачи.
🥇 В ноябре 2024 года проект был запущен, а месяц назад победил в премии «Приоритет: Цифра 2025», обойдя крупных конкурентов. Нейросеть занимает мало памяти, работает на всех устройствах и уже набирает до 5 тысяч скачиваний в месяц. Команда продолжает развивать и совершенствовать продукт.
⚜ Подписывайтесь на irystonTV
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Сделал прототип очень простого «мягкого» робота из того, что нашел в доме🤓, давно хотел сделать что-то подобное, после того как увидел видео NASA soft robotics
🔥3❤1