Cotype Nano - русскоязычная SLM от МТС.

MTS AI опубликовала в открытый доступ легковесную модель генерации текста C otype Nano и ее квантованные вариации.

Cotype Nano построена на базе Qwen2.5-1.5B и обучалась методом SFT на датасете объемом 1 млн. инструкций из областей: математика, программирование, обобщение текста и текстовые диалоги. В создании датасета использовалась большая модель Cotype Pro 32k.

На первой стадии обучался слой MLP с LoRa на датасетах по математике и программированию. На второй стадии обучалась вся модель на инструктивных датасетах. Завершающим этапом стал alignment (DPO) на отдельно сгенерированном датасете.

Оценка модели проводилась автоматическим side-by-side с gpt-3.5-turbo и gpt-4 на внутреннем датасете и в бенчмарках RuGeneralArena, где Cotype-Nano показала лучший результат в своей весовой категории.

▶️Набор моделей:

🟢Cotype-Nano - 1.54 млрд. параметров;

🟠Cotype‑Nano-4bit - 403 млн. параметров, квантованная методом AWQ версия;

🟠Cotype‑Nano‑CPU - оптимизированная с помощью openVINO версия под CPU Intel;

🟠Cotype Nano GGUF - 1.54 млрд параметров, две версии в разрядности 16-bit (3. 09 Gb) и 8-bit (1.65 GB) под llama.cpp.

📌Лицензирование: Apache 2.0 License.

🟡Статья на Habr
🟡Набор моделей на HF

#AI #ML #SLM #RuLLM #MTS

🎉🎉🎉https://a-ai.ru/ - Кафедра на которой я преподаю Финансового Университета при Правительстве РФ и читаю курсы по графам, рекомендательным системам и NLP, сегодня получила аккредитацию в Альянсе ИИ на следующие 5 лет. А это значит признание специалистов и качество их подготовки. Ура!!!

📖 Эта статья исследует методы оценки неопределенности больших языковых моделей в "черном ящике"!

💡 Авторы предлагают подход под названием DiverseAgentEntropy, который измеряет надежность модели, анализируя ее ответы на различные переформулированные версии одного и того же запроса. Если модель уверена в своих знаниях, она должна отвечать одинаково независимо от формулировки вопроса. Этот метод позволяет также обнаруживать случаи галлюцинаций, когда модель предоставляет недостоверные ответы.

🌟 В основе подхода лежит идея многократного взаимодействия "агентов" (вариаций одной и той же модели), которые обрабатывают один и тот же запрос с разным контекстом. Итоговая оценка основана на согласованности их ответов. В результате метод показывает более точные оценки неопределенности по сравнению с традиционными методами, такими как самосогласованность. Исследование также подчеркивает проблему неспособности моделей систематически извлекать правильные ответы, даже если они уже заложены в параметрические знания модели.