Выложили перевод датасета reasoninga

dataset

🤗 Пост для сбора фидбека о новых моделях

Прошло уже некоторое время с релиза и я надеюсь, что вы успели попробовать наши модели (в Gradio, в ботах, в LM Studio или, быть может, в уже в реальных проектах).

Нам хотелось бы лучше понимать, какую пользу (или наоборот) мы приносим пользователям своими релизами и что работает хорошо, а что не очень и можно было бы добавить/доработать в следующих версиях. А также перформанс относительно других моделей.

Поделитесь, пожалуйста, юзкейсами, где вобще применяете LLM, в каких задачах (не только наши, любые). Присылайте хорошие/плохие/интересные примеры в комментарии, постараюсь помочь с проблемами с использованием.

Кстати, если вам понравились модели не забывайте ставить лайки в карточках моделей на HF (Vikhr-Nemo, Vikhr-Llama), а так же звездочки в Github - это поможет нам в продвижении и просто будет приятно.

🌪️ Vikhr выпустили переведенный датасет под обучения LLM

За основу взят SkunkworksAI/reasoning-0.01, который был переведен с помощью нейросети.

Синтетический набор данных цепочек рассуждений для широкого спектра задач. Мы используем такие данные в различных экспериментах/проектах по рассуждениям. Следите за моделями рассуждений и другими данными.

обнимающеелицо 🤗
🌪️ Vikhr

https://huggingface.co/Vikhrmodels/Llama-3.2-3B-Instruct
https://huggingface.co/Vikhrmodels/Llama-3.2-1B-Instruct

https://huggingface.co/Vikhrmodels/Llama-3.2-1B
https://huggingface.co/Vikhrmodels/Llama-3.2-3B

Работаем братья

ЛЛАМА БУДУТ СВОБОДНЫ!

🔥 Новое пополнение в семействе вихрей!

⚡️ Vikhr-Llama-3.2-1B-Instruct — компактная и мощная языковая модель, созданная на базе Llama-3.2-1B, специально обученная на русскоязычном датасете GrandMaster-PRO-MAX. Её эффективность в 5 раз выше по сравнению с базовой моделью, и она идеально подходит для мобильных и слабых устройств, занимая всего до 3GB.

💡 Что нового?
- Инструктивная дообученная модель: разработана для русскоязычных задач
- Компактный размер: всего 1B параметров
- Мощь в компактности: работает на уровне более крупных моделей

🔗 Подробнее о наших моделях: Vikhrmodels/Vikhr-Llama-3.2-1B-Instruct
🔗 GGUF: Vikhrmodels/Vikhr-Llama-3.2-1B-instruct-GGUF
🔗 Ollama: Ollama

Коллектив авторов: @LakoMoorDev @nlpwanderer

Натурализация выходов llm

С помощью DPO можно учить LLM генерировать LLM более натуральные тексты, для этого берем текст, нарезаем на куски, суммаризируем, затем генерируем "любой сеткой" кандидатов. Учим DPO где хороший текст это оригинал, а плохой это то что сетка родила.

Собственно у нас в Vikhr Models есть трек с Roleplay+Interpretability поэтому мы сгенерировали такой датасет на основе habr+picabuu+ficbook.

Ну и забыли заанонсить🫠

А вчера увидел пост у Ильи что ребята в комьюнити проделали аналогичную работу над книжками!


На основе книжек
Наш датасет на основе более разнообразного датамикса

Vikhr paper едет на Workshop emnlp!

А из-за того что все авторы очень русские никому не выдали визу)))

📟 Вихрь теперь можно запустить даже на пейджерах !?

⚡️ Vikhr-Qwen-2.5-0.5B-Instruct - инструктивная модель на основе Qwen-2.5-0.5B-Instruct, обученная на русскоязычном датасете GrandMaster-PRO-MAX. В 4 раза эффективнее базовой модели, и идеально подходит для запуска на слабых мобильных устройствах.

💡 Что нового?
- Небольшой размер: Всего 0.5B параметров, идеально подходящая для применения на простых устройствах.
- Эффективность: Достигает результатов, сопоставимых с более крупными моделями.

🔗 HF: Vikhrmodels/Vikhr-Qwen-2.5-0.5b-Instruct
🔗 GGUF: Vikhrmodels/Vikhr-Qwen-2.5-0.5b-Instruct-GGUF

Инструкция по запуску на телефоне

Коллектив авторов: @LakoMoorDev @nlpwanderer

Ну что, сработала техника, получается. А нужен был всего лишь простой советский перевод Агаты Кристи.

Сайга пока догоняет, поэтому в качестве основы я взял Вихрь-Немо.

Аналогично оригинальному Ataraxy, дообучил модель через ORPO на датасете, описанном выше, и слил получившийся тюн с оригиналом. Внезапно получил +0.1 на ПингПонге. На арене стало чуть хуже, 77 у новой модели vs 80 у оригинала.

Сама модель: vikhr_nemo_orpo_dostoevsky_12b_slerp
В боте она тоже есть.

Круто!
Нашу библиотеку для алаймента добавили в awesome LLM resourses

Привет!

Спасибо Илье за репорт, мы обновили карточку модели и выкинули дубликаты из GrandMasterProMax

На днях обновим публичную арену

Когда мы готовили датасеты и арену мы старались дизайнить их устойчивыми к взломам, но в итоги вышли сами на себя 😅

Мы почти уверены что даже доливка всей арены не повлият очень значимо на перфоманс. В будущем будем помимо ngramной дедупликации использовать еще и exact match.

Паблик арена слегка страдает от обновления, поэтому пока так

Ygpt v4 lite где то на уровне llama 8b, но с точки зрения русского очевидно будет лучше

Ygptv4 pro где то на уровне mistral nemo 12b

Qwen2.5 14b на уровне тюненной gemma/mistral Nemo

Мммм, 35 место. Но так-то серьёзный скачок с 46. В комментах скриншоты с артефактами.

💨👁 Vikhr-2-VL-2b-Instruct-experimental

это компактная VLM модель, обученная на переведенном датасете LLAVA-150K, специально доученная для обработки на русском языке. Дообученная модель является эксперементальной и не всегда будет работать ожидаемо (особенно OCR).

Ждем вашего фидбека от использования модели)

HuggingFace
Colab

Коллектив авторов: @LakoMoorDev @mlunderground @nlpwanderer

Обновилась llmarena.ru

TLDR
Vikhr Nemo - лучшая opensource модель в своем классе!

19 ноября в 18:30 у нас выступит команда Vikhr models c докладом:

“Как мы русифицировали языковые модели и пришли к лучшей в классе открытой модели на русском”

Ссылка на видеовстречу: https://telemost.yandex.ru/j/89085873905223

Постер нашей статьи на EMNLP.

Самая статья для тех кто не читал.

19 ноября в 18:30 у нас выступит команда Vikhr models c докладом:

“Как мы русифицировали языковые модели и пришли к лучшей в классе открытой модели на русском”

Ссылка на видеовстречу: https://telemost.yandex.ru/j/89085873905223