LLM Arena для русскоязычных моделей

Мои знакомые из Vikhrmodels, которые занимаются русскоязычным open-source проектом, создают свои модели и проводят дообучение на основе мультиязычных моделей, недавно выпустили свой набор бенчмарков!

C рускоязычными открытыми LLM очень все сложно - их очень мало. В лучшем случае это дообученные LLam_ы. Но в целом топ LLM с поддержкой русского языка выглядит так:
- Gpt4o
- Gpt4o mini
- LLaMa 3.1 405b
- LLaMa 3.1 70b
- Gemma 27b
- LLaMa 3 70b

RuArenaGeneral — бенчмарк на основе lmsys arenahard . Это единственный полностью открытый современный бенчмарк на русском языке.
В отличие от классической арены, здесь в качестве судьи выступает GPT-4o, благодаря чему арена оценивается очень быстро (новые модели добавляются всего за час), и её можно воспроизводить локально! Кроме того, благодаря использованию LLM в качестве судьи и известности запросов заранее, арена хорошо коррелирует с оригинальной ареной lmsys.org.

На арене каждую неделю появляются новые модели с поддержкой русского языка или русифицированные.

Шлёпа lb — это маленький бенчмарк с множественным выбором (как в ЕГЭ, где выбираются варианты ответа), включающий задачи на знание мира, а также перевод mmlupro. В отличие от Mera, сабмиты полностью оцениваются локально, и можно сразу получить результат на локальной машине, например, во время обучения!

Для новчиков - тут я писал подробнее, что такое ChatBot Arena.

@ai_newz

А еще, если такую модель натренировать на игре вроде Star Craft, то ее потом можно будет «скрестить» с Doom моделью, и играть в что-то среднее между этими двумя играми

В общем, в будущем будет «странно»

Юристы OpenAI красиво зашли в спор с авторами художественной литературы, которые обвинили разработчика в нарушении их авторских прав и использовании текстов книг для обучения ИИ модели.

Отвечая на уточненный иск, OpenAI отметили, что процесс обучения направлен не на воспроизведение, а на создание нового контента.

Любое использование произведений для обучения моделей нужно для того, чтобы модель проанализировала синтаксис предложений, орфографию и частоту повторений слов.

Короче говоря, все это fair use, а что не fair use, то просто не до конца изучено.

А почему «красиво зашли», потому что включили в текст результат генерации ChatGPT - описание с помощью юридических аналогий здания по адресу “450 Golden Gate Avenue, San Francisco” - то самое здание, где находится суд, который слушает их дело.

Но вишенка на торте, что ChatGPT сгенерировал ответ, в котором в качестве аналогии использовал юридический принцип “stare decisis” (стоять на решенном) - принцип уважения решения судов, ставших прецедентами. Тоненько.

…
роботы-стукачи
<вы находитесь здесь>

С ростом популярности видео генераторов появляется все больше людей, которые хотели бы попробовать сделать свое кино с нуля (мне тоже хочется)

Наткнулся на анимированный гайд от Disney который расскажет как именно снимают фильмы и как браться за эту задачу в целом:
https://disneyanimation.com/process/

Точно в избранное

Кстати, тут можете подписаться на канал одного из ресечеров в 1X (нормальном, не из казино):

https://t.me/dlinnlp

Это не реклама, мне просто кажется клевым когда в передовых технологиях – знакомые люди