Forwarded from эйай ньюз
LLM Arena для русскоязычных моделей
Мои знакомые из Vikhrmodels, которые занимаются русскоязычным open-source проектом, создают свои модели и проводят дообучение на основе мультиязычных моделей, недавно выпустили свой набор бенчмарков!
C рускоязычными открытыми LLM очень все сложно - их очень мало. В лучшем случае это дообученные LLam_ы. Но в целом топ LLM с поддержкой русского языка выглядит так:
- Gpt4o
- Gpt4o mini
- LLaMa 3.1 405b
- LLaMa 3.1 70b
- Gemma 27b
- LLaMa 3 70b
RuArenaGeneral — бенчмарк на основе lmsys arenahard . Это единственный полностью открытый современный бенчмарк на русском языке.
В отличие от классической арены, здесь в качестве судьи выступает GPT-4o, благодаря чему арена оценивается очень быстро (новые модели добавляются всего за час), и её можно воспроизводить локально! Кроме того, благодаря использованию LLM в качестве судьи и известности запросов заранее, арена хорошо коррелирует с оригинальной ареной lmsys.org.
На арене каждую неделю появляются новые модели с поддержкой русского языка или русифицированные.
Шлёпа lb — это маленький бенчмарк с множественным выбором (как в ЕГЭ, где выбираются варианты ответа), включающий задачи на знание мира, а также перевод mmlupro. В отличие от Mera, сабмиты полностью оцениваются локально, и можно сразу получить результат на локальной машине, например, во время обучения!
Для новчиков - тут я писал подробнее, что такое ChatBot Arena.
@ai_newz
Мои знакомые из Vikhrmodels, которые занимаются русскоязычным open-source проектом, создают свои модели и проводят дообучение на основе мультиязычных моделей, недавно выпустили свой набор бенчмарков!
C рускоязычными открытыми LLM очень все сложно - их очень мало. В лучшем случае это дообученные LLam_ы. Но в целом топ LLM с поддержкой русского языка выглядит так:
- Gpt4o
- Gpt4o mini
- LLaMa 3.1 405b
- LLaMa 3.1 70b
- Gemma 27b
- LLaMa 3 70b
RuArenaGeneral — бенчмарк на основе lmsys arenahard . Это единственный полностью открытый современный бенчмарк на русском языке.
В отличие от классической арены, здесь в качестве судьи выступает GPT-4o, благодаря чему арена оценивается очень быстро (новые модели добавляются всего за час), и её можно воспроизводить локально! Кроме того, благодаря использованию LLM в качестве судьи и известности запросов заранее, арена хорошо коррелирует с оригинальной ареной lmsys.org.
На арене каждую неделю появляются новые модели с поддержкой русского языка или русифицированные.
Шлёпа lb — это маленький бенчмарк с множественным выбором (как в ЕГЭ, где выбираются варианты ответа), включающий задачи на знание мира, а также перевод mmlupro. В отличие от Mera, сабмиты полностью оцениваются локально, и можно сразу получить результат на локальной машине, например, во время обучения!
Для новчиков - тут я писал подробнее, что такое ChatBot Arena.
@ai_newz
huggingface.co
Russian LLM Leaderboard - a Hugging Face Space by Vikhrmodels
Discover amazing ML apps made by the community
Denis Sexy IT 🤖
Помните я писал, что принимаю участие в конкурсе где пытаюсь предсказать какие-то события с помощью тандема языковых моделей? В общем, мой бот прыгнул с 16-го места на 4-е в общем зачете по качеству предсказаний (мест всего 50); А еще, я повторно прогнал…
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
В последней версии Claude приложения появилась поддержка «артефактов» – мини приложений которые собираются на лету под ваши задачи
Нужно вам собрать какой-то калькулятор который разобьет чек между друзьями, или быстрый UX прототип, или игру как я заказал – просто пишете что хотите и оно собирает
Это пример того куда все идет – AI Software On Demand, думаю через пару лет будет такой же обычной вещью как все эти генераторы картинок
Скачать:
iOS💻 Android
Нужно вам собрать какой-то калькулятор который разобьет чек между друзьями, или быстрый UX прототип, или игру как я заказал – просто пишете что хотите и оно собирает
Это пример того куда все идет – AI Software On Demand, думаю через пару лет будет такой же обычной вещью как все эти генераторы картинок
Скачать:
iOS
Please open Telegram to view this post
VIEW IN TELEGRAM
#промo
Привет!
Первый полностью бесплатный бот с gpt4o, поддерживает текст, изображения, файлы - бесплатно и без ограничений!
Погадает на таро, переведет текст с таблички и решит домашку по программированию.
А еще поддерживается генерация изображений на FLUX!
Запускаем тут:
➡️ @simplyobot
#текстприслан
Привет!
Первый полностью бесплатный бот с gpt4o, поддерживает текст, изображения, файлы - бесплатно и без ограничений!
Погадает на таро, переведет текст с таблички и решит домашку по программированию.
А еще поддерживается генерация изображений на FLUX!
Запускаем тут:
#текстприслан
Please open Telegram to view this post
VIEW IN TELEGRAM
Denis Sexy IT 🤖
А еще, если такую модель натренировать на игре вроде Star Craft, то ее потом можно будет «скрестить» с Doom моделью, и играть в что-то среднее между этими двумя играми
В общем, в будущем будет «странно»
В общем, в будущем будет «странно»
Forwarded from вычислить по IP (Anastasia Skovpen)
Юристы OpenAI красиво зашли в спор с авторами художественной литературы, которые обвинили разработчика в нарушении их авторских прав и использовании текстов книг для обучения ИИ модели.
Отвечая на уточненный иск, OpenAI отметили, что процесс обучения направлен не на воспроизведение, а на создание нового контента.
Любое использование произведений для обучения моделей нужно для того, чтобы модель проанализировала синтаксис предложений, орфографию и частоту повторений слов.
Короче говоря, все это fair use, а что не fair use, то просто не до конца изучено.
А почему «красиво зашли», потому что включили в текст результат генерации ChatGPT - описание с помощью юридических аналогий здания по адресу “450 Golden Gate Avenue, San Francisco” - то самое здание, где находится суд, который слушает их дело.
Но вишенка на торте, что ChatGPT сгенерировал ответ, в котором в качестве аналогии использовал юридический принцип “stare decisis” (стоять на решенном) - принцип уважения решения судов, ставших прецедентами. Тоненько.
Отвечая на уточненный иск, OpenAI отметили, что процесс обучения направлен не на воспроизведение, а на создание нового контента.
Любое использование произведений для обучения моделей нужно для того, чтобы модель проанализировала синтаксис предложений, орфографию и частоту повторений слов.
Короче говоря, все это fair use, а что не fair use, то просто не до конца изучено.
А почему «красиво зашли», потому что включили в текст результат генерации ChatGPT - описание с помощью юридических аналогий здания по адресу “450 Golden Gate Avenue, San Francisco” - то самое здание, где находится суд, который слушает их дело.
Но вишенка на торте, что ChatGPT сгенерировал ответ, в котором в качестве аналогии использовал юридический принцип “stare decisis” (стоять на решенном) - принцип уважения решения судов, ставших прецедентами. Тоненько.
С ростом популярности видео генераторов появляется все больше людей, которые хотели бы попробовать сделать свое кино с нуля (мне тоже хочется)
Наткнулся на анимированный гайд от Disney который расскажет как именно снимают фильмы и как браться за эту задачу в целом:
https://disneyanimation.com/process/
Точно в избранное
Наткнулся на анимированный гайд от Disney который расскажет как именно снимают фильмы и как браться за эту задачу в целом:
https://disneyanimation.com/process/
Точно в избранное
Filmmaking Process
From sequence to shot to frame, explore our studio pipeline.
Denis Sexy IT 🤖
Кстати, тут можете подписаться на канал одного из ресечеров в 1X (нормальном, не из казино):
https://t.me/dlinnlp
Это не реклама, мне просто кажется клевым когда в передовых технологиях – знакомые люди
https://t.me/dlinnlp
Это не реклама, мне просто кажется клевым когда в передовых технологиях – знакомые люди
Telegram
DL in NLP
Новости и обзоры статей на тему обработки естественного языка, нейросетей и всего такого.
Связь: @dropout05 (рекламы нет)
Связь: @dropout05 (рекламы нет)
Denis Sexy IT 🤖
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM