GigaChat заняла 4 место в исследовании, обогнав GPT-3.5
GigaChat, современная мультимодальная нейронная сеть, разработанная Сбербанком, заняла впечатляющее 4-е место в авторитетном сравнительном анализе ИИ на 2024 год, обогнав GPT-3.5 (она на шестом месте).
Главной целью исследования было определить, какие модели способные обрабатывать запросы на двух или более языках, могли бы дать наибольшее количество точных ответов. GigaChat – лучший по ответам на русском языке.
Для определения рейтинга модели, эксперты использовали комбинацию двух факторов: оценку производительности модели на ее «родном» языке, на котором была обучена модель, и наивысшую оценку реакции модели на любом другом языке.
Исследование проводили методом side-by-side. Также эксперты проводили слепые тесты по задачам: перевод, творческое написание текстов, генерация кода и анализ данных.
@bugfeature | #исследование #ии
GigaChat, современная мультимодальная нейронная сеть, разработанная Сбербанком, заняла впечатляющее 4-е место в авторитетном сравнительном анализе ИИ на 2024 год, обогнав GPT-3.5 (она на шестом месте).
Главной целью исследования было определить, какие модели способные обрабатывать запросы на двух или более языках, могли бы дать наибольшее количество точных ответов. GigaChat – лучший по ответам на русском языке.
Для определения рейтинга модели, эксперты использовали комбинацию двух факторов: оценку производительности модели на ее «родном» языке, на котором была обучена модель, и наивысшую оценку реакции модели на любом другом языке.
Исследование проводили методом side-by-side. Также эксперты проводили слепые тесты по задачам: перевод, творческое написание текстов, генерация кода и анализ данных.
@bugfeature | #исследование #ии
