✔️ ECLECTIC: взгляд Google на то, как LLM понимают разные языки

Исследователи из Google Research представили ECLeKTic — новый бенчмарк, предназначенный для оценки способности больших языковых моделей (LLM) переносить знания между языками.

Исследование направлено на выявление того, насколько эффективно модели могут применять информацию, полученную на одном языке, для решения задач на другом.​

Бенчмарк включает вопросы, сформулированные на одном языке, ответы на которые содержатся в соответствующих статьях Википедии. Эти вопросы затем переводятся на другие языки, для которых аналогичных статей нет. Таким образом, модели должны демонстрировать способность извлекать и применять знания, отсутствующие в целевом языке.​

Оценка моделей: Испытания восьми современных LLM показали, что даже передовые модели испытывают трудности с межъязыковым переносом знаний. Это подчеркивает необходимость дальнейших исследований и улучшений в этой области.​

Вместо простых вопросов используются тесты с множественным выбором, где неправильные ответы (дистракторы) специально сделаны очень похожими на правильный и правдоподобными. Чтобы выбрать верный вариант, модели нужно действительно понять нюансы на целевом языке, а не угадывать.

Минимизация "артефактов перевода": Вопросы тщательно создавались экспертами на 10 различных языках (включая арабский, хинди, японский, русский и др.). Они адаптированы культурно и лингвистически так, чтобы стратегия "перевести-решить-перевести обратно" работала плохо.

ECLECTIC – сложный тест: Он выявляет слабости в понимании, которые могут быть не видны на других бенчмарках.

🌟 Лучшие результаты у Gemini 2.5 Pro: до 52,6% общего успеха и 77,0% коэффициента удачного переноса знаний. ​
В отличие от OpenAI Google на своих же бенчмаркх занимают первые места 😂

Результаты показывают, что текущим LLM еще предстоит улучшить способность по-настоящему переносить и применять знания между языками.

🟡Подробнее
🟡Paper

@ai_machinelearning_big_data


#AI #ml #google #benchmark

Центром топового опенсорса стал Китай.

Кто бы мог предположить это еще год назад. Опенсорс из Китая бьет на метриках многие закрытые модели, в том числе от организации, которая изначально позиционировала себя как open.)

За пару последних недель вышла прям куча моделей с топовыми метриками: Kimi K2, Qwen3 235B instruct, Qwen3-сoder, GLM 4.5. Стоимость инференса этих моделей в несколько раз ниже, чем у GPT4.1 и Claude Sonnet 4. Из общего — все модели c MoE.

Одно дело метрики, а другое дело, что видят глаза, когда решаешь задачи, используя модели. Как-то со времен появления Qwen 2 иногда закрадывалась мысль, что они оверфитнулись на бенчах и показывали хорошие метрики. Несколько последних дней тыкал эти модели в режиме агентности в Koda. Должен признаться, они прям хороши в агентность. DeepSeek или предыдущие версии Qwen-ов были откровенно слабы. А теперь ситуация изменилась, и они на уровне Sonnet 4 работают с тулами при решении кодовых тасок. И да, тестировал я их, взаимодействуя на русском языке. Отдельно хочется про GLM 4.5 сказать. Она лучше других справлялась и часто решала задачи лучше, чем Sonnet 4.

Мы добавили в Koda v0.2.1 GLM 4.5, Qwen3-Coder, Kimi-K2 и Qwen3 235B A22B Instruct для агентности и для чата.

Все перечисленные выше модели уже можно использовать в Koda абсолютно бесплатно. 🚀

GLM-4.5 blog

Koda плагин для VSCode
Koda сообщество,