📹 Первый день работы II Международной конференции высокого уровня «Всемирная сокровищница родных языков: оберегать и лелеять. Контекст, политика и практика сохранения языков коренных народов» 🇺🇳

#ФАДНРоссии

🔤🤖 Яндекс запускает большой проект — в течение трёх лет в Яндекс Переводчике появятся более 20 новых языков народов России. Первый из них — осетинский — уже доступен пользователям. Также в сервисе появилась поддержка распознавания и синтеза речи для татарского языка, а позже она распространится на другие языки народов России. Рассказываем, почему создание перевода для языков с небольшим количеством носителей — такая сложная задача.

Как работает машинный перевод
В первую очередь — с помощью нейросетей, и Яндекс Переводчик не исключение. Чтобы научить нейросеть переводить, ей показывают параллельные тексты — фрагменты одинакового текста на двух языках. Во время перевода одна нейросеть (энкодер) конвертирует исходный текст в абстрактное представление в виде чисел, а другая (декодер) использует это представление для генерации перевода.

Почему малые языки сложнее
Нейросети не хватает данных — чем больше информации, тем она быстрее учится и реже ошибается. Для этого требуются миллионы пар оригинал/перевод, и для больших языков такие примеры легко найти — на них переведены тысячи известных книг, и нейросеть учится, сравнивая текст с оригиналом. Но для малых языков такого количества текстов не существует — поэтому их называют малоресурсными.

Как решают эту проблему
На помощь приходит лингвистическое сообщество: энтузиасты помогают собирать тексты для обучения. Также улучшать перевод помогают знания о схожих языках. Так, в Яндекс Переводчике одна модель переводит с татарского, якутского и чувашского на русский. Дело в том, что всё это — тюркские языки. Создание единой модели для родственных языков позволяет собирать большой набор параллельных текстов и в итоге добиваться более высокого качества, чем при обучении отдельных моделей для каждого языка.

Подробнее о том, как нейросети учатся переводить на малые языки, мы рассказывали в журнале ТЕХНО.

Подписывайтесь 👉 @techno_yandex

📅📅📅📅 Президент Российской Федерации подписал Указ об утверждении Давитьяна Константина Александровича атаманом Волжского войскового казачьего общества.

Константин Давитьян проходил военную службу в Вооруженных силах Российской Федерации.

С 2022 года занимал должность заместителя войскового атамана Волжского казачьего войска по боевой подготовке.

#ФАДНРоссии

Начальник Управления государственной политики в сфере межнациональных отношений ФАДН России Тимур Цыбиков о включении осетинского языка в сервис «Яндекс Переводчик» 🔤➡️

#ФАДНРоссии