как наш тувинский ИИ-переводчик помогает сохранить другие уязвимые низкоресурсные языки

〰️постила эту историю в апреле, но она должна была появиться здесь〰️

низкоресурсный язык — это термин из лингвистики — язык, у которого немного оцифрованного корпуса

весь сыр-бор начался, когда я распечатала мотивашки на тувинском, повесила на магнитную доску и забыла про него. Илья увидел его и сразу им заинтересовался. но перевести без моей помощи он его не смог: даже онлайн-словари ему не помогли.

и меня осенило: как это до сих пор нет тувинско-русского переводчика?

вообще во всем мире множество языков под угрозой исчезновения. в РФ это в основном финно-угорские и сибирские языки. тувинский где-то во второй половине по шкале угрозы исчезновения.

тогда я себе обещала: переводчик обязательно появится.

через пару недель после этого открытия я собрала команду из двух идеальных партнеров для создания ИИ-переводчика, по совместительству близких друзей:

Давида, который в последние пару лет помог собрать прототип эрзянского переводчика после поездки в Мордовию и осознания той же проблемы с эрзянским (дела у эрзянского хуже, чем у тувинского). Он также всю сознательную карьеру занимается языковыми разработками и обучением языковых моделей, а также работой над их свойствами.

Али (я не пишу про Чойгана Ондара и десятков переводчиков, которые собрали параллельный корпус русско-тувинских пар в 200 тыс слов), создал словарь, клавиатуру, перевел Википедию и Вконтакте на тувинский — за последние 10 лет.

многое сошлось: разработки крупных компаний в области сохранения языков, которые мы использовали как опенсорс, опыт Давида за рубежом, корпус, который ждал своего часа, и предобученная модель, которая уже ранее изучила разные тюркские языки и др.

раскачивались мы почти год. мы стартовали 3 октября 2022 года (кстати, до появления ChatGPT), а первую модель Давид обучил 2 октября 2023 года. первая стабильная модель — это первый шаг.

мы привязали модель к сайту, и каждый может сносно переводить предложения. далеко не всегда точно, но это первый шаг. за год переводчиком воспользовались более 80 тыс человек, мы видим активность каждый день.

и главное, что получилось сделать: мы поделились наработками с другими энтузиастами, и теперь модель обучается по подобию для десятков других языков в волонтерском проекте “Код один — языки разные”, включая для башкирского, татарского, чувашского, марийского и тд.

чем можно нам помочь? если вы готовы донатить, помогать с сохранением языков, пишите, помогу соединить с языковыми энтузиастами 💛