Human to Human 💎

Нейронный машинный перевод.

В 2014 году выходит статья, в которой кратко описывается идея применения нейросетей глубокого обучения (deep learning) к машинному переводу. В лабораториях Google начинается активная работа.
В ноябре 2016 года в блоге Google появляется анонс, который и перевернул ситуацию.

Идея была похожа на перенос стиля между фотографиями. Помните приложения типа Prisma, которые обрабатывали фото в стиле известного художника? Нейросеть обучили распознавать картины художника, а потом создали промежуточное представление, макет, что и было той самой стилизованной картинкой. Машина видит, и нам красиво.

Если с помощью нейросети мы можем перенести стиль на фото, то мы можем представить и язык текста, как «стиль художника», попытавшись его перенести (перевести), сохранив при этом суть.

Что будет, если представить исходный текст как набор характерных свойств, чтобы затем другая нейросеть расшифровала их обратно в текст, но уже на другом языке?
Еще раз: первая нейросеть умеет только кодировать предложение в набор характеристик, а вторая – только декодировать их обратно в текст. Каждая из сетей знает только свой язык.

Как найти эти характеристики? С описанием, например, собаки понятно: лапки, ушки, хвост, другие части тела, но как быть с текстами? Изобрели «диплернинг». К сожалению, формат публикации не позволяет покопаться в этом вопросе подробно. Главное отличие диплернинга от классических нейросетей было в том, что его сети обучаются находить свойства объектов, не понимая их природы, и при наличии большой нейросети можно попытаться найти такие характеристики и в тексте.

Виды нейросетей разные: одни работают с независимыми блоками информации, например, анализируют пиксели в картине, но есть и реккурентные нейросети (RNN), которые помнят предыдущий результат (например, предыдущие слова в предложении).
RNN сейчас применяют во многих областях: распознавание речи в Siri, подсказки слов при написании писем и т.д.

За несколько последующих лет нейросети были развиты настолько, что нейронный перевод делал на 50% меньше ошибок в порядке слов, на 17% меньше лексических и на 19% грамматических ошибок. Нейросети даже научились сами согласовывать род и падежи в разных языках. Сейчас они вполне успешно находят и цитируют высказывания, копируют фразы и целые тексты из ранее опубликованного.

Заключение

Всех по-прежнему будоражит идея о том, что перевод с помощью искусственного интеллекта может заменить «живой» перевод. Не может. Нестандартные тексты, где для перевода требуется знать контекст и подходить к переводу творчески, невозможно адекватно перевести с помощью нейросетей. Креатив не предусмотрен. А еще, например, при синхронном переводе «на лету» нужно понимать, когда нужно начать переводить, а когда - сидеть и слушать.

Обучение систем упирается в ограниченный набор параллельных корпусов с текстами. Мы не можем обучить нейросеть, не давая ей оригинала. А человекможет пополнять словарный запас просто от чтения книг или статей, даже не переводя их на свой родной язык.

❤3🔥2👍1

65 viewsirina Knyazevskaya, 08:45