Сегодня вышло большое обновление, следите за нашими анонсами в ближайшие дни.

Мы обновили Обучающий корпус, добавив в него более 1000 новых текстов. Теперь в нем есть все основные произведения из школьной программы по литературе, включая те, которые рекомендуются для внеклассного чтения.

Но это еще не всё. Для морфологической разметки всех текстов мы использовали нейросетевые модели. В процессе автоматической разметки снята грамматическая омонимия, что позволило нам добавить в Обучающий корпус современные инструменты для анализа слов и текстов.

Портрет слова показывает его сочетаемость, похожие слова, частоту использования, формы и историю употребления, а также примеры из текстов корпуса. Для сравнения частоты употребления слов и словосочетаний можно использовать Сравнение запросов.

Можно анализировать и тексты. Для этого есть инструмент Портрет Корпуса, который предоставляет информацию об истории создания и о составе корпуса, а также статистику и частотный словарь. С помощью Портрета подкорпуса можно анализировать особенности выбранных текстов и сравнивать их с остальными текстами в корпусе.

При помощи новых инструментов можно составлять более разнообразные задания для школьников. Ученики могут использовать их и для самостоятельных исследований, например, чтобы написать реферат. А для тех преподавателей и студентов, кто готов проводить более сложные исследования, мы добавили новые виды выдачи результатов поиска (Статистика, Частотность, N-граммы) и новый вид поиска – Поиск коллокаций.

Мультимедийный корпус переведен на новый интерфейс. Теперь поиск по корпусу отображается в новом дизайне, доступны «Портреты слов».

Особенностью корпуса является возможность мультимедийного поиска, когда можно задать одновременно три поисковых запроса: для слов, жестов и речевых действий. Найдутся клипотексты, где и в видео/аудио, и в тексте встретились соответствия этим запросам: например, те, где в речи есть слово за, а в значении жеста — тост.

Обратите внимание, что по умолчанию в форме скрыта часть условий на слова, жесты и речевые действия. Эти условия можно добавить, нажав на кнопку «Добавить условия».

Например, чтобы найти клипотексты, в которых человек определенным образом двигает головой, необходимо добавить в форму два условия для Жестов — на активный орган и на направление движения — и задать значения голова и из стороны в сторону, а чтобы найти клипотексты, в которых шепчут, добавить в форму условие на Манеру говорения и выбрать значение шепот.

Дополнительно можно задавать условия, описывающие вокалическую и орфоэпическую структуру слов.

Для того, чтобы вы могли отбирать собственные подкорпуса и пользоваться нашими статистическими сервисами, нужна метаразметка. Количество текстов в корпусах НКРЯ уже превышает 6 млн и постоянно растет. Такие объемы материала все менее реально размечать вручную, поэтому мы развиваем сервисы нейроразметки (НейроКРЯ). Сегодня мы представляем новые результаты в этой области.

Ключевые слова в текстах корпуса Региональных СМИ размечены автоматически с помощью доработанной модели rutermextract. Одно ключевое слово может состоять из однословного ключа (праздник, переломы) либо из двусловного сочетания (таяние снега). По однословному запросу (община) находится как точное соответствие, так и двусловные сочетания с этим словом (католическая община).

В корпусе Социальные сети для основного массива текстов корпуса автоматически размечены жанры. Для разметки использована модель RuRoBERTa, дообученная на текстах корпуса. Один или несколько жанров можно выбрать из списка, например, рекомендации и советы.

В информации о тексте поля, значения которых заполняет НейроКРЯ, помечены специальным значком. В том же всплывающем окне есть кнопка “Сообщить об ошибке”. Сообщайте нам о всех неточностях и ошибках в определении ключевых слов и жанров.

Пополнен Древнерусский корпус. Его объем достиг 800 тысяч словоупотреблений, в него включены несколько десятков официально-деловых текстов XII–XIV веков: княжеские уставы, грамоты из Новгорода, Полоцка, Украины и Литвы. Впервые в ранний корпус вошли предки таких современных слов, как блистать, больница, великолепие, доход, дружить, наслаждение, околица, простоволосый, ящерица.

Русский и Англо-русский Мультипарки переведены на новый интерфейс. Теперь поиск по этим корпусам отображается в новом дизайне, доступны «Портреты слов». Корпуса подключены к «Обзору возможностей».

Известная переводчица и историк культуры Вера Аркадьевна Мильчина в интервью сайту Arzamas говорит о том, чем Корпус может быть полезен переводчику:

Недавно я выучила словосочетание «темпоральная стилизация». Для меня это значит прежде всего, что нужно стараться не влеплять в перевод книги XIX века современные слова. Например, «выматываются» вместо «сильно устают»: в XIX веке никто не выматывался. Я сама так однажды написала в 1995 году, а через двадцать лет, когда переиздавала эту книгу, «Физиологию брака» Бальзака, исправила. Но в 1979 или 1980 году, когда мы начали переводить, было очень трудно узнать, когда какое слово появилось. Сейчас можно залезть в Национальный корпус русского языка. А тогда можно было, конечно, посмотреть в академический словарь, но там ведь всех случаев употребления того или иного слова не найдешь. То есть в принципе мы, конечно, сознавали, что не нужно вставлять в перевод современные слова, но ориентироваться могли в основном на собственные ощущения. И не знали, что это называется «темпоральная стилизация».

В текстах, входящих в настоящее время в корпус, слово «выматываться» зафиксировано в прямом значении с 1889 г., в переносном с 1919-1920 гг.

Графики - один из наиболее востребованных инструментов анализа результатов поиска в корпусе. Важно, чтобы выводы, которые вы делаете с помощью графиков, учитывали максимум возможной информации. Для этого мы дополнили графики несколькими вспомогательными инструментами.

С помощью «окон» отображения дат и частот на графиках вы можете приближать или отдалять определенные участки графика, а также перемещаться по значениям на осях. Это полезно, когда вы хотите рассмотреть более узкий временной или частотный диапазон в большом объеме данных.

В Основном, Газетных и Обучающем корпусах под графиком вы найдете тепловую шкалу, демонстрирующую количество текстов, в которых найдены примеры. Интенсивность цвета шкалы обратит ваше внимание на то, что изменение формы графика не обязательно означает изменение количества употреблений слова, а может быть связано с малым количеством найденных текстов. В таких случаях для проверки выводов вы сможете построить график без сглаживания.

График теперь можно скачать как картинку в высоком разрешении.

Мультимедийный корпус пополнен до 5,8 млн словоупотреблений. В корпус включены новые коллекции публичной и непубличной речи, записанной в разных регионах, пополнены коллекции телепублицистики и театральной речи.

Не все знают, что портрет слова доступен не только в Основном корпусе, но и вообще во всех корпусах в новом интерфейсе.

Теперь попасть в портрет слова любого корпуса стало проще. В шапке корпуса вы найдете специальную кнопку, нажав на которую можно попасть в портрет слова, созданный на базе этого корпуса.

Не забывайте, что есть и другие способы увидеть портреты слов:
- с главной страницы сайта можно перейти в портрет слова Основного корпуса, найти слово, а затем переключиться на любой другой корпус и увидеть портрет этого же слова.
- ссылка на Портрет слова есть в результатах поиска во всплывающем окне с информацией о слове.
- в портреты слов можно переходить по прямым ссылкам. Вот, например, портреты слова слово в Старорусском корпусе и в Параллельном русско-китайском.

Напомним, что две недели назад мы обновили обучающий корпус и дополнили его самыми современными инструментами.

Новостей было так много, что они не поместились в анонсы предыдущего релиза, поэтому сегодня мы продолжаем рассказывать про обновления.

Представляем вашему вниманию обновленную страницу "НКРЯ в школе". Здесь вы найдете полезную информацию об использовании НКРЯ на уроках русского языка и литературы и для самостоятельной работы в школе и дома.

Мы добавили раздел с методическими материалами, а также дополнили коллекцию упражнений, включив в нее олимпиадные задачки.

В Портрете слова в Обучающем корпусе появился виджет “Морфемный разбор”. В Основном корпусе НКРЯ морфемные разборы строятся на основе специально разработанного для корпуса словаря морфемного анализа. Такие разборы предназначены для исследователей и могут не совпадать с принятыми в школе.

В Обучающем корпусе реализована специальная версия виджета. Здесь морфемный состав слова определяется в соответствии с практикой морфемного анализа в средней школе и опирается на "Морфемно-орфографический словарь" А.Н. Тихонова (2002), содержащий около 100 тыс. лексем. Для слов, не входящих в словник словаря, морфемный состав не определяется. Подробнее о словообразовательной разметке в НКРЯ см. статью.

С декабря 2023 г. пользователям Корпуса доступны два способа регистрации и авторизации — непосредственно на сайте и с помощью Яндекс ID. Небольшая часть пользователей ранее регистрировалась в Корпусе через сторонний сервис ORCID.org. В связи с вступившими в силу изменениями в законодательстве Российской Федерации этот способ авторизации больше не доступен. Мы приносим свои извинения за доставленные неудобства пользователям, зарегистрировавшимся через ORCID.org. Пожалуйста, пройдите повторную регистрацию для доступа к расширенному функционалу НКРЯ.

Пополнены коллекции устной речи в Акцентологическом и Устном корпусах. Добавлены записи текстов устной научной и политической речи, теле- и радиопублицистики, устных монологов-воспоминаний, повседневной диалогической речи. Объем Устного корпуса составляет 14 млн словоупотреблений, общий объем Акцентологического корпуса, вместе с наивной поэзией - 134,8 млн словоупотреблений.

Параллельный корпус пополнился на 3 млн слов. Новые тексты появились в английской, испанской, немецкой, португальской, французской и чешской языковых парах. В частности, англо-русский корпус пополнился коллекцией расшифровок публичных лекций TED Talks, а португальско-русский вырос почти вдвое и теперь включает еще и тексты, созданные в португалоязычной Африке.

В корпусе Социальные сети автоматически размечены жанры для всего массива текстов. Пользователь может выбрать один или несколько жанров из списка. Выделено несколько новых жанров, например, подпись к фото.

С сегодняшнего дня задать подкорпус в корпусе Региональных СМИ можно, указав интервалы с точностью до дня. Например, можно исследовать употребление слова милиция.

Кроме того, в Региональном корпусе был усовершенствован вид выдачи График. Единицей измерения по умолчанию теперь является месяц. Переключаться между днями, месяцами и годами на графиках можно в выдаче, обзоре возможностей, сравнении запросов и портрете слова.