На сайте НКРЯ появился раздел с видеоинструкциями по работе с корпусом. Несколько роликов посвящены поиску коллокаций в корпусе.

Коллокациями называют сочетания слов, которые встречаются в языке чаще, чем случайно. Благодаря поиску коллокаций в корпусе можно узнать, что влюбленных юношей больше, чем девушек, а влюбляются безумно чаще, чем безнадежно.

Смотрите наши видеоролики, чтобы узнать больше о поиске коллокаций и найти другие интересные закономерности.

Недавно в Основном и Региональном корпусе появилась возможность задавать синтаксические параметры слова. Поиск по синтаксическим отношениям был бы невозможен без специальной разметки.

У тех, кто не знаком с терминологией корпусной лингвистики, возникает вопрос — что такое разметка и для чего она нужна?

Разметка — это процесс приписывания текстам и их компонентам специальной информации; результат такого процесса тоже можно назвать ‎разметкой. Например, у слова может быть указано, что это форма дательного падежа или что у него есть суффикс оньк‎; у словосочетания — что это группа из подлежащего и сказуемого; у текста — что это интервью или роман.

Разметка позволяет уточнять детали поиска по корпусу и сравнивать тексты по различным параметрам. Чем богаче и разнообразнее разметка корпуса, тем большую научную и учебную ценность он представляет. Например, благодаря синтаксической разметке можно узнать, что чаще всего делают с предложением.

Если вас заинтересовало, как устроена разметка в НКРЯ, на нашем сайте можно узнать больше о ее основных типах.

29 февраля бывает раз в 4 года. А работа над Национальным корпусом русского языка ведется каждый день! Сегодня мы хотим напомнить вам о нашем сервисе «Портрет слова».

«‎Портрет слова»‎ в НКРЯ помогает пользователям узнать разную информацию о слове, сделав всего один запрос. С его помощью можно выяснить:

- как слово взаимодействует с другими словами
- как часто слово встречается в текстах в выбранном корпусе
- какие есть однокоренные и похожие слова
- когда слово впервые встречается в текстах корпуса

Например, самое раннее употребление слова февраль в корпусе относится ко второй половине XI в., и чаще всего этот месяц бывает вьюжным.

В разных корпусах получаются разные портреты слова. Смотрите видеоинструкцию, составляйте портреты и узнавайте другие увлекательные факты о словах русского языка.

В феврале мы существенно усовершенствовали Газетный корпус.

Корпус пополнен более чем на 49,6 млн словоформ. В него добавлены периодические издания 1990-х годов («Независимая газета», в том числе еженедельные приложения, «Московский комсомолец», «Санкт-Петербургские ведомости»).

Во всех текстах корпуса автоматически снята грамматическая омонимия и добавлена разметка синтаксических связей (напомним, что поле запроса появляется начиная со второго слова после нажатия ссылки «добавить условие»). Это делает доступными в Газетном корпусе центральных СМИ те новейшие функции, которые уже есть в меньших по объему Основном корпусе и Корпусе региональных СМИ: поиск по синтаксическим отношениям и свойствам, поиск коллокаций, частотный словарь, частотность выдачи.

Газетный корпус НКРЯ — теперь самый объемный в мире онлайн-корпус русского языка с возможностью поиска по синтаксическим связям!

В форме подкорпуса появилась возможность отбирать тексты по тематике и типу. Для разметки этих полей использована модель RuRoBERTa, дообученная на данных Регионального корпуса. Поля в форме подкорпуса и информации о тексте, значения которых сгенерированы НейроКРЯ, помечены специальным значком. При автоматической разметке возможны ошибки. Во всплывающем окне информации о тексте есть кнопка «Сообщить об ошибке». Сообщайте нам о всех неточностях и ошибках в определении тематики и типов.

В Синтаксическом корпусе появилась возможность отбора подкорпуса по основным параметрам, таким как автор, название текста, дата его создания и год рождения автора, а также по жанрам и типам текстов и по дате разметки.

Следите за нашими новостями на сайте и в социальных сетях, в марте мы продолжим совершенствовать работу Синтаксического корпуса!

Современные технологии заметно упростили процесс создания и совершенствования работы Корпуса. Однако без человека все еще не обойтись. Например, сейчас нам нужна помощь в подготовке обучающего датасета для автоматической разметки тональности текстов в корпусе «Социальные сети».

Если вы хотите помогать делать Корпус лучше, вступайте в группу Друзья НейроКРЯ. Вы будете первыми узнавать о готовящихся проектах и сможете принимать в них участие.

Обратите внимание, что задания в группе предназначены для взрослой аудитории. Тексты для них собраны автоматически и не проверены вручную.

В корпусе «Русская классика» внедрена автоматическая разметка при помощи нейросетевых механизмов. Теперь в нем доступны те же поисковые и статистические инструменты, что в Основном, Газетном и других «передовых» корпусах: частотность, н-граммы, статистика по метапризнакам, скетчи в портрете слова, поиск по синтаксическим отношениям, сравнение подкорпусов по частотным словникам и многое другое. Кроме того, корпус «Русская классика» — единственный из корпусов НКРЯ, где репрезентативно представлены и стих, и письменная проза, и можно отбирать эти типы текста отдельно. Благодаря всему этому мы можем сравнить, о чем писали русские классики. Например, можно говорить о «‎человекоцентричности»‎ русской классической литературы (см. иллюстрацию), а также заметить, что о душе поэты (В. А. Жуковский, Е. А. Баратынский, М. Ю. Лермонтов), писали значительно чаще, чем прозаики (А. Н. Радищев, Н. В. Гоголь, И. С. Тургенев).

В марте была существенно улучшена работа Синтаксического корпуса. В СинТагРусе появились новые типы информации и поисковые поля. Начиная со Слова 2, можно задать кореферентную и темпоральную связь. В поле Дополнительные признаки теперь есть возможность искать эллидированные слова, т. е. такие слова, которые опущены (подвергнуты эллипсису) в предложении, но присутствуют в его синтаксической структуре.

Поиск по микросинтаксической разметке позволяет идентифицировать устойчивые выражения разных типов. Например, отобрав конструкции все равно 1, все равно 2 и все равно 3 пользователь может увидеть особенности значения этого многозначного оборота (‘по-любому’, ‘безразлично’ и ‘эквивалентно’, соответственно) и особенности его употребления (например, все равно 2 и 3 выступают в функции сказуемого, а все равно 1 — нет).

В выдаче теперь доступна сортировка по дате создания, дате рождения автора, дате разметки и случайная сортировка. По умолчанию результаты сортируются по дате разметки текстов.

В меню синтаксических отношений, лексических функций и морфологических признаков появились подсказки. По клику на кнопку (?) в соседнем окне откроется соответствующее описание в Руководстве пользователя.

На сайте НКРЯ доступны два новых параллельных корпуса. Японско-русская языковая пара насчитывает более 400 тысяч слов и включает переведенные с японского художественные тексты и новости. Хакасско-русские параллельные тексты, подготовленные для НКРЯ на базе Электронного корпуса хакасского языка, насчитывают более 1 млн словоупотреблений и охватывают и фольклор (включая записи XIX в.), и авторскую литературу, и публицистику.

Пополнены и уже имеющиеся параллельные корпуса. Существеннее всего выросли португальский (теперь 1.6 млн словоупотреблений) и чешский (4.3 млн) корпуса.

В преддверии 20-летия Национального корпуса мы существенно обновили страницу публикаций на нашем сайте. Пополнен список публикаций о Корпусе: количество публикаций увеличилось примерно в 5 раз! Теперь в разделе представлены как научные статьи, так и другие типы публикаций — интервью, инструкции, публикации в социальных сетях.

Страница публикаций о Корпусе стала более функциональной: теперь найти публикацию, посвященную Национальному корпусу русского языка, можно в строке поиска или с помощью фильтров, расположенных справа.

По умолчанию пользователю показываются наиболее популярные фильтры. Чтобы увидеть все доступные фильтры на странице публикаций, нажмите «Показать все». Сочетание нескольких фильтров сужает поиск и позволяет отобрать публикации по нескольким критериям.

Некоторые публикации можно скачать, нажав на иконку справа от названия. Остальные публикации открываются в отдельном окне. Вы можете поделиться списком отобранных публикаций, нажав на кнопку «Копировать ссылку на запрос».

Мы продолжаем внедрять новый функционал, уже доступный в передовых корпусах — Основном, Газетных, Обучающем — в другие корпуса. Теперь пользователям НКРЯ доступна улучшенная версия корпуса «От 2 до 15». Во всех текстах корпуса автоматически снята грамматическая омонимия и добавлена разметка синтаксических связей. В корпусе стали доступны поиск по синтаксическим отношениям и поиск коллокаций, а также новые виды выдачи: частотность, n-граммы, статистика.

Обновились портрет слова и корпуса, добавлены новые виды сортировок по контексту.
В Портрете слова можно увидеть, что слова мама и папа гораздо чаще употребляются в текстах для самых младших читателей - 7-8 лет, а слова бабушка и дедушка - поровну в текстах для самых младших читателей и для подростков 14-15 лет.

Плашка возле фрагмента с указанием возраста читателей, которым эти фрагменты должны быть понятны, стала кликабельной. По клику вы увидите рассчитанные классические индексы сложности: Индекс Флеша-Кинкейда, Индекс Колман-Лиау, Автоматический индекс удобочитаемости, Simple Measure of Gobbledygook, Индекс Дейла-Чалл.

В начале апреля состоялось заседание Президиума Российской академии наук. О том, как устроен НКРЯ, для чего он создавался и как повлиял на работу лингвистов, рассказали академик РАН, заместитель директора Института русского языка им. В. В. Виноградова РАН Владимир Плунгян и ведущий научный сотрудник Института русского языка им. В. В. Виноградова РАН, руководитель Школы лингвистики Высшей школы экономики Екатерина Рахилина. Читайте в статье, откуда взялось выражение уметь в интегралы и можно ли утверждать, что русский язык «испортился».

В апреле мы значительно усовершенствовали работу Древнерусского корпуса. В корпусе появились новые виды выдачи: Частотность, Статистика, n-граммы. Благодаря появлению в Древнерусском корпусе вида выдачи «Частотность» можно исследовать, например, какие существительные в корпусе чаще всего встречаются вместе. Кроме того, результаты выдачи теперь можно сортировать по контексту. В портрете корпуса появился Частотный словарь, доступный ранее в Основном, Газетном и других корпусах; частотный словарь памятников или их групп можно сравнивать со словарем корпуса текстов.

Появление нового функционала существенно расширяет возможности использования корпуса и автоматизирует рутинные процессы, которые ранее занимали у исследователя значительное время.

На сайте Национального корпуса русского языка появился новый раздел, посвящённый нейросетевым моделям, которые используются для разметки слов и текстов Корпуса.

Теперь пользователям доступны:
- токенизатор
- векторные word2vec модели, обученные на текстах из 7 корпусов, которые мы используем для поиска слов-ассоциатов
- модели для словообразовательной разметки
- модели для разметки тематики, жанров, типов текстов

Новый раздел будет полезен всем, кто интересуется обработкой естественного языка и хочет узнать больше о том, какие технологии машинного обучения применяются в НКРЯ. Пользователи могут ознакомиться с описанием моделей и скачать их для собственного использования. Перед скачиванием модели надо ознакомиться с лицензионным соглашением и принять его условия.

Национальному корпусу русского языка – 20 лет!

29 апреля 2004 года сайт Корпуса был открыт для свободного доступа. Но работы по созданию НКРЯ начались значительно раньше, еще в 2000 году. Символично, что официальным «‎днем рождения»‎ Корпуса стало именно 29 апреля – день рождения российского лингвиста, автора Грамматического словаря русского языка А. А. Зализняка (1935-2017).

Всё началось с идеи создать полное собрание текстов, которые были бы показательными с культурной точки зрения и отражали бы разнообразие прозы, написанной в период с 1965 по 2000 год. Сейчас НКРЯ – это 49 корпусов текстов общим объемом более двух миллиардов слов. За 20 лет Корпус стал незаменимым инструментом для лингвистов, преподавателей, студентов и всех, кто интересуется русским языком.

Поздравляем создателей проекта и тех, кто помогает ему развиваться! Благодаря вам НКРЯ продолжает расти и совершенствоваться, предоставляя новые возможности для изучения русского языка.

Для тех, кому интересно узнать больше об истории и современных возможностях Корпуса, мы подготовили подборку материалов:
— Посмотрите, как выглядел сайт Корпуса 20 лет назад, в Музее НКРЯ.
— Погрузитесь в историю создания Корпуса «‎из первых уст»‎ в специальном проекте «Большого города». 
— Изучите публикации о Корпусе в недавно обновленном разделе. Рекомендуем обратить внимание на свежую публикацию в журнале «‎Вопросы языкознания»‎ о фундаментальной реконструкции и модернизации платформы НКРЯ.
— Скачайте и примените для собственных задач нейросетевые модели, которые используются для разметки слов и текстов Корпуса.
— Узнайте, как получить офлайновую версию Корпуса для исследований.

Тех, кто хочет принимать участие в развитии корпуса, приглашаем вступить в группу «‎Друзья НейроКРЯ»‎. Вы будете первыми узнавать о готовящихся проектах и сможете принимать в них участие. Недавно мы запустили новый эксперимент, чтобы выяснить, какие определения слов лучше воспринимаются пользователями: взятые из словарей или сгенерированные нейросетью.

В составе Национального корпуса русского языка сейчас 28 параллельных корпусов. Начиналось все с русско-английской и англо-русской языковых пар, которые появились в 2005 году, а в этом году в корпус добавлены хакасский и японский языки.

Параллельный корпус – это особый тип корпуса, в котором тексту сопоставлен его перевод на другой язык. Между фрагментами (обычно – предложениями) оригинального и переводного текста устанавливается соответствие, называемое выравниванием. Выравнивание и разметка текстов позволяют использовать параллельный корпус как инструмент исследования. 

Параллельные корпуса нужны не только лингвистам. Они полезны литературоведам, преподавателям языков, переводчикам, редакторам. Благодаря этим корпусам можно узнать способы перевода слов в разных контекстах, в том числе слов, у которых нет хороших эквивалентов в других языках. Посмотрите, как переводили захолустье на немецкий язык или удаль на английский. А если вам интересно узнать подробнее о составе, возможностях и любопытных открытиях, сделанных благодаря параллельным корпусам НКРЯ, рекомендуем заглянуть на страницу публикаций.

13-14 мая прошла первая стратегическая сессия «Информационные технологии и языки народов России». На мероприятии собрались специалисты в области цифровых языковых технологий, представители науки и образования, лингвисты, разработчики IT-проектов, языковые активисты.

Во второй день конференции старший менеджер продукта НКРЯ Ирина Виноградова рассказала о том, как оцифрованные тексты становятся корпусом, а также об особенностях работы с параллельными корпусами. Запись выступления можно посмотреть по ссылке (с 00:27:42)

В этом году наша команда продолжит увеличивать количество параллельных корпусов в НКРЯ. Мы приглашаем научные и образовательные коллективы, которые занимаются созданием таких корпусов, к сотрудничеству. Включение ваших текстов в НКРЯ позволит применить к ним передовые инструменты разметки и обработки, расширит возможности поиска, предоставит инструменты для визуализации данных, увеличит число пользователей вашего корпуса. Чтобы обсудить сотрудничество и включить ваши тексты в НКРЯ, пишите нам на info@ruscorpora.ru.