Conditional Random Fields (CRFs)
📷 Изображение
Во многих задачах обработки естественного языка очень часто приходится иметь дело с неизвестными словами. Например: имена собственные и аббревиатуры. Также знание контекста может быть полезно для понимания языка и маркировки. К сожалению, HMM плохо работает с новыми или редкими словами, так как перед началом обучения необходимо рассчитать вероятности этих слов и переходов. Но есть различительная модель для последовательностей, основанная на логарифмически-линейных моделях, и схожа с HMM. Модель называется — условные случайные поля (Conditional random fields, CRF).
CRF не вычисляет вероятность для каждого тега на каждом шаге. Вместо этого на каждом шаге CRF вычисляет логарифмически-линейные функции для набора соответствующих признаков, и эти локальные признаки агрегируются и нормализуются для получения глобальной вероятности для всей последовательности.
В CRF входные данные являются последовательными и учитывают предыдущий контекст при предсказывании результата. Чтобы смоделировать такое поведение, CRF используют функции признаков (feature function), которые возвращают 0 или 1. Цель функции — выразить некоторую характеристику последовательности, которую представляет точка данных. Для обучения модели каждой функции признаков назначается обучаемый вес. На рисунке есть два типа функций признаков: функции состояния (fs1..n) и функции перехода (ft1..n).
Примером функции признаков для маркировки частей речи (POS tagging) может быть:
- если предыдущая метка является существительным, а текущая - глаголом, то вернуть 1, а не 0.
- если предыдущая метка является глаголом, а текущая - наречием, то вернуть 1, а не 0.
#основы #pos #markov #crf
📷 Изображение
Во многих задачах обработки естественного языка очень часто приходится иметь дело с неизвестными словами. Например: имена собственные и аббревиатуры. Также знание контекста может быть полезно для понимания языка и маркировки. К сожалению, HMM плохо работает с новыми или редкими словами, так как перед началом обучения необходимо рассчитать вероятности этих слов и переходов. Но есть различительная модель для последовательностей, основанная на логарифмически-линейных моделях, и схожа с HMM. Модель называется — условные случайные поля (Conditional random fields, CRF).
CRF не вычисляет вероятность для каждого тега на каждом шаге. Вместо этого на каждом шаге CRF вычисляет логарифмически-линейные функции для набора соответствующих признаков, и эти локальные признаки агрегируются и нормализуются для получения глобальной вероятности для всей последовательности.
В CRF входные данные являются последовательными и учитывают предыдущий контекст при предсказывании результата. Чтобы смоделировать такое поведение, CRF используют функции признаков (feature function), которые возвращают 0 или 1. Цель функции — выразить некоторую характеристику последовательности, которую представляет точка данных. Для обучения модели каждой функции признаков назначается обучаемый вес. На рисунке есть два типа функций признаков: функции состояния (fs1..n) и функции перехода (ft1..n).
Примером функции признаков для маркировки частей речи (POS tagging) может быть:
- если предыдущая метка является существительным, а текущая - глаголом, то вернуть 1, а не 0.
- если предыдущая метка является глаголом, а текущая - наречием, то вернуть 1, а не 0.
#основы #pos #markov #crf
Telegram
Deep learning for NLP (RU)
CRF модель
👍3