Data Security - Обратная сторона | Артемий Новожилов

CASSED и NER: Интеллектуальные способы категоризации данных

В догонку к посту про категоризации в DSP расписал плюсы и минусы методов CASSED и NER.

Плюсы CASSED:
✅ Эффективно находит чувствительные данные в структурированных наборах, используя современные NLP (например, BERT).
✅ Учитывает контекст, а не только ключевые слова — это снижает уровень ложных срабатываний.
✅Хорошо подходит для автоматической проверки больших массивов информации по критериям конфиденциальности, например, для соответствия GDPR.
✅ Модель развивается и адаптируется: на выходе даёт рекомендации по дополнительным признакам и переменным, что позволяет улучшать систему со временем.
Минусы:
❌Требует значительных вычислительных ресурсов, поскольку использует глубокое обучение (нейросети).
❌Эффективность сильно зависит от качества и объёма размеченных обучающих данных.
❌В некоторых случаях возможны сложности с интерпретацией "решений" модели (проблема «чёрного ящика») и высокая стоимость внедрения.
❌ Плохо работает с русскоязычными терминами.
❌ Подходит только для структурированных данных и не учитывает отдельные разнородные записи внутри одной таблицы.

Плюсы NER:
✅Быстро извлекает имена, географические объекты, даты и другие сущности из больших объёмов текста.
✅ Позволяет строить автоматические пайплайны для анализа.
✅ Гибкость подходов — можно применять простые правила (rule-based), статистические методы или глубокое обучение.
✅ Гибридные подходы комбинируют преимущества разных моделей для повышения точности.
Минусы:
❌Ошибается в случаях неоднозначности (например, «Apple» — компания или фрукт), так как не всегда понимает контекст.
❌Сложности при работе с текстами на разных языках, сленге или профессиональных терминах.
❌Требует качественной разметки данных для обучения, особенно если модель основана на машинном обучении.
❌Может не распознавать новые или редко встречающиеся сущности, если их не было в обучающей выборке.

Вывод:
Обе методологии — мощные инструменты в обработке данных, но их выбор зависит от ваших задач: CASSED лучше подходит для защиты и категоризации структурированных чувствительных данных, а NER — для быстрого извлечения фактов из неструктурированных текстов. Для максимального эффекта часто используют комбинацию методов.

#CASSED #NER #DSP #категорируй_доминируй

Please open Telegram to view this post