😊Турнирная таблица международного хака *.

*Организации практические все экстремисткие или около того, кроме VK, Telegramm и нескольких еще

😅Мем Дня: Для улучшения качества языковых моделей, таких как ChatGPT, было придумано обучение на основе обратной связи с человеком (RLHF), чтобы они выдавали более понятные результаты, имитируя ответы людей.

Но в результате модели начали давать больше неверных ответов, при этом стали лучше врать и убеждать в правильности своих слов. А найти их ошибки гораздо труднее.

Человечество убьет ИИ )))

🛞🛞🛞Кто хочет данные по собирать про ураган, ваш реальный шанс. Такое бывает раз в 1000 лет. Распознавание и метеорологические данные.

https://www.youtube.com/watch?v=Tj7RJ7d4iqU - вот тут прямая трансляция

🍀Читаем статьи за Вас №24:
Обработка естественного языка (NLP)

🥺Основы NLP для текста
Токенизация по предложениям: разделение текста на предложения.
Токенизация по словам: разделение предложений на слова.
Лемматизация и стемминг: приведение словоформ к нормальной форме.
Стоп-слова: удаление нерелевантных слов из текста.
Регулярные выражения: фильтрация текста с помощью шаблонов.
Мешок слов: извлечение признаков из текста.

🥺Токенизация по предложениям
Разделение текста на предложения по знакам пунктуации.
Использование библиотек для автоматизации процесса.

🥺Токенизация по словам
Разделение предложений на слова по пробелам.
Использование библиотек для учета составных существительных.

🥺Лемматизация и стемминг
Приведение словоформ к нормальной словарной форме.
Лемматизация использует словарь и морфологический анализ.
Стемминг обрезает "лишнее" от корня слов.

🥺Стоп-слова
Удаление нерелевантных слов из текста.
Использование предустановленного списка стоп-слов в NLTK.

🥺Регулярные выражения
Последовательности символов для поиска и фильтрации текста.
Использование модуля re в Python для работы с регулярками.

🥺Мешок слов
Извлечение признаков из текста для машинного обучения.
Описание вхождений каждого слова в текст.
Игнорирование порядка и структуры слов.

🥺Загрузка данных
Чтение файла и разделение по строкам
Создание словаря из уникальных слов

🥺Создание векторов документа
Оценка слов в документе
Использование класса CountVectorizer для создания мешка слов

🥺Сложности модели "мешок слов"
Сложность определения словаря и подсчета вхождений слов
Увеличение размера словаря и вектора документа
Использование разреженных векторов для снижения требований к памяти

🥺Методы создания словаря
Игнорирование регистра, пунктуации, стоп-слов
Приведение слов к базовым формам (лемматизация и стемминг)
Исправление неправильно написанных слов
Использование сгруппированных слов (N-граммы)

🥺Оценка слов
Бинарный подход (1 – есть слово, 0 – нет слова)
Методы: количество, частотность

🥺TF-IDF
Понижение оценки часто встречающихся слов
Формула TF-IDF для оценки важности слова
Использование класса TfidfVectorizer для вычисления TF-IDF

https://habr.com/ru/companies/Voximplant/articles/446738/
#nlp #tokenization #data #analysis