А пока мы ждём запись доклада, держите презентацию

А ещё я написал статью на пространство "ВАЙТИ" в разбором кейса и приложением на гитхабе - которое можно посмотреть, поднять и потыкать)

#статьи

1. Введение в Elastic
2. Разворачиваем Elasticsearch
3. CRUD-операции в Elasticsearch
4. Как Elasticsearch обрабатывает текст? (вы здесь)
5. ...

Как Elasticsearch обрабатывает текст?

1. Маппинги
Маппинг в Elastic - это набор правил о том, какие поля как обрабатывать. Например мы добавляем объект с полями id, name и description. Для id и name нам нужен поиск по точному совпадению, а по description - полнотекстовый поиск. Мы можем настроить разные типы данных данных для этих полей: "keyword" для точного поиска, а "text" для полнотекстового.

Также нам доступен динамический маппинг. При такой настройке эластик сам определяет тип данных на основе первого документа, попавшего в него: если поле текстовое, будет тип text, если это число - тип number и т.д. Динамический маппинг довольно удобен, однако если в документе у вас текстовое поле, которое может содержать как числа, так и строки, и в первом документе было число (или, например, строка, которая эластиком успешно распарсилась в дату), то при попытке добавить новый документ с текстовым значением поля выпадет ошибка.

2. Анализаторы

Они отвечают за обработку и индексацию входящего текста и состоят из:
- Фильтров символов (character filter), которые обрабатывают исходный текст. Например, могут убирать html-теги, удалять спецсимволы и т.д.
- Токенизаторов (tokenizer) - преобразуют текст в массив символов по разделителю и другим правилам. Например: на вход принимаем "Этот текст написан Дмитрием", на выход - ['этот', 'текст', 'написан', 'дмитрием']
Токенизаторы, кстати, могут быть кастомными. Например, есть токенизатор uax_url_email, который распознаёт электронную почту и вставляет её в отдельный токен, а не разбивает адрес, ну и много других. Подробнее можно почитать тут.
- Фильтр токенов (token filter) - пост-обработка массива токенов. Каждый элемент в массиве токенов может быть как-то преобразован или удалён. Например часто удаляются стоп-слова, такие как предлоги и артикли "an", "a", "the", "but" и т.д.

Flexible Coding

Тут запись доклада с Exoz подъехала!

Новая неделя — новый доклад 💚

Встречайте Дмитрия Бахтенкова с темой «Динамическое добавление провайдеров аутентификации OpenId Connect в .net core приложении»!

Напоминаем, что вы можете задать вопрос Дмитрию, написав его в комментариях.

Также в описании видео есть презентация с кликабельными ссылками, пользуйтесь 💬

https://youtu.be/2aC8OfQog9c

1. Введение в Elastic
2. Разворачиваем Elasticsearch
3. CRUD-операции в Elasticsearch
4. Как эластик обрабатывает текст?
5. Странности и ограничения Elasticsearch и Email
6. Тестируем анализаторы Elasticsearch
7. Поисковые запросы в Elasticsearch (вы здесь)

Поисковые запросы в Elasticsearch

Итак, мы развернули Elasticsearch, загрузили туда документы, и теперь пришло время воспользоваться его главной функцией — поиском.

Search API в Elasticsearch предлагает использовать JSON с различными ключевыми словами, которые описывают разные типы поиска. Чтобы выполнить запрос, нужно обратиться к эндпоинту:

GET /my-index-000001/_search. 
{
  "query": {
    <запрос>
  }
}

Как мы помним, в Elasticsearch есть анализаторы. Они обрабатывают текст не только при индексации, но и при выполнении поисковых запросов. Это значит, что текст запроса тоже проходит через анализаторы, что позволяет осуществлять более гибкий и точный поиск.

А что внутри Query?

Переходим к основным типам запросов. Один из самых распространённых — это match: { field: "searchable text" }. Он используется для полнотекстового поиска по тексту, числу, булевому значению или дате. Текст при этом анализируется с помощью соответствующего анализатора.

Если вам нужен поиск по точному совпадению, то используйте term: { field: "value" }. Важно помнить, что для таких запросов поле должно иметь тип данных "keyword".

Есть также terms: { field: ["value1", "value2"] } — он проверяет, является ли значение одним из элементов массива. Это похоже на оператор IN в SQL или $in в MongoDB.

Для проверки существования поля используется exists: { field: "fieldname" }. Этот запрос вернёт false, если в исходном JSON поле было NULL или пустым массивом [].

Помимо ключа поля и значения для поиска, в запросах можно указывать дополнительные параметры. Например:
- operator: AND | OR для полнотекстового поиска. Этот параметр определяет, должны ли все токены запроса присутствовать в документе (AND) или хотя бы один (OR).
- fuzziness: int — расстояние Левенштейна для поиска с ошибками. Это позволяет искать слова с определённым количеством опечаток. Подробнее об этом можно прочитать здесь.

И не забудем о Nested-запросах, которые используются для вложенных массивов объектов в структуре документа. У них свои особенности и нюансы, которые нужно учитывать при работе с ними.

Теперь поговорим о логических операциях, которые используются в запросах. Это операции типа bool, которые могут быть массивом или объектом с вложенным запросом. Например:
- must: {} и filter: {} выполняют роль логического "И". Разница в том, что must влияет на оценку соответствия документа запросу, а filter нет.
- should: {} представляет собой логическое "ИЛИ".
- must_not: {} — это логическое "НЕ".

В логических операциях можно комбинировать несколько поисковых запросов - например terms по нескольким полям

Пример запроса
Допустим, в elastic хранятся списки товаров, и в структуре документов есть четыре поля: Id, Name, Description и Tags.
Для поиска "телефон Samsung" может использоваться следующий запрос:

curl --location --request GET 'http://localhost:9200/my-index/_search' \
--header 'Content-Type: application/json' \
--data '{
  "query": {
    "bool": {
      "should": [
        {
          "match": {
            "Name": "телефон Samsung"
          }
        },
        {
          "match": {
            "Description": "Телефон Samsung"
          }
        },
        {
          "terms": {
            "Tags": ["samsung"]
          }
        }
      ]
    }
  }
}'

Flexible Coding

КОРОБКА

Машинный перевод в документации Microsoft иногда удивляет )

Вообще, как будто бы потихоньку русифицировать документацию - не такая и сложная задача, но она позволит избежать новых кринжей машинного перевода. Хотя зная объём доков от микрософт, вероятно, я не прав...

А вы натыкались на странности в документации?)

Углубленная работа - профессиональная деятельность, выполняемая в состоянии безраздельной концентрации, для чего требуется предельное напряжение мыслительных способностей. Такое усилие часто приводит к созданию новых ценностей и увеличивает мастерство исполнителя, его результаты трудновоспроизводимы

Прочитал книгу Кэла Ньюпорта "В работу с головой". Она часто светится в кругах любителей продуктивности :)

Книга про концентрацию. В последнее время многие (я, например) действительно её утратили из-за разнообразия потребляемого контента, многозадачности (которая вообще-то довольно губительна и неэффективна). И автор предлагает способы прокачать свой навык концентрации - так как чаще всего именно глубокая работа позволяет создавать ценности.

Несмотря на то, что автор довольно радикален, как по мне, я нашёл много интересных идей в книге - описание практики тайм-блокинга от непосредственно её автора, мысли о личной ответственности человека при выполнении деятельности, о самостоятельности и т.д.

Заметил, что после прочтения книги начал более сконцентрированно работать - начал следить за отвлечениями, стал меньше играть в теннис в рабочее время и побольше задумываться в моменте, а чем же я сейчас занимаюсь. Результат неплохой. Ну а ещё - автор уважает идею Work Life-balance и предлагает не думать о работе после окончания рабочего дня (у него это 17:30):

С окончанием рабочего дня откажитесь до следующего утра от любых размышлений о рабочих материях. Если вам не хватило времени - увеличьте свой рабочий день, но после того, как вы закончили, ваш ум должен быть свободен
Идея хорошая, думаю, многим подойдёт :)

Из минусов - некоторая радикальность автора (если вы не умеете жёстко концентрироваться вы ничего не добьётесь!!!), грамматические ошибки в книге и периодически попадался странный перевод. Надо было читать на английском :)

Думаю, книга будет полезна тем, кто заметил, что почему-то плохо концентрируется (но при этом здоровье и жизненный контекст в целом - ок) и хочет улучшить этот навык.

7/10

#книги