💻💻💻💻

Обещанный пост про векторные индексы

✨ Что за зверь такой ваш этот векторный индекс? Ну все просто: есть у вас, допустим, эмбеддинги товаров и вы хотите их где-нибудь хранить. А потом чтоб еще и пробежаться по ним можно было шустро и, например, найти наиболее похожие вектора (товары)

Для таких задач и существует так называемый векторный индекс и очень часто в этом контексте всплывает библиотечка FAISS. Какие же варианты структуры индекса предоставляет эта библиотека и какие еще там есть трюки? Обсудим самые популярные варианты

1⃣ PQ - Product Quantization (фото 1-2)
Позволяет сжать вектора. Метод заключается в том, что каждый вектор разбивается на подвектора, подвектора кластеризуются и формируется новый вектор, состоящий из номеров кластеров.

2⃣ IVF - Inverted File Index (фото 3)
Метод предлагает разбить векторное пространство на кластеры и к каждому кластеру вычислить его "центроиду". Далее сами кластеры будут храниться на диске, а маппинг центроид с кластерами в ОЗУ. Таким образом, когда вы будете искать ближайший вектор, вы сравните его с векторами центроид и для ближайшей центроиды возьмете ее кластер с векторами.

3⃣ NSW / HNSW - Hierarchical Navigable Small World graphs (фото 4)
Можно сказать, SOTA метод приближенного поиска ближайших соседей, основывающийся на жадном обходе графа (по сути, как правило 7 рукопожатий. Как до любого человека можно добраться через 7 рукопожатий, так и до похожего вектора можно добраться через N прыжков по графу, где каждый вектор - это узел)

✨ Прелесть FAISS'a в том, что он позволяет изящно комбинировать все эти подходы для создания оптимальной векторной базы и дальнейших манипуляций с ней (подробнее что происходит с памятью https://habr.com/ru/companies/avito/articles/488658/ )

Рекомендуемые базовые конфигурации:
1млн - 10млн векторов : IVF65535_HNSW32 (Т.е. 65535 центроид и 32 слоя графов)
10млн-100млн векторов : IVF262144_HNSW32

Самостоятельно также советую изучить подходы K-D Tree, LSH и ANNOY

Где это можно применять?
Например, мой коллега Андрей, админ канала @awesome_dl , выпустил свежий пост, где создал бота для Q&A по курсу диффузионных моделей. И чтобы улучшить его планирует добавить механизм памяти, как раз через векторный индекс более чем применим. Очень полезный кейс, обязательно к прочтению. Еще рекомендую два поста про то как разобраться с диффузионными моделями и диффузионными моделями в видеогенерации

😎 Надеюсь, этот пост был полезен и теперь все вектора будут храниться и обрабатываться эффективно

#Ботаем

☀️ Неделю назад я сходил на DS Meetup от Купер Теха

Послушал 3 доклада:

1️⃣ «Как мы делали матчинг в Купере»

Ребята матчат похожие товары, оптимизируют ручное сопоставление. Многослойная архитектура норм, но выбор кандидатной модели и метрик мне остался не совсем понятен

2️⃣ «Uplift Space Oddity, или как запустить ML-космолёт и не упасть»

Ребята оценивают аплифты промо-кампаний. Используют Т-learner (то есть не прогнозируют аплифт напрямую, а обучают 2 катбуста прогнозировать условно продажи с промо и без промо, и разницу этих двух катбустов берут за аплифт). Если честно, подход больше похож на бейзлайн (с учетом того, что, по словам докладчика, MAPE в некоторых категориях товаров достигал 50%), и стоит попробовать, как минимум, S-learner и аплифт-деревья.

3️⃣ «Как делать рекомендации не с нуля»

Доклад, ради которого пришел на митап. Это очень близко к тому, чем сейчас занимаюсь, поэтому было интересно, как делают это в Купере.
Ребята делают рекомендации в ленте пользователя. Многослойная архитектура, норм кандидатные и реранжирующие модели, но есть траблы с разнообразием выдачи, холодным стартом (это когда у пользователя нет истории заказов) и обработкой истории заказов (всего 50 последних покупок).

Кому интересно послушать доклады, вот запись митапа

😎 За вопросы к 1ому и 3ему докладу даже получил приз за лучший вопрос

🌍🌍🌍🌍🌍

Продолжаем тур по Грузии 🇬🇪

Тбилиси. День 5-9

5⃣ Приезжаем из Боржоми, гуляем по городу, опционально топаем в банк и делаем грузинскую банковскую карту

6⃣ Едем на большую экскурсию в Казбеги (храмы, горы, красивые фоточки). Тык

7⃣ Едем одним днем в соседний город Сигнахи (Город Любви). Тык

8⃣ Весь день гуляем по Тбилиси: катаемся на кораблике и на метро, поднимаемся на фуникулере, гуляем по центру, посещаем блошиный рынок на Сухом мосту (я там накупил на 15к рубасов 👀)

9⃣ Пакуем чемоданы и отбываем в Белокаменную (только берите билеты в Домодедово, а не в Жуковский)

Живем тут

Кушаем тут (прям очень рекомендую), тут, ну и все остальное тоже очень славное - везде кормят вкусно (кроме рестика на пути к Казбеги, не ходите туда, даже если гид тащит за волосы)

Вобщем, как-то так отдохнуть получилось 😁

Ps: ставьте кита, если нужен пост про Грузинский банковский счет

#Путешествия