Вопрос с собеса ВТБ на 360к - как CatBoost кодирует категории под капотом?🦔

Зачастую на интервью 300к+ собеседующий не будет полчаса расспрашивать, как обучается бустинг - на таких собесах любят копать в детали, поэтому сегодня разбираем вопрос как CatBoost кодирует категории под капотом?

То, что CatBoost на спокойнычах хавает категориальные фичи из коробки, знают все, а вот на вопросе «а как именно?» посыпаться легко

Главная фишка - Ordered Target Statistics 🤨
Классический Target Encoding code ("Москва") = mean(y | city=="Москва") утекает: в код объекта зашит его собственный таргет, но CatBoost решает это перестановкой.

Формула из доки:

avg_target = (countInClass + prior) / (totalCount + 1) 

- countInClass - сколько раз таргет превысил порог среди объектов с той же категорией, обработанных до текущего
- totalCount - сколько таких объектов встретилось до текущего
- prior - сглаживание, спасает редкие категории от вырождения в само значение (0, 1, 2, 3 и т.д.)

Допустим, таргет принимает значения 0 и 1 (бинарная классификация). Порог тут один: y == 1. Тогда:

- countInClass = сколько объектов с той же категорией до текущего имели y == 1
- totalCount = сколько объектов с той же категорией до текущего было всего
- avg_target = (countInClass + prior) / (totalCount + 1) — это просто доля единиц, но сглаженная и посчитанная без текущего объекта

CatBoost делает случайную перестановку выборки (вообще несколько перестановок) и для каждого объекта считает avg_target. Свой таргет в своё кодирование не попадает, а значит утечки нет по построению, несколько перестановок усредняют шум первых объектов.

Ещё есть параметр one_hot_max_size: если уникальных значений в категории мало, включается One-Hot, и avg_target не считается.

Вторая киллер-фича - CatBoost во время обучения сам строит комбинации признаков. Пара city и device склеивается в новый признак city|device, который кодируется тем же Ordered TS

Итог: По категориям считается avg_target по предшественникам на нескольких перестановках, если значений мало - One-Hot, плюс модель сама собирает комбинации категорий.

Наебеньте огней если нравится такой технически-анальный контент 🔥

Декларация до оффера 300к+ - часть 2, Глеба чуть не разорвали на четыре части 💪

Это вторая часть декларации до оффера (первая здесь) где Глеб, мой ученик из менторства, решил перейти из бизнес-аналитики на AI-инженера и целится в оффер от 300к. Мы с ним созвонились в прямом эфире, чтобы зачикинть наш успех и проверили первую декларацию, по итогу у Глеба движение есть, но столкнулись с размытием фокуса и выполнением вообще не целевых действий

Что получилось за месяц:

• закрыл три недели программы по Python
• собрал простую связку из трёх агентов и выложил около 12 постов-отчётов вместо семи
• По его словам, на собеседованиях в аналитику раньше час ковырял простые Python-задачи с подсказками, а теперь решает за 10–12 минут
• Но на SQL пока сыпался, а ООП проскочил ради дедлайна и собирается разбирать заново

Глебушка уже с первых недель обучения на менторстве уже начинаем дрочить проект в DS, причём не у себя в ноутбуке, а перед руководством на текущей работе. Он презентовал идею RAG-системы, которая поможет находить информацию в материалах прошлых проектов компании. По итогу получил добро и респект на разработку. Пока что это не готовый сервис, но уже понятная бизнес-задача, но и не очередная хуйня, которая пойдёт в стол 🐵

Но главный проёб оказался в фокусе, Глеб нахуя-то решил приблизиться к AI через собесы на бизнес аналитика в AI проектах, а потом стать AI-инженером. Запомните, если хотите идти сразу в DS/ML/LLM/Агенты, то блять не создавайте себе трудностей, не надо создавать себе трек Нормис -> QA -> Backend -> WebCam модель -> AI-инженер, нужно сразу давать тапку в пол в одно направление. Короче, Глеб перестал тут маяться хуйнёй и пошёл делать проекты, доучивать материалы необходимые для его цели - AI-инженер до мая

На следующий месяц закоммитились

🟣 Закрыть следующие блоки: Git, FastAPI, деплой и асинхронность - и дойти до первого МОКа по питону
🔵 Собрать первую версию своего RAG-проекта - рабочий прототип, на котором можно проверить идею
🟢 Вместе с куратором Сашей расписать roadmap до оффера по месяцам: что учим, когда проверяем знания и когда выходим на рынок

пов: если Глеб это не выполнит, то закинет скидку для следующего ученика, который вступает в менторство

Полную запись созвона и сессию вопрос–ответ выложу в закрытом Telegram-канале, там подробнее разобрали личную стратегию Глеба, подготовку к собеседованиям и вопросы ребят про путь в DS/AI 👀

ЖЁСТКОЕ Собеседование по DS/ML: Accuracy, Precision, Recall, F1, ROC-AUC, PR-AUC 👀

Почти час душим питона моего ученика на вопросы про метрики классификаци: Accuracy, Precision, Recall, F1, ROC-AUC, PR-AUC, threshold, micro/macro/weighted и задачи, которые реально могут прилететь на собесе и в классик мл, и в агентах, и в нлп. В видосе ебашу вопросы Максу → смотрим его ответ → разбираю, где норм, а где можно посыпаться

Если готовитесь к собесам в DS/ML, очень советую пройти ролик как настоящий МОК: ставите на паузу, отвечаете сами, потом сверяетесь с разбором 🚬

Смотреть: https://youtu.be/9W2KPej_L9g