Как рассчитать CLTV с помощью машинного обучения и как нам в этом помогает Feature Store

Условия задачи: дано число клиентов банка N, число банковских продуктов М, горизонт времени прогноза Т. Нужно посчитать ( Pij ).

Привет, меня зовут Игорь Дойников, в Альфе я CDS — Chief Data Scientist в Розничном Бизнесе. Моя команда строит модели машинного обучения для розничного бизнеса Альфа-Банка. В статье я расскажу как, собственно, эту задачу решать и зачем. Сначала пройдёмся по CLTV, как бизнес постановки задачи мы перешли к задаче машинного обучения, какие при этом возникали проблемы и как мы их решали. А главное — что такое Feature Store и как этот инструмент помогает нам решать задачи СLTV.

Читать далее

#cltv #машинное_обучение #feature_store #mlops #automl #datascience #machinelearning | @habr_ai

Инструменты AutoML в 2024

Определимся с терминологией. Можно найти c десяток формулировок «AutoML- это…» с разной степенью детализации. Но все они сведутся к словам «AutoML — автоматизирует и упрощает работу с данными». И вот здесь как раз и начинаются сложности. Границы определения AutoML размыты. Есть фреймворки работающие на «3 строчках» кода, есть с платформы с GUI, есть библиотеки для профессионалов и новичков. Попробуем разобраться..

Читать далее

#automl #data #data_science #tools #kaggle #machine_learning #автоматизация #опыты_для_детей #соревнования #жизнь_в_радость | @habr_ai

Практический кейс реализации AutoML в банке

Всем читателям Хабра привет! На связи дата сайентисты стрима разработки моделей для корпоративного сегмента банка ВТБ — Андрей Бояренков, Иван Кондраков, Станислав Арешин и Андрей Трушин.

В этой статье мы хотим поговорить про конкретный кейс разработки процесса AutoML для моделей оценки вероятности дефолта клиентов (PD) в рамках экспресс-продуктов малого бизнеса. Расскажем, как выстроен наш процесс, как мы к этому пришли, с какими проблемами столкнулись, как их решили и как в дальнейшем планируем тиражировать на другие продукты банка.

Читать

#ml #automl #data_science #ds #machine_learning #mlops #автоматизация_рутины #скоринг #логистическая_регрессия | @habr_ai

Фреймворк ARTEM(L): Как мы автоматизируем обучение и обновление моделей в Альфа-банке

Или как избавить DS от рутинных задач по обучению и обновлению моделей и их дальнейшему передеплою в проде?

Всем привет! Я Настя Бондарева, senior Data Scientist в Хабе Юридических Лиц Альфа-Банка, лидирую инициативу ARTEML (AutoReTrainable ML). В статье расскажу, как мы упростили себе работу и часть рутинных задач, число которых росло как снежный ком с ростом количества применяемых моделей.

Читать далее

#automl #ml #машинное_обучение #mlops | @habr_ai

AutoML: гид по автоматизации машинного обучения для начинающих

Каждый, кто пытался построить даже самую простую модель машинного обучения, знает, сколько всего нужно учесть: сбор данных, предобработка, выбор алгоритма, подбор гиперпараметров, оценка качества… Это большой объем рутинных задач, но есть и хорошие новости: их можно автоматизировать. На помощь придет AutoML.

В 2025 году AutoML уже не просто модное слово, а мощный инструмент, который меняет правила игры в Data Science. Разберемся, что это такое, каким бывает и как его использовать, чтобы стать еще круче в ML.

Читать далее

#machinelearning #automl #data_science | @habr_ai

AutoML и NAS

Автоматическое машинное обучение (AutoML) – это область исследований, целью которой является автоматизация ручных процессов настройки ML-пайплайнов, то есть полных циклов обработки данных при помощи ML-алгоритмов. Можно выделить основные этапы работы с данными в рамках стандартных подходов ML: сбор данных, их первичный анализ, предобработка (нормализация, кодирование признаков, оценка их важности и фильтрация, заполнение пропусков, поиск шумных признаков и выбросов в данных), выбор оптимальных моделей для решения задачи, возможные варианты комбинирования и ансамблирования моделей, оценка и внедрение итогового решения. Каждый элемент этой последовательности представляет из себя отдельную сложную задачу, требующую вложения труда специалистов. При этом та часть этих задач, которая представляет из себя подбор взаимозаменяемых элементов и оценку их производительности, может быть автоматизирована. Речь не идет об автоматизации сбора данных в широком смысле слова – слишком уж сложна и неоднородна эта задача – но автоматизация выбора наиболее оптимального набора моделей классического машинного обучения среди стандартного набора с учетом заранее поставленных ограничений кажется вполне решаемой проблемой.  Методы оптимального поиска таких пайплайнов и решения ряда сложностей, возникающих в связи с такой широкой постановкой, называются автоматическим машинным обучением. Читать далее

#машинное_обучение #ml #automl #nas #оптимизация_гиперпараметров #искусственный_интеллект #швм #школа_высшей_математики | @habr_ai

Бьем автоматизацией по ручной работе с данными: как мы избавились от рутины с ML-моделями

Всем привет! Это DS-ы Павел Парфенов и Максим Шаланкин из команды Финтеха Big Data МТС. Мы и наши коллеги Data Scientists и Data Analysts ежедневно обрабатываем огромные массивы информации, строим модели и выделяем целевые сегменты, чтобы принимать обоснованные решения. Наши рутинные задачи — предварительный анализ данных (EDA), обучение ML-моделей и сегментация аудитории — часто отнимают кучу времени и ресурсов. 

Для себя и коллег с другими компетенциями мы решили сделать инструмент, который сэкономит время на рутинных задачах. В этой публикации мы подробно расскажем, что именно оптимизировали с помощью автоматизации и на каких этапах рабочего процесса применяем нашу командную платформу. Используя этот опыт, вы сможете освободиться от монотонных действий при работе с данными и сосредоточиться на по-настоящему важных вещах.

Читать далее

#автоматизация_работы_с_данными #autoeda #automl #сегментация_аудитории #аналитика_данных #rest_api #mongodb #обработка_данных #ai_агент | @habr_ai

Архитектура проекта автоматического обучения ML-моделей

Хабр, привет! На связи Кравцов Кирилл и Суздалев Руслан из команды моделирования поведенческих сценариев Центра развития искусственного интеллекта СПАО «Ингосстрах» (далее – ЦРИИ). В статье поделимся решением, которое помогает нам быстрее обучать и интегрировать модели в компании.

С ростом компании и ЦРИИ, в частности, у нас появлялось все больше бизнес-заказчиков, которым нужны были ML-модели. Поэтому потребность росла, а ограниченность ресурсов не позволяла быстро обрабатывать задачи бизнеса и многое уходило в беклог. Читать далее

#data_science #machine_learning #automl #python | @habr_ai

Как мы в Авито предсказываем категории объявлений по описанию

Привет! Меня зовут Руслан Гилязев, я работаю в подразделении DS SWAT в Авито, руковожу командой платформы Item2param. В этой статье рассказываю, с помощью каких технологий мы решаем задачу классификации объявлений и почему это важно для бизнеса. Материал будет полезен DS-инженерам любого грейда и backend-инженерам, которые интересуются темой data science.  Читать далее

#nlp #ml #mlops #machinelearning #labeling #automl #авито | @habr_ai

Как автоматизировать обучение ML-моделей и сократить время вывода в прод до двух дней

В прошлой статье мы говорили о подходе к рекомендации сервисов на основании автоматизации расчета склонностей клиентов и единого репозитория предложений. В ней мы углубились в создание репозитория, описание логики категоризации и набора в кампании для коммуникации с клиентами. Сегодня мы подробнее расскажем про наш подход к автоматизации построения и вывода в прод набора моделей. Читать далее

#data_science #machine_learning #automl #feature_store #automatization | @habr_ai

Библиотека OutboxML от Страхового Дома ВСК

Хабр, привет!

Меня зовут Семён Семёнов, я руковожу Data Science и Machine Learning в Страховом Доме ВСК. В этой статье расскажу, как мы создали систему автоматического обучения и развёртывания моделей машинного обучения с открытым исходным кодом.

Первый вопрос, который может задать себе читатель, знакомый с темой современного машинного обучения:

«Почему бы не взять одну из десятков (если не сотен) открытых AutoML-библиотек?»

Ответ прост: мы не стремились создать ещё один «стандартный» проект AutoML. Наша цель — сфокусироваться на вещах, которые редко встречаются в готовых решениях: Читать далее

#automl #машинное_обучение #машинное_обучение_python #data_science #mlops #mlflow #fastapi #grafana #открытый_код #ml | @habr_ai