К дата-аналитике мы пришли с появлением предиктивных моделей, цель которых — прогнозировать события или переменные на основе исторических данных. Чтобы создать модель, их нужно проанализировать и предобработать.

Первоначально этим занимались специалисты Data Science, но, оптимизируя процессы, мы решили попробовать подход, когда все задачи по анализу данных будут закреплены за отдельным специалистом. Так появились дата-аналитики. Но проектов, где нужен анализ данных и предиктивная аналитика, оказалось не так много, чтобы мы могли их полноценно загрузить. Поэтому решили вернуться к предыдущей концепции, когда анализом данных занимается DS.

В таких проектах бизнес-аналитик сначала изучает предметную область, помогает сформулировать потребности и задачи клиента к анализу данных, передаёт это DS — и тот выполняет свою часть. На практике стало понятно, что BA нужно хорошо ориентироваться в переданных данных, а это тоже предполагает анализ.

Поэтому мы решили попробовать подход, когда задачи по анализу данных разделены между BA и DS. Для этого потребовалось обучить бизнес-аналитиков. Вместе с DS мы придумали, как будет выглядеть разделение по задачам, какие навыки нам нужны, — и они нас обучили.

Стоит отметить, что в задачах генерации короткого текста по длинному контексту хорошо показывают себя и модели на основе декодировщика Transformer, и полный Transformer. Но если речь идёт о задачах типа суммаризации, то при фиксированных размерах моделей лучше могут справиться именно полные Transformer-ы.

Сегодня будем говорить и применять новые инструменты для создания RAG, улучшим качество наших результатов относительно прошлой статьи за счет использования других моделей для embeddings. Также затронем использование трушной векторной БД Chroma.

Я окончила экономический факультет в Оренбурге, училась на отделении финансов и кредитов. Хорошо знала банковское дело, бухгалтерский учёт. После университета вышла на должность аналитика в государственном пенсионном фонде.

С IT соприкосновений было мало — разве что работала с SQL, «тянула» информацию из витрин юридических и физических лиц из хранилища данных. С отделом разработчиков мы почти не пересекались.

Во время ковида мы ушли на удалёнку. Когда пандемия закончилась, нас попросили выйти в офис. Мне это не подходило из-за семейных обстоятельств, и я написала заявление на увольнение. Тогда же ко мне пришло осознание, что пора как минимум повышать квалификацию, а лучше — повернуть жизнь вспять и всё кардинально изменить.

В один момент мой взгляд пал на Data Science. Стандартный стек дата-сайентиста показался тяжёлым. В частности меня пугал Python. После ресёрча поняла, что этот язык вообще много где требуется — поэтому решила сконцентрироваться на нём и поступила на курс по Python.

Для предсказания внеплановых остановок оборудования используется комбинация нейронных сетей с долгосрочной краткосрочной памятью (LSTM) и Байесовский подход. LSTM и Байесовская модель обучаются на периодах, когда оборудование находилось в хорошем рабочем состоянии (эталонные периоды).

Вместо данных с датчиков на вход LSTM подаются сгенерированные с помощью PCA латентные переменные и рассчитанные метрики Hotelling's T-Squared и Q residuals.

На полученных в результате инференса LSTM Hotelling's T-Squared и Q residuals обучается Байесовская модель.

Когда вы работаете с реальными данными, вы не можете полагаться на то, что в базах содержится вся необходимая информация для реализации вашего проекта Data Science. Чаще всего вы располагаете частичной информацией и должны обогатить данные дополнительными характеристиками.

Может возникнуть ситуация, когда набор данных содержит адрес, но в то же время широта и долгота отсутствуют. В этом случае первым шагом для дополнения данных будет добавление этой пары координат. Мы называем этот процесс преобразования адреса в широту и долготу геокодированием.

Геокодирование востребовано во многих областях, таких как недвижимость, финансы и логистика. Без этой технологии вы не сможете анализировать и визуализировать полученные данные на карте. В этом руководстве мы будем заниматься геокодированием на Python с помощью библиотеки Geopy.

Наш стек – Python, Hadoop, Spark, K8S, Docker, JupyterHub, MLFlow, Airflow, Argo, Cookiecutter

Генеративный ИИ получил широкую известность в 2022 году, благодаря появлению ChatGPT и Midjourney. Однако идея GenAI зародилась очень давно – в конце 1950-х годов, вместе с появлением концепции машинного обучения, а первый математический метод для генерации данных (цепи Маркова) был представлен еще раньше – в 1906 году. Какие разделы математики нужно знать для разработки современных генеративных моделей – расскажем в статье.

Многие из вас сталкивались со Stable Diffusion и знают, что с помощью этой нейросети можно генерировать разнообразные изображения. Однако не всем интересно создавать случайные картинки с кошкодевочками, пускай даже и красивыми, и всем прочим. Согласитесь, было бы гораздо интереснее, если бы можно было обучить нейросеть создавать изображения... нас самих? Или наших любимых актёров и музыкантов? Или наших почивших родственников? Конкретных людей, в общем, а не какие-то собирательные образы из того, что было заложено при обучении нейросети. И для достижения этой цели нам потребуется обучить некую модель. Этим мы и займёмся, пытаясь определить наиболее оптимальный воркфлоу и максимально его автоматизировать.

В рознице Альфа-Банка на февраль 2024 года больше десятка млн активных клиентов, но я уже не успеваю следить за этим числом, потому что оно очень быстро растёт. И CLTV (Customer LifeTime Value) — это один из инструментов, который позволит увеличивать это количество. В статье я расскажу, что такое CLTV, как от бизнес постановки задачи мы перешли к задаче машинного обучения, какие при этом возникали проблемы и как мы их решали. А главное — что такое Feature Store и как этот инструмент помогает нам решать задачи СLTV.