Numba

Ранее я писал про оптимизацию расчетов датафреймов. Сегодня продолжим тему оптимизации расчетов на Python. Речь пойдет про библиотеку Numba https://numba.pydata.org/.

По сути, Numba это обертка C++ кода на python и один из относительно простых способов ускорить python-код.

1️⃣ Как работает?
Есть два режима, в которых Numba может сократить время исполнения кода:
- Nopython. Здесь Numba компилирует функцию на C++ без интерпретатора, что делает код быстрее
- Object mode. Здесь она оптимизирует только циклы, компилируя их отдельно

По-умолчанию используется Nopython метод, но можно явно указать Object mode. Также можно добавить parallel=True для распараллеливания кода.

2️⃣ Как использовать?
Устанавливаем numba с помощью pip install numba. Затем импортируем декораторы @njit и @jit c from numba import njit, jit. После этого прописываем декораторы над функцией, которую хотим оптимизировтаь и получаем ускорение из коробки в несколько раз.

from numba import njit
import random

@njit
def monte_carlo_pi(nsamples):
    acc = 0
    for i in prange(nsamples):
        x = random.random()
        y = random.random()
        if (x ** 2 + y ** 2) < 1.0:
            acc += 1
    return 4.0 * acc / nsamples

3️⃣ Когда использовать?
Если в коде есть много математических расчетов и циклов, то Numba вам сильно поможет. Но прописывать ее везде и всюду не получится по нескольким причинам:

- во-первых, для компиляции кода на плюсах Numba должна знать функции, которые вы хотите оптимизировать. Хотя большинство стандартных питонячих функций уже реализовано в Numba, методы из scipy и openCV там отсутствуют

- во-вторых, Numba тяжело дебажить, например, когда в нее вы обернули высокоуровневую функцию из opencv. Сообщения при отладке не особо явные

#mlops

📕 RTB Papers

Поскольку канал посвящен рекламным технологиям и MLю, то самое время рассказать про сборник статей рекламных ML алгоритмов rtb-papers https://github.com/wnzhang/rtb-papers.

Здесь вы сможете найти методички, презентации и научные статьи по real-time bidding (RTB) аукционам для display web рекламы. Материал разбит на следующие разделы

1️⃣ Книга Display advertising with RTB and Behavioural targeting
Содержит в себе описание механизмов, как в принципе работают RTB аукционы и краткое описание моделей предсказания цен, ставок, ответов от рекламодателей, фрода и т.д. Очень подойдет для первого знакомства с индустрией, пулом моделей и их ограничениями

2️⃣ Tutorials
Методические указания по основам RTB, подойдут для тех, кто предпочитает изучать материал в форме презентаций

3️⃣ Review papers
Статьи обзоры, аггрегируют в себе результаты сразу из множества исследовательских статей. Подойдет, если вы определились с тематикой (например предсказание ставок), и вам нужен обзор всех значимых работ на эту конкретную тему.

4️⃣ Demand-Side Platform (DSP)
DSP - это платформы, которые аггрегируют множество рекламодателей. Именно через них бренды имеют возможность делать ставки и принимать участие в RTB аукционных.

CTR/ CVR Estimation
Статьи, посвященные предсказанию кликов и конверсий. Это т.н. сегмент Performance в самом низу воронки продаж, и наша задача предсказать клик или покупку товара пользователем. Здесь выборка сильно несбалансирована, поскольку до конверсии доходит, как правило 0.1% пользователей. Задача осложняется еще и тем, что конверсия может быть отложеной (т.е. посмотрев рекламу, пользователь может сделать покупку через неделю). Пулл моделей самый разный, начиная от логистических регрессий, заканчивая Factorization machines и сетками.

Bid Landscape
Задача - оценка распределения ставок на рекламные места. Почему это важно? Потому что иначе предложив слишком мало, DSP не выиграет аукцион, а если слишком много - то DSP купит рекламный слот себе в убыток. Для этого и нужны алгоритмы по оценке распределения ставок, и вероятности победить в аукционе (win rate) на каждом отрезке ставок.

Bidding Strategies
Задача вытекает из предыдущего пункта. После того, как мы оценили кривую распределения ставок и win rate на ней, нам нужен алгоритм, который будет адаптировать ставку для каждого конкретного рекламного места (placement), чтобы максимизировать win rate и уложиться в ограничения по прибыли (margin). Здесь можно найти много алгоритмов с подкреплением (RL), например многоруких бандитов, также и моделей регрессии классического ML, по которым мы предсказываем коэффициенты-множители к ставке.

Budget Pacing
Как мы знаем реклама не продается в единичном экземпляре. Как правило бренды планируют рекламные кампании, назначают на них бюджет и проводят их в определенный промежуток времени (например, за неделю до черной пятницы). Наша задача здесь, как DSP, обеспечить брендам равномерное расходование их бюджета на весь период кампании. Если мы "сожжем" весь бюджет в первый день за месяц до черной пятницы, то не попадем на максимум спроса пользователя, а если не израсходуем бюджет в срок, то накроем недостаточно аудитории. В плане алгоритмов здесь много моделей на PID контроллерах (примерно таких же, которые ставят на автопилоты в машинах), которые помогают ускорить или урезать покупку placement'ов в зависимости от текущего бюджета.

Fraud Detection
В рекламе, как и в медиа индустрии в целом есть своя доля мошенников. Например, это сайты которые запускают ботов, чтобы накрутить скроллы или клики на рекламные места. Наша задача, как DSP, заключается в том, чтобы своевременно выявлять эти пользователей-ботов и сайты и блокировать их.


5️⃣ Supply-Side Platform (SSP)
SSP - это платформы, которые аггрегируют запросы от веб сайтов (сами же сайты собраны в издательства, например Les Echos, Wall Street Journal etc.), продающие рекламные места (еще его называют инвентарем). Также SSP проводит RTB аукционы, на которых разные DSP (и соответственно бренды) покупают эти рекламные места.

#adtech

6️⃣ Data Management Platform (DMP)
Поскольку реклама нацелена на людей, нам нужно иметь представление о них и об их предпочтениях. SSP покупают информацию о пользователях у третье-сторонних DMP, которые собирают информацию об активностях пользователей через cookies. Кроме этого рассмотрены алгоритмы построения профиля пользователя, например с помощью embedding'ов или кластеризации. Поверх этих эмбеддингов обучаются look-alike модели, которые относят конкретного пользователя к группе со схожими интересами.

7️⃣ Privacy
Говоря о пользователях, также нужно помнить про защиту их персональных данных. В более ранних постах (раз, два) я рассказывал, что Google Chrome планирует отказываться от трекинга пользователей с помощью third-party cookies. И в скором времени, данные о пользователях будут предоставляться SSP через платформу Privacy Sandbox.

В заключении поста, если вы только начинаете осваиваться с индустрией рекламных технологий, то я вам советую сначала прочесть книгу Display advertising with RTB and Behavioural target и туториалы, чтобы иметь представление в целом об индустрии. Дальше выбрать интересующую вас тематику и фокусироваться на ней.

Сохраняем к себе! ➡️

#adtech

🚘 Об автономных электромобилях и безопасности

В контексте автономных машин из ML практики мы наслышены об алгоритмах компьютерного зрения и инструментах
- обнаружения объектов на базе моделей YOLO, Faster R-CNN
- распознавание дорожных знаков
- контроль полосы движения (Tensorflow Object Detection API)
- планирование маршрута

🔐 Но современный автомобиль - это не просто набор камер и лидаров. Всегда нужно помнить о важных компонентах
- кибербезопасности водителя (авторизация, защита данных водителя и телеметрии, которые хранятся у облачного провайдера)
- архитектура SDK
- безопасность сторонних приложений

Об этом, а также о других решениях в области кибербезопасности вы сможете узнать на канале КиберБезОскара. Оскар также пишет про то, как противодействовать Adversarial атакам на датасеты. Например данных распознавания объектов на трассе такие артефакты (например гауссовские шумы или патчи размером в 1-2 пикселя) не видны человеческому глазу, но после обучения на которых качество CV моделей резко падает.

Метрики в рекламных кампаниях ч.2

Сегодня мы продолжаем разбираться в том, как оценивать эффективность рекламной кампании. Ранее мы рассмотрели метрики Scroll rate, Completion rate, CTR, CVR.  Сегодня мы рассмотрим метрики расходов на рекламу:

1️⃣ CPM (Cost per mille)
Стоимость тысячи отображений рекламы.

CPM = ads_budget / (nb_impressions 
/ 1000)

Эта метрика показывает динамику спроса и предложения на вашу целевую аудиторию. Обратно коррелирует с Scroll rate


2️⃣ CPC (Cost per click)
Стоимость за клик на рекламный баннер. Показывает отношение между CPM и CTR (Click-through rate).

CPC = ads_budget / nb_clicks

3️⃣ CPA (Cost per action или Cost per acquisition)
Стоимость одного целевого действия, которое совершил пользователь после клика по баннеру. Целевое действие - это покупка, регистрация, подписка и т.д. Обратно коррелирует с CRV (Conversion rate).

По сути это самая важная метрика внизу воронки продаж, т.к. если кампания генерирует дешевый трафик, но он не конвертируется в продажи, то где-то есть проблема.

CPA = ads_budget / nb_transactions

#adtech

NVIDIA Triton

https://developer.nvidia.com/triton-inference-server

Сегодня поговорим про библиотеку Triton. Она создана для того, чтобы упростить процесс развертки ML модели на инференс. Поскольку в названии присутствует NVIDIA, то понятно, что модели можно будет использовать для инференса на GPU. Triton поддерживает разные форматы моделей, например, Tensorflow, TorchScript, ONNX, OpenVINO. Поддерживается почти всеми крупными облачными провайдерами AWS, GCP, Azure, Tencent etc. и на обоих типах процессоров x86 и ARM CPUs.
https://github.com/triton-inference-server/server/blob/r22.01/docs/model_repository.md

Часть, как установить nvidia-cuda-toolkit я проскипаю и опишу потом.

Запустить Triton Inference Server можно разными путями, в частности в Docker контейнере

$ docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:<xx.yy>-py3 tritonserver --model-repository=/models

После этого вы можете обращаться к серверу с помощью curl HTTP запросов. Например, проверим статус поднятого сервера

curl -v localhost:8000/v2/health/ready

Мы также можем руками добавить в модель в Triton Inference Server дополнительные конфиги. Их нужно прописать в формате protobuf файла
https://github.com/triton-inference-server/server/tree/r22.01/docs/examples/model_repository

package triton.server.model;

message ModelConfig {
  string name = 1;
  string version = 2;
  string description = 3;
  repeated Input inputs = 4;
  repeated Output outputs = 5;
  map<string, string> metadata = 6;
}

message Input {
  string name = 1;
  string description = 2;
  string data_type = 3;
  repeated shape shape = 4;
}

message Output {
  string name = 1;
  string description = 2;
  string data_type = 3;
  repeated shape shape = 4;
}

message shape {
  int64 dim = 1;
}

Далее прописываем скрипт клиента на Python, где загружаем, например, модель ONNX. Затем мы создаем клиент и передаем ему адрес Triton сервера . После этого мы создаем запрос InferRequest и задаем имя модели. Затем мы из proto файла конфигов model_config.pbtxt передаем содержимое о параметрах модели в запрос

import torch
import tritonclient.grpc as grpc_client

# Загружаем модель
model = onnx.load("model.onnx")

# Создаем клиент Triton
client = grpc_client.InferenceServerClient("localhost:8000")

# Создаем запрос
request = grpc_client.InferRequest()
request.model_name = "my_model"

# Задаем параметры запроса
with open("model_config.pbtxt", "r") as f:
    config = f.read()
    request.config = config

# Отправляем запрос
response = client.infer(request)

# Получаем результат
output = response.outputs["output"]

#mlops

💻️️️️️️ Потоковый Feature Pipeline для крипто-обменника Coinbase

Недавно прочел интересный блог пост. Его автор показывает, как написать feature pipeline. Для справки, feature pipeline это не весь ML конвейер, а только его составная часть, в которой мы собираем и обогащаем фичи.

Входные данные он забирает из API обменника Coinbase Websocket API. Парсит текствый файл, извлекает строчки данных посекундно. Далее считает аггрегации цен крипто пар на окне в 30 сек: открытие, закрытие, high, low. После того, как аггрегации посчитаны, складывает фичи в Feature Store.

В качестве инструмента использует библиотеку bytewax https://github.com/bytewax/bytewax . Это такая библиотека для обработки потока данных, аналогично Spark Streaming, Flink, Kafka Streams. Единственным ее отличием является то, что подкапотно операции выполняются на Rust, преимущество которого - это низкий runtime duration.

Во всем остальном синтаксис - это классчиеские операции MapReduce. Также как и в Spark, мы сначала декларируем набор трансформов и после этого запускаем action на исполнение.

В принципе, ничего сверхъестественного, но инструмент имеет смысл попробовать

source: https://www.realworldml.xyz/blog/real-time-pipelines-in-python

#mlops

Курс Advanced MLOps на платформе PyMagic

Я сейчас работаю над курсом Advanced MLOps. Он будет логическим продолжением первого курса по MLOps.

Что в нем будет?
- будет разобран инструмент работы с инфрой Terraform
- мы развернем ML приложение по предсказанию кликов в рекламе на кластере Kubernetes
- узнаем, зачем нужна потоковая обработка данных, и научимся работать с Apache Kafka
- мы рассмотрим как реализован механизм CI/CD на Github

Если я Data Scientist, зачем мне это надо?
В DS мы приыкли работать с датасетами, уже готовыми, аккуратно собранными и структурированными в csv файлы. Но эти датасеты не рождаются из ниоткуда. Сбор данных в организации это процесс, в котором нужно разбираться, иначе если вы плохо организовали запись и обогащение данных, то и от ML моделей не будет пользы. 

Приведу пример для маркетплейса и рекламы. Когда пользователь входит на сайт и взаимодействует с ним, то чтобы собрать строчку данных о нем, нам нужно писать одно за другим события его активностей, т.е. собирать датасет по крупицам событие за событием. Эти события нужно обогощать, потом записывать в хранилище за конкретный час/ день. 

Теперь, допустим, что множество пользователи заходят на сайт не по очереди а одновременно по нескольку сотен в минуту. Тогда запись одной за другим активностей будет занимать слишком большое время и пользователи начнут уходить с сайта. Встают вопросы: 

- а как нам обрабатывать активности пользователя одновременно? 
- может добавить промежуточное хранилище в которое одновременно можно писать данные об активностях? 
- может поднять не один сервер, а несколько и объеденить их в кластер? 
- как распараллелить запись активностей пользователей?

Да, я знаю, что задача DSа - это экспериментировать над моделями, но я также считаю, что сегодня в индустрии без знания о том, как работает инфра, как данные собираются, как можно улучшить этот процесс или схему датасета, или добавить новые фичи для обогащения, далеко не уедешь. Сегодня в индустрии большое количество уже готовых предобученных моделей, и более сильным и компетентным будет считаться тот, кто сможет быстрее вывести эти модели в отказоустойчивый прод под конкретную бизнес задачу.

Владение этими навыками
- во-первых, даст вам unfair advantage по сравнению с вашими коллегами или конкурентами, которые не владеют выводом моделей в прод
- во-вторых, вы будете более профессиональным в глазах вашего менеджера

Поэтому, не упускайте возможность прокачать свои скиллы!

#mlops
#base

📺 Connected TV и приватность данных пользователей

Ранее мы говорили об ограничениях на трекинг персональных данных пользователей для Web формата, в частности для Google Chrome. Сегодня речь пойдет про подключенное ТВ (Connected TV).

В случае Connected TV в качестве девайса, подключенного к интернету выступает сам телевизор. Он имеет свой публичный IP адрес, который издатель в лице телеканала может передавать SSP или третье-сторонним Data Management платформам, чтобы те смапили преференции пользователя на ТВ с активностью в Web.

Начиная с 2024 Chrome отменит использование third-party cookies, Apple ограничит использование идентификаторов мобильной рекламы, будут закручиваться гайки с доступом к IP адресам пользователей. В результате рекламодателям будет сложнее достичь и измерить свою целевую аудиторию.

Тем не менее у рекламодателей все-таки будет возможность собрать достаточно данных об аудитории

- Во-первых, это прямое сотрудничество с издателем, или т.н. Direct Sold контракты, когда бренд или DSP напрямую связывается с каналом. Издатель в этом случае передает свои собственные first-party cookies (не путать с third-party cookies) со статистикой о пользователях. Другой вариант это сотрудничество с Data Management платформами, например, Experian, которые тоже предоставляют графики аудитории с хэшированными электронными адресами, IP-адресами, куки и мобильными идентификаторами

- Во-вторых, это т.н. чистые комнаты (Clean Room). При таком подходе издатели создают дочерние компании, которые специализируются только на сборе статистики CTV аудитории. Таким образом издатели могут обезопасить себя в плане норм защиты персональных данных (не они же передают информацию рекламодателя). На стороне Clean Rooms данные о пользователях будут зашифрованы перед передачей брендам.


source: adExchanger

#adtech

Continuous Integration CI

Непрерывная интеграция (Continuous Integration CI) и непрерывная поставка (Continuous Delivery CD) - это набор практик, которые помогают разработчикам чаще и надежнее развертывать новые фичи в коде. Сегодня поговорим больше про CI.

По сути, CI - это когда вся команда коммитит в одну общую кодовую базу и на каждый коммит автоматически идут проверки, запускаются тесты, пушатся Docker образы в Registry.

Признаком того, что CI необходим, может служить
- то что команда регулярно (допустим на ежедневной основе) мержит в мастер
- при этом на каждый коммит нужны проверки линтера и тестов
- или же в случае, если есть вероятность сбоев мастер билда и его необходимо быстро править и перезаливать

Также CI нуждается в непрерывном тестировании, поскольку конечная цель — разработка качественного продукта. Непрерывное тестирование часто реализуется в виде набора различных автотестов (юнит тестов, регрессионных, интеграционных, производительности etc.).

Основные платформы, где CI можно поднять и реализовать (например написать, чтобы воркфлоу и автотесты запускались на каждый коммит)
- Github Actions
- CircleCI
- Gitlab

#devops

🔥 Как устроен PyTorch в 100 слайдах

Что в презентации?
- Tensors. Описано, как реализован класс Tensor, его хранение, копирование и базовые операции
- JIT Jist-in-time compiler. Описано, что такое Tracing, Scripting. Представлен API TorchScript. Рассказывается как оптимизирвать операции над тензорами
- Dynamo. Введение в новую структуру данных Frame.
- Inductor. Метод AOTAutograd для ускорения обучения моделей
- ExecuTorch. Надстройка для embedded вычислений

Материал очень емкий, много инфы по новому актуальному функционалу. Если вы планировали изучить PyTorch, самое время это сделать сейчас. Сохраняем к себе!

#base

💵 LLMOps для ассистента по инвестициям

Ранее, я особо не писал про LLM, так что пора начать.

Сегодня рассмотрим репозитормй с LLM для создания ассистента по инвестированию. Подкапототно используется модель Alpaca с Market Data API, где модель предобучена на новостях по рынку акций и крипте. LLMOps пайплайн состоит из трех частей.

1️⃣ Training pipeline
Загружаем собственный датасет, для вопросов и ответов и загружаем языковую модель. Далее проводим эксперименты и логируем их историю в MLFlow или Comet ML. В конце сохраняем лучшую модель в реестре моделей. Training pipeline развертывается как безсерверная GPU инфра с помощью Beam.

2️⃣ Streaming pipeline
Передача данных в реальном времени. Очищаем и векторизуем новостные данные в Bytewax (см пост ранее). Далее сохраняем полученные эмбеддингы в Qdrant Vector DB.

3️⃣ Inference pipeline
Выгружаем обученную LLM из реестра моделей. Подаем на вход промпт запроса. Запрашиваем Vector DB, чтобы обогатить запрос контекстом. Передаем обогащенный запрос в LLM на инференс. После предсказания ответа сохраняем историю диалога в памяти.

На проде каждая часть пайплайна будет находится в своем собственном репозитории и развернута на своих собственных машинах отдельно для обучения, стриминга, инференса

#llm

Поздравляю всех с Новым годом! 🎄🎅

Этот год я хочу начать с чего-то простого и наглядного. Сегодня кратенько разберем для чего нужны хранилище, озеро и стриминг данных

- Data Warehouse - для отчетности и Business Intelligence (Tableau, Looker)

- Data Lake - для анализа больших данных и ML

- Data Streaming - для сценариев, когда надо в реальном времени записывать события в хранилище (например в S3). Зачастую чтение и запись потока данных происходят асинхронно

- Децентрализованные архитектуры (Data Mesh) - для всего остального

#devops

Матрица скиллов для ML Engineer, Data Engineer, Data Architect

💻 Привет, сегодня хочу поделиться репозиторием data-engineer-handbook, который содержит ресурсы для того, чтобы прокачаться как дата инженер и подготовиться к собесам.

Здесь вы сможете найти:
- Книги по DE, MLE, Streaming инструментам, хранилищам данных etc.
- Ссылки на сообщества в Слаке и Дискорде
- Списки компаний, которые разрабатывают инструменты оркестрации данных, например Dagster, хранилища Snowflake, etc. Также они активно нанимают дата инженеров
- DE блоги компаний Netflix, Uber, Databricks, Airbnb etc.
- R&D статьи
- Ссылки на YouTube каналы, для любителей изучать материал в формате видео
- Подкасты
- Рассылки newsletters
- Контакты Linkedin известных в узких кругах индустрии людей
- Туториалы по паттернам проектирование. Подойдет для подготовки к System Design собесам
- Ссылки на курсы и сертификации Google Data Engineer, AWS Data Architect etc.
- Ссылки на конференции
- Twitter, TikTok и вот это вот все

Сохраняем к себе!

#practices

Direct Sold сделки в Web рекламе

Как я писал ранее, в индустрии Web рекламы Direct Sold сделки, заключаемые напрямую между издателями и DSP снова становятся актуальными. Особенно для новых издателей, которые еще не интегрировали свой рекламный инвентарь в открытые programmatic аукционы.

Одним из таких издателей является Likewise. Платформа предоставляет Video-on-demand, трансляцией подкастов и продажей книг. План Likewise - это монетизация исключительно через прямые продажи рекламы и спонсорский контент вместо programmatic RTB аукционов или платных подписок.

Почему так?
Likewise избегает programmatic аукционы по нескольким причинам:
- во-первых, для рекламодателя механизм programmatic, по сути, сводится к покупке дешевых отображений, и вместо этого издатель потенциально получит большую выручку от прямых сделок, основанных на активности своих подписчиков (или другими словами first-party аудитории)
- во-вторых, несмотря на фильтрацию по brand-safety, programmatic предлагает мало контроля за тем, какая реклама появляется на страницах издателя, и на сколько она релевантна контенту.

Какое решение?
Likewise экспериментируют на интеграции рекламы в native-content. Работают newsletter'ы, где контент также смешивается с рекламой. Основная таргетируемая аудитория - это 6 миллионов зарегистрированных пользователей. Чтобы избежать проблемы холодного старта, когда пользователи устанавливают приложение Likewise и регистрируют свой email, их просят ответить на опрос о предпочтениях в жанрах и медиа-продуктах, которые используются в модели рекомендации.

source: adExchange

#adtech