📹 Продолжаем листинг LLM моделей. Сегодня на очереди Video Generation

Stable Video Diffusion
- Open Source'ная модель, разработана Stability AI. На данный момент под капотом SOTA модель SDXL. Также доступна генерация аудио

HeyGen
- Модель для клонирования голоса, коррекции движения губ и перевода языка в видео

Runway Gen-2
- Широкий набор инструментов Text2Video, Text + Image to Video, Image2Video, замена стиля etc.

Pika
- Аналогично Gen-2: замена стиля, Text2Video, Video2Video, inpainting. На данный момент готовится релиз обновления Pika 1.0

#llm

📝 С генерацией видео и картинок мы разобрались. Теперь, давайте, рассмотрим модели для генерации текста

GPT-4
- Нашумевшая модель сильно расширила поддержку плагинов. Теперь она обрабатывает не только текстовые промпты, но и изображения, генерирует подписи под картинками, решает задачи Audio2Text и поддерживает web-browsing. Также стал доступен маркетплейс GPTStore для монетизации приложений, написанных на API ChatGPT.

Bard и Gemini
- Модели разработаны Google DeepMind. Ближайшие конкуренты ChatGPT. Сейчас выкатывается модель Gemini Ultra, которая бьет GPT-4 SOTA в плане описательных способностей на benchmark тестах DROP (reading comprehension), Big-Bench Hard (многоступенчатые описание), GSM8K (арифметические упражнения), HumanEval (генерация кода на Python)

Grok
- Разрабатывается xAI. Пока актуальная версия Grok-1 по бенчмаркам не дотягивает до GPT-4. На данный момент модель зарелизили для Premium+ пользователей X, по поводу общего релиза для глобальной аудитории ждем анонсов.

OverflowAI
- Stack Overflow разработал плагин для Visual Studio Code и Slack для поиска актуальных ответов на вопросы.

Mistral 7B / Mixtral 8x7B
- Модель также конкурент GPT-4. Здесь акцент сделан на открытость, Mistral AI предоставили модель для свободного скачивания. Также представлена улучшенная модель Mixtral Sparse Mixture-of-Experts с открытыми весами

#llm

💵 Contribution margin

Ранее мы рассмотрели основные метрики для расчета эффективности рекламной кампании. Сегодня мы поговорим про Contribution Margin.

Это понятие ввел Abir Syed. Contribution Margin считается так же как и классическая маржа рекламной кампании, как разница между средней выручкой конверсии и стоимости за клик (Cost per Click CPC) или за тысячу отображений (Cost per Mille CPM). Но в отличие от обычной маржи Contribution Margin также учитывает постоянные расходы, как например зарплаты сотрудникам, аренда серверов и т.д. Таким образом, эта метрика дает более реалистичную оценку прибыли кампании

Почему метрика важна?
Приведу пример. Если Sales или AdOps менеджер видит ухудшение метрик кампании (к примеру низкое число отображений прификсированном бюджете ведет к повышению CPM), то его первая реакция - это уменьшить бюджет. При этом с одной стороны CPM уменьшается, но фиксированные расходы все равно остаются. В результате организация несет больше убытков от сжатие бюджета, чем от масштабирования

Также, вводя понятие Contribution Margin, мы можем видеть, как увеличение разнообразия креативов может помочь уменьшить стоимость за клик или отображение. Таким образом, метрику удобно применять при AБ-тестировании нескольких продуктов или фич.

#adtech

На случай, если на собесе вас спросят про временную сложность основных ML алгоритмов

Сохраняем к себе!

#base

⚡ Regex101

Для тех, кому нужно попрактиковаться в регулярках, есть удобный редактор регулярных выражений Regex101. В нем приводятся объяснения символов, генератор кода для разных языков и дебаггер.

#base

🚀 Зачем ускорять модели на проде ?

Привет, сегодня хочу поделиться своими мыслями о том, почему так много вакансий в области Data Science акцентируют внимание на ускорении и конвертации нейронных сетей. Раньше достаточно было владеть навыками обучения моделей и знанием теории Байеса, но сейчас ко всему прочему нужно уметь оптимизировать прод.

Зачем это надо ?

1️⃣ Экономия ресурсов: Ускорение модели экономит вычислительные затраты. Быстрая сеть = больше батчей на GPU = экономия денег. Мы можем улучшить производительность уже существующих моделей без потери точности, используя фьюзинг, конвертацию и смену бэкенда.

2️⃣ Realtime обработка: в Real Time Bidding аукционах, в областях AR/VR, автономных роботов и других, решения нужно принимать в миллисекундах. Быстрый инференс обеспечивает эффективность в таких задачах, где каждая миллисекунда имеет значение.

3️⃣ Безопасность и локальное использование: с ужесточением правил приватности данных пользователей и растущей заботой о безопасности, помещение модели все чаще деплоят Embedded на девайс пользователя. Это не только уменьшает риски утечки данных, но и сокращает время ожидания для пользователей. При этом тяжеловемные модели нужно квантизировать, чтобы их инференс помещался в ограничения телефона или планшета.

#mlops

🗺 Карта навыков ML инженера.

Yandex составил карту самых часто встречающихся запросов по ML на Stack Overflow, начиная с 2010 года. Навыками считали теги вопросов на Stack Overflow, популярностью навыков — число запросов, на которые Поиск отвечал страницами с соответствующими тегами. Размер навыка на карте соответствует числу посвящённых ему поисковых запросов. Теги объединены в кластеры.

Сохраняем к себе!

#practices

🖥 Как отслеживать среду выполнения Docker с помощью Prometheus и Grafana

Среда выполнения Docker отслеживается для определения производительности и поведения контейнеров и хост-систем с помощью Prometheus и Grafana.

▪Docker для запуска контейнеров.
▪Prometheus для сбора метрик среды Docker.
▪Grafana для визуализации метрик, собранных с Prometheus.

#devops

Шпаргалки по ChatGPT и список из 30+ приложений полезных в быту и по хозяйству

Из доменов
- диалоговые ассистенты
- CustDev
- Productivity
- Image & Video
- Sales
- Marketing
- Плагины для ChatGPT
- Трудоустройство

Также много шпор по промпт-инжинирингу

#practices
#llm

Контрольный список практик работы с Docker

Traffic Attribution

При проведении рекламной кампнии, когда мы продвигаем продукт на разных площадках, нам важно знать откуда приходит больше всего пользователей, и какой KPI на каждой из них. Чтобы это оценить, есть 2 подхода:

1️⃣ bottom-up – когда мы физически можем трекать, какой пользователь откуда пришёл, в явном виде посчитать ROI на каждый источник (Return On Investment, во сколько раз ты получил больше денег, чем потратил). Здесь пригождается разметка для более точной сегментации аудитории.

2️⃣ top-down – когда мы физически не можем трекать (например, мы не знаем, кто видел нашу наружную рекламу или кто просмотрел наш TikTok). Здесь применяется Marketing Mix Modelling. Т.е. здесь нам нужно понять, в каком соотношении распределять бюджет по разным каналам, когда известен только общий выхлоп.

Marketing Mix Modelling
Если в двух словах, то это стат модель, которая анализирует вклад различных каналов в общий результат кампании. Она учитывает факторы, такие как бюджеты на маркетинг, экономические показатели, конкурентную среду и т. д.

Для построения такой модели есть библиотека Robyn

#adtech

Обычно, я новости не публикую, но релиз text2video от OpenAI точно заслуживает внимания

Основные архитектурные стили

Шпаргалка по архитектуре пригодится, чтобы вспомнить основные паттерны проектирования. Наиболее интересные из них на мой взгляд:

- Orchestration architecture: оркестратор, который направляет взаимодействие между сервисами. Пример оркестратора: Airflow, где мы строим направленные ациклические графы и можем управлять job'ами.

- CQRS: разделяет операции чтения и записи для хранилища данных. Также позволяет независимо их масштабировать.

- Layered (n-tier) architecture: разделяет приложение на логические слои.

- Microkernel: разделяет ядро на две части: core часть и часть, специфичную для клиента.

- Microservice: независимо развертываемые маленькие модульные сервисы (Kubernetes).

- Event-driven architecture: запись и чтение событий, часто в виде потока. В основном используется в асинхронном паттерне с использованием систем очередей (Kafka, RabbitMQ и т. д.).

#devops