🚀 Масштабирование AI/ML-инфраструктуры в Uber: 8 лет эволюции

Компания Uber уже 8 лет активно применяет технологии машинного обучения (ML), начиная с 2016 года, когда первые сложные ML-модели внедрялись для подбора водителей, пассажиров и ценообразования. Сегодня глубокое обучение стало основой критически важных сервисов, а генеративный ИИ открывает новые горизонты.

🔹 Что изменилось за эти годы?
- Переход от rule-based моделей к нейросетям и генеративным AI-решениям.
- Развитие инфраструктуры: CPU/GPU, программные библиотеки, фреймворки распределённого обучения.
- Усовершенствование платформы Michelangelo для полного цикла работы с моделями.

💡 Цель: Гибкое масштабирование для растущих запросов ИИ и ML в реальном времени.

📌 Узнайте подробности в статье на Habr.

#AI #ML #Uber #Технологии #DataScience

📊 Matrix Reloaded: зачем дата-сайентисту линейная алгебра?

🔹 Векторы, матрицы и собственные числа — не просто абстракции, а ключевые инструменты для понимания работы ML-моделей.
🔹 В статье Марии Жаровой (ML-инженер Wildberries) — без сложных доказательств, только наглядные примеры и практические кейсы.
🔹 Узнайте, как линейная алгебра помогает "заглянуть внутрь" алгоритмов и интерпретировать их результаты.

📌 Читать статью: Habr

#DataScience #MachineLearning #ЛинейнаяАлгебра #Wildberries

🚀 Canvas for Data as a Product: структура и примеры

📌 Статья подробно разбирает обновлённый шаблон Canvas для продуктов, основанных на данных. В основе — идея профессора Леонардо Карвало, дополненная практическими советами.

🔵 Как устроен Canvas?
- Разделён на цветные зоны, каждая отражает ключевую область (клиенты, данные, ценность и т. д.).
- Блоки пронумерованы — от определения проблемы до метрик успеха.
- В каждом: пояснение, наводящие вопросы и примеры заполнения.

💡 Зачем это нужно?
Помогает структурировать работу с data-продуктами: от идеи до реализации, минимизируя риски и фокусируясь на реальной пользе.

👉 Читать подробнее с примерами

#DataScience #ProductManagement #Аналитика

🏆 Как я оптимизировал обработку спортивных коэффициентов

📍 Работа с сырыми спортивными коэффициентами — это как пытаться собрать модель корабля из разбросанных деталей конструктора. Без инструкции. И с половиной лишних запчастей.

🔗 Читать на Habr

#Аналитика #Прогнозирование #Спорт #DataScience

🚀 Фабрика данных 2030: от GAN-конвейеров до каузальных сетей — кто отвечает за рождение синтетической реальности?

<img src="https://habrastorage.org/getpro/habr/uploadfiles/ae2/f76/c10/ae2f76c106878eec3a518c78a4b58801.PNG" />

🌐 **Синтетические данные — новое топливо цифровой экономики**
Ещё недавно данные называли "новой нефтью", но к 2030 году всё изменилось. Синтетические данные стали основой для финансов, медицины и IoT, позволяя обходить юридические барьеры и ускорять разработку ИИ.

🔍 **Что внутри:**
✔️ **GAN-ы нового поколения** — соблюдают приватность и генерируют реалистичные данные
✔️ **Диффузионные модели** — находят сигнал в шуме лучше биржевых алгоритмов
✔️ **Каузальные графы** — учат базы данных "понимать" бизнес-логику
✔️ **SCM и агентные симуляции** — как искусственная реальность помогает предсказывать будущее

💡 **Вывод:**
Синтетические данные больше не просто копия реальности — это *песочница для инноваций*. Хотите заглянуть в будущее генеративного ИИ и ускорить свои ML-проекты?

📌 [**Читать статью на Хабре**](https://habr.com/ru/articles/930132/?utmcampaign=930132&utmsource=habrahabr&utmmedium=rss)

#ИИ #DataScience #GAN #ГенеративныеМодели #Будущее

📊 15 лучших библиотек для визуализации данных

Визуализация данных — это не просто красивые графики, а мощный инструмент для анализа и принятия решений.

В этой статье собраны ключевые библиотеки, которые помогут вам создавать:
✔ Быстрые и простые диаграммы
✔ Сложные интерактивные дашборды
✔ Профессиональные отчеты

У каждого инструмента — свои сильные стороны. Подберете идеальный вариант под ваш проект!

🔗 Читать подробный обзор на Habr

#Разработка #DataScience #Программирование #ВизуализацияДанных

🚀 Как мы съездили на Databricks Data + AI Summit в США и не разорились

Представьте: вы впервые выступаете на конференции, да ещё и на Data + AI Summit в Сан-Франциско! Это реальность для Жени Добрынина, Senior Data Engineer в Dodo Engineering.

🔹 Как всё начиналось?
🔹 Стоимость поездки: во сколько обошлось приключение?
🔹 Что нужно сделать, чтобы повторить этот опыт?

Подробности — в нашем материале от Dodo Engineering!

📌 Читать историю

#DataScience #Конференции #SanFrancisco #ДатаИнжиниринг

Как я автоматизировал деплой аналитической платформы для спортивных данных на базе нестабильного API

📌 Разбираю кейс построения отказоустойчивого пайплайна для аналитики спортивных данных на базе API dingerodds.com.

🔹 Что сделано:
✅ Обёртка с ретраями и балансировкой
✅ Деплой в Kubernetes с автоскейлингом
✅ CI/CD через GitLab
✅ Хранение данных в Parquet (MinIO)

Результат: ненадёжный источник превратился в стабильную платформу для ML и аналитики.

📖 Читать полностью: Habr

#DevOps #DataScience #Kubernetes #Automation

🚀 Сегментация клиентов методом K-Means прямо в PostgreSQL

🔹 Что внутри?
- Нормализация фичей в materialized view
- PL/PythonU + scikit-learn для работы с K-Means без выгрузки данных
- Сохранение cluster_id обратно в таблицу
- SQL-аналитика доходности кластеров

📊 Зачем?
Кастомная кластеризация на стороне БД — быстро, безопасно и без лишних движений данными.

👉 Читать разбор: habr.com/ru/companies/otus/articles/930506

#PostgreSQL #DataScience #KMeans #Аналитика

🔍 Обновление онлайн-инструмента для сравнения Excel + добавлен экспорт

Разработчик доработал свой инструмент для сравнения Excel и CSV — теперь поддерживается вывод результатов в удобном формате.

📌 Что нового:
➕ Возможность экспорта данных
➕ Сравнение без конвертации файлов
➕ Улучшенный интерфейс

💡 Зачем это нужно?
Автор, инженер данных, часто сталкивается с необходимостью проверки результатов миграции скриптов (например, из SAS в Databricks). Раньше приходилось использовать сторонние решения или писать свои скрипты, но теперь есть удобная альтернатива.

🔗 Читать подробнее на Habr

#Excel #DataScience #Инструменты