🚀 Как мы съездили на Databricks Data + AI Summit в США и не разорились

Представьте: вы впервые выступаете на конференции, да ещё и на Data + AI Summit в Сан-Франциско! Это реальность для Жени Добрынина, Senior Data Engineer в Dodo Engineering.

🔹 Как всё начиналось?
🔹 Стоимость поездки: во сколько обошлось приключение?
🔹 Что нужно сделать, чтобы повторить этот опыт?

Подробности — в нашем материале от Dodo Engineering!

📌 Читать историю

#DataScience #Конференции #SanFrancisco #ДатаИнжиниринг

Как я автоматизировал деплой аналитической платформы для спортивных данных на базе нестабильного API

📌 Разбираю кейс построения отказоустойчивого пайплайна для аналитики спортивных данных на базе API dingerodds.com.

🔹 Что сделано:
✅ Обёртка с ретраями и балансировкой
✅ Деплой в Kubernetes с автоскейлингом
✅ CI/CD через GitLab
✅ Хранение данных в Parquet (MinIO)

Результат: ненадёжный источник превратился в стабильную платформу для ML и аналитики.

📖 Читать полностью: Habr

#DevOps #DataScience #Kubernetes #Automation

🚀 Сегментация клиентов методом K-Means прямо в PostgreSQL

🔹 Что внутри?
- Нормализация фичей в materialized view
- PL/PythonU + scikit-learn для работы с K-Means без выгрузки данных
- Сохранение cluster_id обратно в таблицу
- SQL-аналитика доходности кластеров

📊 Зачем?
Кастомная кластеризация на стороне БД — быстро, безопасно и без лишних движений данными.

👉 Читать разбор: habr.com/ru/companies/otus/articles/930506

#PostgreSQL #DataScience #KMeans #Аналитика

🔍 Обновление онлайн-инструмента для сравнения Excel + добавлен экспорт

Разработчик доработал свой инструмент для сравнения Excel и CSV — теперь поддерживается вывод результатов в удобном формате.

📌 Что нового:
➕ Возможность экспорта данных
➕ Сравнение без конвертации файлов
➕ Улучшенный интерфейс

💡 Зачем это нужно?
Автор, инженер данных, часто сталкивается с необходимостью проверки результатов миграции скриптов (например, из SAS в Databricks). Раньше приходилось использовать сторонние решения или писать свои скрипты, но теперь есть удобная альтернатива.

🔗 Читать подробнее на Habr

#Excel #DataScience #Инструменты