Озеро для дата-склада: как мы нырнули в новые методы хранения данных и что из этого вышло

Гибкие методологии построения хранилищ данных — очень популярный тренд. Причина — возрастающая сложность корпоративных моделей данных и необходимость интеграции большого числа разнородных источников, которые включают в себя не только традиционные СУБД и плоские файлы, но и различные real-time-брокеры сообщений, внешние API и базы данных NoSQL.

Базы данных

Когда у компании десятки продуктов и сотни ML-моделей, самое дорогое — это не обучение, а разрозненность.

В VK с аудиторией 200+ млн пользователей рекомендации, поиск и реклама долго развивались параллельно. В итоге — дубли пайплайнов, разные подходы к фичам и замедление экспериментов.

Решение — собрать всё в единую Discovery-платформу.

Что внутри:
— Stream Flow — центральный слой потоковой обработки на базе YTsaurus
До 1 млн событий в секунду, микробатчинг и синхронизация real-time сигналов между продуктами.
— Единый ML-профиль пользователей
~100 млрд событий в сутки аккумулируются в общей системе хранения и обработки.
— Стандартизированный ML-цикл
Retrieval → Ranking → A/B → деплой — без зоопарка инфраструктуры в каждой команде.
— Self-service для ML-команд
Унифицированные фичи, пайплайны и инструменты запуска экспериментов.

Ключевое изменение — не просто ускорение моделей, а смена операционной модели. От набора независимых ML-решений — к платформенной архитектуре.

Результат: цикл «идея → эксперимент → метрики» сократился в 5 раз. Если раньше внедрение новой рекомендательной системы занимало до полугода, теперь — около месяца. И это уже не локальная оптимизация, а фундамент для масштабирования ML на уровне всей экосистемы.

Функции SQL для числовых типов данных

В этом видеоуроке автор подробно разбирает процесс работы с числовыми функциями и операторами SQL (ROUND, ABS, TRUNC).

00:00 Вступление
00:47 Округление в SQL (ROUND)
01:15 Получение абсолютного значения (ABS)
01:48 Усечение числа до определенного количества знаков (TRUNC)
02:35 Описание таблицы DUAL в Oracle SQL

Смотреть это видео на youtube: youtu.be/m3ZeiBxkg70

Полезные функции и операторы SQL

В этом видео автор рассматривает функции и операторы SQL, которые наиболее полезны в виду их разнообразного применения.

00:00 Вступление
00:24 Работа с полями таблиц в SQL
00:57 Создать таблицу для работы
01:09 Добавить поле в таблицу
01:34 Узнать тип поля
01:48 Переместить поле
02:22 Изменить тип поля
03:19 Переименовать поле
03:37 Удалить поле
03:58 Форматирование записей
05:55 Временные таблицы в SQL

Смотреть это видео на youtube: youtu.be/SglQ7CCkkTw

Достижение согласованности без менеджеров транзакций

Вам нужно интегрировать несколько компонентов без помощи менеджеров транзакций с поддержкой ACID (атомарность, согласованность, изоляция и долговечность)? Тогда эта статья для вас.

Базы данных

Что такое Hadoop?

01:05 Что такое Hadoop и зачем он нужен
02:13 Преимущества
03:20 Сферы применения
03:51 Для анализа озёр данных
04:29 Для обработки данных из соцсетей
04:56 Для анализа отношения к бренду
05:18 Для анализа поведения клиентов
05:52 Для обеспечения безопасности
06:27 Для анализа геоданных
06:55 Для анализа данных из IoT
07:32 В качестве корпоративного центра данных
08:07 Примеры применения Hadoop в разных сферах
08:25 Как быстро внедрить
09:14 Когда лучше использовать Hadoop

Смотреть это видео на youtube: youtu.be/Gv7r_ftUl6A

Гарантии видимости в распределённых хранилищах

Часто оказывается так, что в процессе упрощения и структурирования на самом видном месте обнаруживаются скелеты древних динозавров, присыпанные мутными формулировками так, что долгие годы их никто не замечает. Если вы хотите окончательно разобраться в уровнях изоляции транзакций и гарантиях порядка операций, то изучите эту статью.

Базы данных

Крыша течет, склад зальет через пару часов. В руках - только Excel-файл. Какие товары спасать? 🥲

Есть список: наименования, количество на складе, закупочная цена. Что выносить в первую очередь? Те, у кого цена выше? Или где больше штук? ⁉️

Без навыков работы с данными тут не разобраться. Нужно просто знать, как посчитать общую стоимость запасов и выделить самое ценное.

❇️ Ребята из Merion Academy (того самого YouTube-канала про IT) на бесплатных вводных уроках по аналитике данных как раз учат решать такие задачи.

Что внутри:
✔️ Разбираем, кто такой аналитик и зачем он нужен бизнесу
✔️ Решаем практическую задачу "Спасаем склад" с реальными цифрами в Excel
✔️ Закрепляем знания тестом

➡️ Запишись на бесплатные вводные уроки

Попробуй аналитику в деле - на реальной задаче, а не в теории.

Debezium в действии: сбор и синхронизация отчётной базы данных

Автор этой статьи занимается разработкой фронтального приложения для сотрудников банка, в котором они смогут в одном окне видеть всю необходимую информацию, хранящуюся в трёх отдельных базах данных. Задача — отобразить пользователю общую выборку данных, которые хранятся физически в отдельных кластерах БД.

Базы данных

Индексы в PostgreSQL

В этом ролике автор говорит о проблемах производительности в PostgreSQL. Вы разберете как устроены таблицы и сами базы данных, как работает дефрагментация данных, что такое и как работают индексы, какие виды существуют и для чего их используют. Без всех этих знаний невозможно полноценно заниматься оптимизацией запросов в PostgreSQL.

00:00 Вступление
01:19 Индексы в SQL
02:22 Устройство базы данных в PostgreSQL
04:35 Устройство таблиц
05:16 Страницы и строки таблиц
07:28 FSM и команда VACUUM
11:34 Проблема фрагментации данных в PostgreSQL
15:32 Оптимизация выборки записей
19:35 Обзор видов индексов
20:20 Методы сканирования

Смотреть это видео на youtube: youtu.be/lAWQNcAEiKw