А вы знаете почему появился Clickhouse?

В какой-то момент Яндекс уперся в трудности создания быстрых отчетов для своего же продукта Яндекс Метрика. Метрика - это инструмент web-аналитики, которая собирает события в огромном количестве с сайтов - клики, переходы, открытия, скроллы страниц и т.д. Данных много и их нужно не просто хранить где-то, но и строить отчеты для пользователей по этим данным.

И до появления Clickhouse отчеты в Яндекс Метрике имели ограничения. Их было ограниченное кол-во, были заранее определены срезы и метрики, которые на них считались. Это делалось для скорости загрузки отчетов, т.к. данные заранее агрегировались, фильтровались, а значит запросы к ним выполнялись сильно быстрей чем к исходным данным событий.

НО пользователям нужна гибкость, они сами хотят строить отчеты по нужным им срезам. А чтобы дать такую возможность нужно хранить данные в исходном виде и на лету по ним уже строить отчеты без предварительной готовой агрегации.

И чтобы была возможность обрабатывать большой массив данных в аналитических запросах зародился Clickhouse - аналитическая колоночная база данных.

Все технические подробности можно посмотреть в этом видео

Привет из Дагестана!

Еще когда я был подростком, мне запомнились слова одного важного для меня человека.

Он сказал

цели перед собой нужно завышать, делать их чуть более амбициозными, тогда настоящий желаемый результат будет более досягаем.

Например, когда ты хочешь зарабатывать 150к в месяц - это твое желание, исходя из которого можно поставить созвучную цель. Добившись ее, ты крутой - зарабатываешь желаемую сумму. Но если ты исходя из желания зарабатывать 150к поставишь более амбициозную - цель зарабатывать 200к, твое планирование и выполнение шагов по достижению этой цели может привести тебя к 200к. Получается, хотел 150к, поставил цель выше, реализовал ее и получаешь 200к 😃

Такое завышение цели еще объясняет выигрыш в том, что даже если ты не смог достичь амбициозной вершины и дошел до нее только частично, скажем 170к ⬅️ это все равно больше чем ты хотел изначально, а значит метод постановки более амбициозной цели сработал)

Привожу пример в заработке, но на самом деле это можно применять в любой сфере жизни: в спорте, личном развитии, финансовом благополучии и т.д.

Я пользуюсь таким подходом и он действительно много раз срабатывал)

Думаю мысль вам понятна 😉

SQL: быстрое погружение / Уолтер Шилдс

Книга для тех, кто только начинает изучение SQL и работу с базами данных.

Скачать книгу

Недавно наткнулся на крутой материал — хэндбук по А/В‑тестам от Trisigma (это платформа для продуктовых экспериментов от Авито Тех). Очень советую посмотреть материалы, даже если с A/B не работаете часто или наоборот каждый день по несколько экспериментов запускаете.

В хэндбуке приведены живые примеры из продуктовой практики. Узнаете, как не попасться на ложные выводы, зачем нужны guardrail‑метрики, что кроется за такими штуками, как атомарный дизайн и закон Кэмпбелла. Ещё разложили по полочкам goal, proxy, debug, OEC — и вообще много всего, что реально пригодится в работе.

Короче, этот гайд будет полезен и тем, кто только начинает разбираться с экспериментами, и тем, у кого уже есть опыт, но иногда всплывают вопросы вроде «а в чём, собственно, разница между стандартной ошибкой и стандартным отклонением?». 😅

Забрать хэндбук можно бесплатно в боте @trisigma_avito_bot. И если вдруг захотите что-то уточнить или поделиться мнением — там же можно оставить фидбек

Ставьте реакции, если пост полезен 👍♥️🔥

В чем разница между Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh

Нравится статья, делюсь как обычно с вами. Есть классная историческая справка (сможете похвастаться перед коллегами или на собесах знанием истории концепций хранилищ данных 😎). Если кто-то думает, что аналитика данных и Big Data зародились когда все об этом начали в рекламе курсов кричать, то вы далеко ошибаетесь, история уходит еще в 20 век.

Ну и лаконично описаны концепции хранилищ и показаны на визуальных схемах с основными элементами. Помогает понять зачем вообще такой зоопарк систем нужен и как это все обусловлено эволюцией подходов работы с данными.

Не путать с методологиями проектирования хранилищ данных! Методология - это «как строить?» и есть классика формата Кимбалл, Инмон, есть Data Vault, Anchor Modelling.

А в статье речь про концепции управления платформами данных

Читать статью

Наш бобёр Борис! 🦫

Уверен он больше реакций наберет чем посты по аналитике 😎