Якщо ви працюєте в аналітикі, то ви майже точно працюєте із SQL. Якщо ні — то ви або ще не працюєте, або вже не працюєте.

SQL — дуже класна мова, тому що навіть зі знанням базового синтаксису ви вже можете отримувати результати від її використання. З часом, заглиблюючись у неї, ви починаєте відкривати для себе новий синтаксис і техніки, які роблять вашу роботу ще потужнішою.

Я зібрав для вас інфографіку з моїми улюбленими техніками в SQL:

🔷 WHERE 1=1
🔷 SQL змінні в CTE
🔷 QUALIFY замість підзапитів
🔷 LATERAL views
🔷 LIST_AGG / ARRAY_AGG
🔷 Операції з множинами

Зберігайте картинку та поширюйте із колегами! ♻️
А також пишіть у коментарях ваші улюблені техніки.

#oleg_agapov

інфографіка у гарній якості

Останній час, у нас в спільноті
======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів
FaceBook - загальна група в Facebook
Twitter (X) - канал в X (Twitter)
======
з'являються дуже багато питань, з приводу інфраструктури і хтось рекомендує одну БД, хтось іншу, десь йдуть розмови які хмари краще, які інструменти візуалізації ліпші і тд.

Але, це все інструменти і на мою думку, оця фраза зі статті
🔗Основи, а не яскраві інструменти
Описує прям всю суть, як потрібно розвиватись і куди розвиватись

Пам'ятайте, що у швидкоплинному світі інженерії даних мова йде не про новітні інструменти чи програмне забезпечення. Йдеться про вічні принципи, які лежать в їх основі

Як на мене, це просто топчик 🤩
Можу сказати, що на своєму досвіді по навчанню дуже часто стикався, що на перших потугах, в тебе 100500 інструментів, мов, сервісів і тд, і ти не можеш зрозуміти, з чого ж почати. Ця стаття якраз розкриває підхід, котрого я притримуюсь останні роки.

Не важливо, який зараз в топі, зараз в топі Snowflake, BigQuery, Databricks, Athena - але це виключно розподіленні БД (MPP DB).
Знаючи, як працює хоча б одна + розуміння як вцілому це має працювати, ви спокійно зможете працювати і з іншим інструментом.
Сьогодні це Tableau, PowerBI - інструменти для візуалізації даних, завтра стане щось інше, але головний концепт вони використовують один і потрібно розуміти саме його.

Тому не розпилюйтесь вивчайте основи🤗

Інструменти - це лише початок
Ваша здатність ефективно ділитися інсайтами може перетворити дані на дії та рішення, подолавши розрив між цифрами та реальним впливом.

Я іноді спілкуюсь із підписниками, котрі бажають перейти з дата аналітиків в аналітикс інженери. І майже всі на моє питання "А чому?" відповідали, що хочуть просто писати SQL у dbt.

Проблема в тому, що це тільки верхівка айсберга. Окрім написання SQL, аналітикс-інженери повинні:

- спілкуватися із бізнес-стейкхолдерами
- проєктувати та розробляти дата-моделі
- підтримувати дата-інфраструктуру (сховище, ETL)
- підтримувати та навчати користувачів ваших моделей

Тому так, з одного боку тут трохи менше класичного аналізу, проте з'являється набагато більше інженерії окрім "написання SQL у dbt".

#oleg_agapov

======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів
FaceBook - загальна група в Facebook
Twitter (X) - канал в X (Twitter)
======

📈 А ви знали, що у 2025 році обсяг даних у світі сягне 181 зетабайта? Це в 90+ разів більше, ніж у 2010, коли цей показник становив лише 2 зетабайти.

Тож, як з мільйонів рядків даних отримати зрозумілі рішення?

Щоб масштабувати бізнес-аналітику, оптимізувати роботу з даними та покращити ефективність ML-моделей — необхідно вміти обробляти та аналізувати великі дані, а з цим допоможе курс «Основи обробки та аналітики Big Data» від robot_dreams.

За 24 заняття ви:

📌 сформуєте цілісне бачення архітектури масштабованих дата-систем
📌 навчитеся збирати, трансформувати й валідувати дані з різних джерел
📌 опануєте Spark, Kafka, dbt, Airflow, Snowflake, Athena, Power BI
📌 автоматизуєте пайплайни та налаштуєте ETL/ELT-процеси
📌 побудуєте власний data pipeline

Лектор: Денис Кулемза — Senior Data Engineer в Intellias, понад 5 років досвіду роботи з Big Data, оптимізував процеси обробки великих даних, будував сховища, створював ETL-процеси.

Старт: 30 червня

Деталі, програма та реєстрація ⬅️

Зараз на роботі йде повним ходом міграція, переїзд.
Що це таке:

Уявіть, що ви якесь підприємство, котре продає товари і ці товари у вас зберігаються на складі. І от настав день і вам потрібно переїхати на інший склад. Тобто спочатку вам потрібно перевірити що у вас є на теперешньому складі, і в момент переїзду бути впевненим, що всі товари переїхали в тій кількості скільки і було, ви не взяли чогось лишнього і ніякі товари не зіпсувались.

В нашому випадку, товар це дані і ми їх будемо перевозити🤞
Різниця тільки в тому, що наш новий склад має іншу структуру і потрібно переробити дані під нову структуру🥲

В цілому я б назвав цей процес як DQAF - Data Quality Assessment Framework або система оцінка якості даних.

І натрапив на цікаву статтю де розкриваються всі аспекти якості даних, рекомендасьойон
🔗DataQuality що це таке і чому це важливо

А як ви відноситесь до DataQuality/ Точності даних? можемо побалакати на цю тему в наших групах

======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів
FaceBook - загальна група в Facebook
Twitter (X) - канал в X (Twitter)
======


#data-life-ua

Як ви всі бачите, зараз з'явився великий попит на AI-асистентів, LLM, NLP, генеративний ШІ, як то кажуть ML та нейроні мережі це не вже "торт".

Мені дуже цікава ця тема, бо бачу там напрямок для свого зростання але те що читаю про всі ці напрямки і звучить це все прикольно, але як розгортати та навчати такі моделі, зовсім не зрозуміло.

Люблю спочатку розібратись в питанні, а потім вже його імплементувати десь в роботі. Бо для мене це завжди біль, коли аналітик хоче впровадити якесь "машинне навчання" але при цьому не розуміє, що там під копотом звичайна ARIMA і взагалі людині всеодно, головне щоб прогноз був точний... але він точний сьогодні, а завтра ні, тому що немає розуміння як воно працює.

Можливо я скептик, але кажу як є, тому завтра буде анонс мітапа, нажаль онлайн, але в наш час гадаю будь-який мітап - це вже дуже круто, що він стається🇺🇦🦾
Хочу на нього сходить і от вам рекомендую)

А як ви відноситесь до інтеграції таких речей?
Поспілкуємось
======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів
FaceBook - загальна група в Facebook
Twitter (X) - канал в X (Twitter)
======


#data-life-ua

У світі даних є багато можливостей для карʼєри.

Є багато посад та багато варіантів відшукати саме те, що може сподобатися саме вам.

Як на мене, ваша кар'єра може розвиватися за кількома осями.

🔹 Перша вісь: технології або бізнес.

Ви віддаєте перевагу створенню дата пайплайнів та систем чи аналізу даних та презентації їх бізнес-стейкхолдерам?

🔹 Друга вісь: універсал або спеціаліст.

Ви б краще оволоділи однією чи двома конкретними областями, чи розвинули ширші знання у декількох сферах даних?

🔹 Нарешті, існують три основні кластери:
→ Інженерія
→ Аналітика
→ Менеджмент

Якщо ви на початку своєї кар'єри, перед вами відкриваються широкі можливості. Та навіть якщо ви досвідчений професіонал, все одно є багато шляхів для зростання.

#oleg_agapov

Нещодавно в нас спільноті піднялось питання про дату в Excel
Так, може здатись, що Excel це вже в минулому чи це не той інструмент, котрим потрібно користуватись для аналізу.
Скажу так, це все ще має на життя і я їм також користуюсь, для невеличкого аналізу.

Але питання не за Excel, а за дату, чому ж вона так формується, чому 1 == 1900-01-01

Більше детально я описав це в статті
🔗Як формується дата в Excel

А якщо стисло, умовно в нас є дві архітектури часо рахування
1. 1900 Date System - це основна архітектура, котрою користується Microsoft. Без технічних деталей, вона має на меті, що початок часу починається з 1900-01-01 00:00:00.000 і в свою чергу дорівнює 1.
Як приклад

1 це 1900-01-01
5 це 1900-01-05
32 це 1900-02-01

В статті ще пояснюю як формується час 🤓

І друга архітектура це EPOCH або UNIXTIME
Вона використовується мабуть в 90% всіх технологіях, потипу Linux, сімейства Unix, різні DB, Andorid і тд.
Суть достатньо проста, в такому випадку дата рахується в секундах подекуди і мілісекундах від 1970-01-01 00:00:00.000
Приклад

1 це 1970-01-0100:00:01.000
2 це 1970-01-0100:00:02.000
2678400 це 1970-02-01 00:00:00.000

Тому, наступного разу, коли побачите у Excel числа замість дати або якийсь набір цифр, ви вже будете знать, що це звичайна дата, котру можна перевести в людський формат.

І авжеш, якщо залишились питання, ви можете задавати питання в наших групах

======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів
FaceBook - загальна група в Facebook
Twitter (X) - канал в X (Twitter)
======

Мабуть кожний з нас стикався з таким питанням - "А як жеш почати шось вивчати" або "Хочу бути Data Analyst, але з чого почати".

Всі ці питання базуються на відсутності стратегії або чіткого плану, з чого почати, зі SQL зі DBT зі CI/CD чи Java ...
У кожного план навчання свій і універсальний план створити достатньо складно, бо людина вона така, вона унікальна. Як то кажуть скільки людей - стільки й думок, тут так само. Кожен обирає свій шлях.

Але щоб було трошки легше, як на мене, краще брати приклад з когось і от Олена Руденко - Аналітикиця, виклала відео, де вона розповідає, як вона проходить цей шлях і як вона хоче перейти з DataAnalyst >> AnalyticsEngineer.

І в одній частині відео, вона розповідає як звернулась до DE @andy_ap Андрія Панченко, котрий є owner групи Data Engineer UA

Це чудовий приклад, як комунікація допомагає українським спеціалістам ставити ще краще, тому дивіться відео, ставте лайки👍, підписуйтесь, а також доєднуйтесь до нашої спільноти, де ми також можемо вам допомогти у вирішенні профільних питань.
👇👇👇
======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів
FaceBook - загальна група в Facebook
Twitter (X) - канал в X (Twitter)
======

🔎 В роботі аналітиків та інженерів іноді виникає потреба виправити або переробити аналітичні таблиці. Зазвичай перевірка правильності нового коду проходить просто — треба лише переконатися, що потрібна частина таблиці була виправлена. Наприклад, якщо було пропущене значення, то в новій версії воно існує, або всі невірні значення тепер коректні.

Але що буде з таблицями, які залежать від тієї, яку ми виправили? Чи впевнені ми, що новий код не наробив помилок у залежних таблицях?

Для перевірки цього я розробив і використовую простий SQL-запит, який порівнює рядки в двох таблицях (зазвичай продакшен із девом).

Цей скрипт виводить рядки, які не співпадають у двох таблицях. Далі вже моя робота — зрозуміти, чи це очікувано, чи ні.

Крута особливість цього запиту в тому, що можна додати додаткові WHERE-умови, а також прибрати або додати стовпчики до SELECT.

Код можна подивитись тут.

#oleg_agapov

Обираємо дату коли буде святкуватись День Аналітика
https://dou.ua/forums/topic/55007/

Мені більше 11.11. сподобалось🤗

Мабуть потрібно і для DE вже обрати🧐

Можемо пофлудить на цю тему в наших групах
======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів
FaceBook - загальна група в Facebook
Twitter (X) - канал в X (Twitter)
======

🚀 Привіт, друзі!
Хочу ще раз підкреслити: у наших спільнотах ви можете отримати найкращий досвід і підтримку від фахівців у вирішенні будь-яких питань.

Свіжий приклад: @alina_kkara (Project Manager) звернулася до мене за допомогою з PowerBI. Як вона сказала: «Там буквально пару питань…» 😊

Взагалі я з PowerBI вже не працюю, нууу, роки так 3-4, можливо якісь точкові серверні налаштування можу зробить, звіти вже давно не будую, але як то кажуть досвід не проп'єш🫠

Але справа не лише в BI. Аліна співпрацює з дорадчими органами при міністерстві, один із яких займається спрощенням процесу усиновлення дітей. Золота людина, правда? 😱

І результат вражає: дашборд, який Аліна зробила власноруч, сьогодні офіційно відображається на сайті Міністерства соціальної політики України 👉 посилання

А ось її історія

Якщо дуже коротко: вагітність – війна – народження доньки – депресія – і чітке розуміння, що я хочу працювати над соціально важливим проєктом. Я постійно про це думала й зовсім не хотіла повертатися на попередній проєкт, пов’язаний з архаїчним ERP (без образ, я й досі люблю команду!).

Потім – кава з подругою й її новина, що вона part-time залучилась до новоствореного органу з дуже довгою назвою – Координаційного центру з розвитку сімейного виховання та догляду дітей. І тут мене осяяло: я теж маю їм допомагати!

Вони не шукали PM, але я напросилась на зустріч із CDTO і пояснила, що я універсальний солдат, готова підхопити все, що треба. І досі отримую експериментальні задачі – іноді ІТ-шні, іноді зовсім ні. Одна з них була: “Слухай, а не хочеш спробувати навчитися й створити отаку борду?”. А я ж по життю рідко кажу “ні”.

з Сашком маємо спільну подругу вона нас і звела в цей міцний союз 😄 - де Сашко сумлінно терпів всі мої пласкі жарти і затупи в стилі "день витратила на те щоб зрозуміти що треба натискати cntrl щоб кнопки спрацювали"

Тому:
* Долучайтесь до наших груп
* Задавайте питання — дурних питань не буває
* Отримуйте підтримку та нові знання

Ми завжди поруч і готові допомогти 🤗

======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів
FaceBook - загальна група в Facebook
Twitter (X) - канал в X (Twitter)
======

Зараз проходжу тему на англійській прокрастинація і випадково натрапив на ось такий цікавий сайт musicforprogramming.net, де зібрана музика для концентрації.

Коли послухав пару добірок, здалося, що це якийсь білий шум чи сірий (чи коричневий💩😝).
Але як пишуть про цей сайт, самі розробники

we have found that the most compelling music for sustained concentration tends to contain a mixture of the following:

UA
ми виявили, що найпривабливіша музика для тривалої концентрації, як правило, містить поєднання таких елементів:

і перелік цих тем:

Noise
Drones
Arpeggios
Atmospheres
Field Recordings
Arrhythmic Textures
Vagueness (Hypnagogia)
Microtones / Dissonance
Detail / Finery / Patterns
Awesome / Daunting / Foreboding
Vast / Transcendental / Meditative

Drones - канеша, таке собі🙈

І до чого це я, багато з ким спілкувався і люди кажуть, що їм музика заважає сконцентруватись, кажуть якщо там ще є слова, то для них це дуже важко, починають більше співать ніж міркувати над задачею.

Мені, навпаки, якщо потрібно зібратись, відкласти прокрастенацію, сфокусуватись, то потрібна музика, причому будь-яка.
Коли увімкнув добірку з цього сайту, спочатку, як і казав, було не зрозуміло, але згодом, реально, ти починаєш абстрогуватись від зовнішнього світу і починаєш фокусуватись на конкретній задачі.

А як ви концентруєтесь?
Можемо пофлудить на цю тему в наших групах🤗
======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів
FaceBook - загальна група в Facebook
Twitter (X) - канал в X (Twitter)
======

Дивлюсь Amazon лежить, піду і я полежу 😆
Downdetector.com

User reports indicate issues at Amazon Web Services (AWS) in the US-East-1 region. These problems are impacting multiple services that depend on AWS infrastructure. We’re monitoring the situation: check your local Downdetector site for the latest updates.

А як у вас працює інфраструктура ?

Можемо пофлудить на цю тему в наших групах🤗
======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів
FaceBook - загальна група в Facebook
Twitter (X) - канал в X (Twitter)
======

🐍 Python — мова, якою створюються більшість AI-рішень

Її обирають за простий синтаксис та сильні бібліотеки для аналізу й машинного навчання. Саме тому Python став стандартом у Data Science та роботі зі штучним інтелектом.

Щоб стати фахівцем, який вміє збирати, обробляти, аналізувати великі дані та будувати ML-моделі — опануйте Python та його бібліотеки на курсі «Data Science with Python» від robot_dreams.

За 17 занять ви навчитеся:
⠀
➔ аналізувати дані за допомогою бібліотек Python — Pandas, NumPy, Matplotlib, Seaborn та інших
➔ запускати A/B-тестування та валідацію гіпотез, відбирати ознаки та будувати моделі Machine Learning
➔ оцінювати якість роботи створених алгоритмів
➔ будувати дерева рішень та ансамблі для завдань класифікації та прогнозування

Лекторка: Олександра Кардаш, Senior Software Engineer у Google🔎

⚡️До речі, до 30 листопада у robot_dreams знижка −50% на будь-які курси. Подати заявку на участь у акції можна тут 🔗

Зараз стало трошки важче щось писати, прокрастинація не відпускає, але набираємось сил і просимо її дозволити щось робить, далі🥲
Обіцяю, з НР будуть регулярні статті, та буде трошки більше додаткової активності в групах, про це буде ще окремий пост...

А тепер трошки про EXCEL, існує багато жартів, як на цій програмі побудована вся фінансова система світу, як люди працюють без мишки в ньому і тд.

Але, по факту, по причині дуууже низького порогу входу в цю програму, люди відразу обирають її. Це не погано, бо на мою думку, для кожних етапів розвитку компанії чи будь-якого підприємництва, вам не завжди потрібно, з першого дня мати якийсь кластер MPP DB, DBT, PowerBI, AWS S3, GCP BigQuery і ще кучу всяких інструментів, котрі використовуються вже у великих компаніях, де в цьому є реальна потреба, гадаю якась шаурмеша була б і в захваті мати такі інстременти ...🤡

Інколи буває таке, що відбувається зворотна ситуація, коли великі компанії, проекти, нехтують важливістю зберігання та обробки даних, а також безпекою і все це роблять в EXCEL-чику.

От ми і маємо статтю на такий випадок
🔗Excel — найнебезпечніше програмне забезпечення на планеті

У розпал епідемії ковіду Національна служба охорони здоров’я Великої Британії втратила результати тестування на ковід у процесі конвертації файлів з формату CSV у XLS. Були втрачені дані про 15 841 пацієнта:

Ви ж сказали, що потрібно в Excel віддати дані, я і віддав😆

У 2023 році австрійська політична партія SPÖ через помилку в Excel оголосила переможцем на виборах не того кандидата.

А в деяких наших сусідах і не потрібен Excel там вже наперед знають "обраного"🤡

Коли Barclays викуповував активи збанкрутілого банку Lehman Brothers, вони приховали 179 рядків з непотрібними активами в таблиці Excel, але не видалили їх. При роздрукуванні документа в PDF ці рядки були надруковані — і суд зобов’язав Barclays викупити в тому числі ці 179 збиткових активів.

CTRL+9

Уявіть, скільки у світі таких великих помилок вже відбулось, а якась частина ще відбудеться, по причині не правильно організованого процесу.
Тому, підбирайте правильні інстременти для роботи з даними, не робіть все за допомогою одного інструменту, намагайтесь будувать процеси, а не красиві формули, запити, UDF і тд. Все має буть системно і на все має бути перевірки та тести.

А що ви думаєте на цю тему?
Можемо пофлудить на цю тему в наших групах🤗
======
Data Analysis UA - група аналітиків даних
Data Engineer UA - група інженерів
FaceBook - загальна група в Facebook
Twitter (X) - канал в X (Twitter)
======

📊 Data Scientist — фахівець, який знаходить закономірності в даних та створює моделі, що оптимізують процеси.

Навчитися перетворювати дані на бізнес-можливості та будувати прогнози, які працюють на практиці — можна на курсі «Data Scientist» від robot_dreams.

За 38 онлайн-занять ви навчитеся:

🔹 кодити на Python і застосовувати ООП
🔹 працювати з неструктурованими базами даних
🔹 проводити класифікацію, кластеризацію та прогнозування
🔹 автоматизувати аналіз Big Data
🔹 будувати та тренувати нейронні мережі
🔹 деплоїти моделі та контролювати їхню роботу
🔹 візуалізувати результати за допомогою Python-бібліотек і PowerBI або Excel

Лектор — Василь Лавер, Senior Data Scientist у Dell Technologies, PhD в галузі прикладної математики, який має понад 14 років досвіду в машинному навчанні, статистичному моделюванні та впровадженні ML-рішень.

Старт: 26 січня

Деталі, програма та реєстрація ⬅️

🎁 До 31 грудня у robot_dreams можна придбати Новорічні сертифікати, щоб навчатися у 2026 році зі знижкою -35%