Приклад оптимізації аналітичних рішень від Meta
Детерміністична вибірка — потужний інструмент для масштабованої аналітики: дозволяє обробляти менше даних заради часу та ресурсів, але зберігати релевантність аналітичних висновків.
Важливо мати чіткий дизайн вибірки, щоб забезпечити консистентність.
Завжди слід оцінювати, чи підходить вибірка для задачі: більшість дашбордів і аналітики може працювати із вибіркою, але для фінальних рішень чи офіційних експериментів — потрібні повні дані.
@BigQuery
Детерміністична вибірка — потужний інструмент для масштабованої аналітики: дозволяє обробляти менше даних заради часу та ресурсів, але зберігати релевантність аналітичних висновків.
Важливо мати чіткий дизайн вибірки, щоб забезпечити консистентність.
Завжди слід оцінювати, чи підходить вибірка для задачі: більшість дашбордів і аналітики може працювати із вибіркою, але для фінальних рішень чи офіційних експериментів — потрібні повні дані.
@BigQuery
Google відкриває реєстрацію на програму "Розвивайте кар’єру із Google Cloud"
Новий потік програми стартує 29 вересня 2025 року та націлений на Junior та Middle розробників, IT-інженерів, студентів IT-спеціальностей і точних наук та всіх, кому цікаві хмарні технології.
Учасники програми отримають:
✔️ 60 днів безкоштовного доступу до платформи Google Cloud Skills Boost.
✔️ Доступ до воркшопів від експертів Google Сloud та лідерів української ІТ - індустрії.
✔️ Брендовані нагороди від Google за здобуті бейджі навичок.
✔️ Безкоштовні ваучери на сертифікаційний іспит Google Cloud (навіть, якщо ви отримували його раніше).
🔗 Реєстрація на програму за посиланням!
Новий потік програми стартує 29 вересня 2025 року та націлений на Junior та Middle розробників, IT-інженерів, студентів IT-спеціальностей і точних наук та всіх, кому цікаві хмарні технології.
Учасники програми отримають:
✔️ 60 днів безкоштовного доступу до платформи Google Cloud Skills Boost.
✔️ Доступ до воркшопів від експертів Google Сloud та лідерів української ІТ - індустрії.
✔️ Брендовані нагороди від Google за здобуті бейджі навичок.
✔️ Безкоштовні ваучери на сертифікаційний іспит Google Cloud (навіть, якщо ви отримували його раніше).
🔗 Реєстрація на програму за посиланням!
Цікава стаття про найм аналітиків
Автор стверджує, що вже у 2025‑му компанії повинні переглянути підхід до найму Data Analysts, якщо їхня основна робота — це написання SQL‑запитів і візуалізація даних. Якщо аналітики лише транслюють запити бізнесу в дані та звіти, але інфраструктура чи дані погано організовані, додаткові ресурси (найм) не дуже допоможуть.
Рекомендації автора:
- Інвестувати в Data Engineering: налаштувати чисті, організовані системи із грамотним потоком даних та зберіганням, щоб дані були доступні й готові до аналізу,
- Використовувати AI‑інструменти там, де це доречно, щоб зменшити рутинну роботу аналітиків: автогенерація SQL, автоматичні звіти, шаблони тощо. Але це працюватиме лише з правильно налаштованими даними й інфраструктурою,
- Змінити роль Data Analyst таким чином, щоб більше часу йшло на бізнес‑аналіз, інсайти, взаємодію з іншими відділами, а не просто на генерацію звітів,
- Підтримувати співвідношення Data Analyst : Data Engineer ≈ 1:1 або принаймні таке, яке забезпечує можливість синергування.
@BigQuery
Автор стверджує, що вже у 2025‑му компанії повинні переглянути підхід до найму Data Analysts, якщо їхня основна робота — це написання SQL‑запитів і візуалізація даних. Якщо аналітики лише транслюють запити бізнесу в дані та звіти, але інфраструктура чи дані погано організовані, додаткові ресурси (найм) не дуже допоможуть.
Рекомендації автора:
- Інвестувати в Data Engineering: налаштувати чисті, організовані системи із грамотним потоком даних та зберіганням, щоб дані були доступні й готові до аналізу,
- Використовувати AI‑інструменти там, де це доречно, щоб зменшити рутинну роботу аналітиків: автогенерація SQL, автоматичні звіти, шаблони тощо. Але це працюватиме лише з правильно налаштованими даними й інфраструктурою,
- Змінити роль Data Analyst таким чином, щоб більше часу йшло на бізнес‑аналіз, інсайти, взаємодію з іншими відділами, а не просто на генерацію звітів,
- Підтримувати співвідношення Data Analyst : Data Engineer ≈ 1:1 або принаймні таке, яке забезпечує можливість синергування.
@BigQuery
🐍 Якщо Excel вже не тягне, а рутина поглинає години, які можна було б присвятити стратегічним завданням → час прокачати аналіз даних та знайти нові інструменти.
Навчіться ухвалювати рішення на основі повної, чистої та оновлюваної аналітики без залучення технічної команди — на курсі «Python для аналітиків» від robot_dreams.
Протягом 16 занять ви:
→ опануєте Python та ключові бібліотеки для роботи з даними: NumPy, Pandas, Matplotlib, Seaborn і Plotly
→ навчитеся створювати зрозумілі та інтерактивні візуалізації
→ збиратимете дані з API та вебу, працюватимете із зовнішніми джерелами
→ опануєте базову статистику, перевірку гіпотез і побудову прогнозів у scikit-learn та statsmodels
→ автоматизуєте збір, обробку та аналіз даних — без залучення розробників
📊 Наприкінці курсу напишете власну прогнозну модель та оформите аналітичний звіт, які додасте в портфоліо
Лекторка — Анна Шепелєва, Senior Data Analyst у Brainstack з 10+ роками досвіду в аналітиці даних.
Старт: 7 жовтня
Деталі, програма та реєстрація ⬅️
Навчіться ухвалювати рішення на основі повної, чистої та оновлюваної аналітики без залучення технічної команди — на курсі «Python для аналітиків» від robot_dreams.
Протягом 16 занять ви:
→ опануєте Python та ключові бібліотеки для роботи з даними: NumPy, Pandas, Matplotlib, Seaborn і Plotly
→ навчитеся створювати зрозумілі та інтерактивні візуалізації
→ збиратимете дані з API та вебу, працюватимете із зовнішніми джерелами
→ опануєте базову статистику, перевірку гіпотез і побудову прогнозів у scikit-learn та statsmodels
→ автоматизуєте збір, обробку та аналіз даних — без залучення розробників
📊 Наприкінці курсу напишете власну прогнозну модель та оформите аналітичний звіт, які додасте в портфоліо
Лекторка — Анна Шепелєва, Senior Data Analyst у Brainstack з 10+ роками досвіду в аналітиці даних.
Старт: 7 жовтня
Деталі, програма та реєстрація ⬅️
Інтеграція Earth Engine і BigQuery відкриває новий підхід до аналізу просторових даних.
Google зробив Earth Engine у BigQuery загальнодоступним (General Availability). Додали нову можливість у BigQuery Studio — візуалізацію геопросторових даних (географічні запити) безпосередньо на карті. Головна ідея: аналітики, які вже працюють із табличними даними в BigQuery, тепер можуть поєднувати їх із растровими шарами (наприклад, кліматичні, топографічні, змінювання земель) без складного ETL‑процесу чи окремої обробки в Earth Engine.
@BigQuery
Google зробив Earth Engine у BigQuery загальнодоступним (General Availability). Додали нову можливість у BigQuery Studio — візуалізацію геопросторових даних (географічні запити) безпосередньо на карті. Головна ідея: аналітики, які вже працюють із табличними даними в BigQuery, тепер можуть поєднувати їх із растровими шарами (наприклад, кліматичні, топографічні, змінювання земель) без складного ETL‑процесу чи окремої обробки в Earth Engine.
@BigQuery
Шукаємо аналітиків в MacPaw:
- Product Analyst (Web + App),
- Product Analyst (iOS),
- Middle Data Engineer.
MacPaw - продуктова ІТ компанія, розробляє macOS/iOS-додатки, продукти якої встановлені на кожному 5-му макбуці світу.
Є можливість працювати віддалено.
@BigQuery
- Product Analyst (Web + App),
- Product Analyst (iOS),
- Middle Data Engineer.
MacPaw - продуктова ІТ компанія, розробляє macOS/iOS-додатки, продукти якої встановлені на кожному 5-му макбуці світу.
Є можливість працювати віддалено.
@BigQuery
Третій армійський корпус проводить збір і дає можливість виграти квартиру.
Збір перевірений, усі кошти йдуть Третьому армійському корпусу. Доначу сам і вас запрошую.
Щоб взяти участь, задонать від 300 грн на збір «Герої районів» за цим посиланням
Більша сума - більше шансів виграти
▫️ 300 грн — 1 шанс;
▫️ 900 грн — 3 шанси;
▫️ 3000 грн — 10 шансів.
📌 Якщо донатиш не з картки ПриватБанку, обов’язково вкажи номер телефону чи інший контакт у коментарі до донату
@BigQuery
Збір перевірений, усі кошти йдуть Третьому армійському корпусу. Доначу сам і вас запрошую.
Щоб взяти участь, задонать від 300 грн на збір «Герої районів» за цим посиланням
Більша сума - більше шансів виграти
▫️ 300 грн — 1 шанс;
▫️ 900 грн — 3 шанси;
▫️ 3000 грн — 10 шансів.
📌 Якщо донатиш не з картки ПриватБанку, обов’язково вкажи номер телефону чи інший контакт у коментарі до донату
@BigQuery
Forwarded from Beards Analytics (Andrii Osypov)
🚀 Тижневий радар: ШІ в BigQuery та нові правила Privacy
Привіт, дата-гіки! ☕️
Цей тиждень приніс важливі оновлення як у Google-стеку, так і в глобальному ландшафті аналітики. Зібрали головне з посиланнями.
🌐 Загальні тренди індустрії
• Privacy Sandbox та Cookies: Chrome продовжує оновлювати підходи до приватності. Поки індустрія адаптується до стратегії "User Choice" замість повного відключення, важливо слідкувати за офіційним таймлайном.
🔗 Джерело: The Privacy Sandbox Timeline
• Server-Side Tracking стає стандартом:
Кількість впроваджень sGTM зростає. Це вже необхідність для обходу блокувальників та покращення швидкості сайтів.
🔗 Джерело: Google Server-side Tagging Docs
• Альтернативи (Matomo & Piwik PRO): Платформи оновили свої модулі для роботи з Google Consent Mode v2, щоб відповідати вимогам Digital Markets Act (DMA).
🔗 Matomo: Matomo & Google Consent Mode v2 FAQ
🔗 Piwik PRO: Piwik PRO Consent Manager Updates
🤖 Google Екосистема: AI та BigQuery
• BigQuery Data Engineering Agent: Новий ШІ-помічник на базі Gemini, який допомагає будувати пайплайни даних "під ключ", доступний у прев'ю.
🔗 Деталі: Exploring the Data Engineering Agent in BigQuery
• GA4 ➡️ BigQuery (Recurring Jobs): Оновлений Data Transfer Service дозволяє налаштувати регулярний імпорт даних без написання скриптів.
🔗 Документація: BigQuery Data Transfer Service enhancements
• Якість даних у GA4: Система тепер чіткіше підсвічує проблеми з даними (Data Quality Icon) безпосередньо у звітах.
🔗 Довідка: GA4 Data Quality Identification
💡 Інсайт тижня
• Key Events (Ключові події): Цей термін остаточно замінив "Конверсії" в інтерфейсі GA4 для звітів. Конверсії тепер — це виключно для Google Ads.
🔗 Пояснення: GA4 Key Events vs. Conversions
#WebAnalytics #PrivacySandbox #GA4 #BigQuery #ServerSide #DataNews
Привіт, дата-гіки! ☕️
Цей тиждень приніс важливі оновлення як у Google-стеку, так і в глобальному ландшафті аналітики. Зібрали головне з посиланнями.
🌐 Загальні тренди індустрії
• Privacy Sandbox та Cookies: Chrome продовжує оновлювати підходи до приватності. Поки індустрія адаптується до стратегії "User Choice" замість повного відключення, важливо слідкувати за офіційним таймлайном.
🔗 Джерело: The Privacy Sandbox Timeline
• Server-Side Tracking стає стандартом:
Кількість впроваджень sGTM зростає. Це вже необхідність для обходу блокувальників та покращення швидкості сайтів.
🔗 Джерело: Google Server-side Tagging Docs
• Альтернативи (Matomo & Piwik PRO): Платформи оновили свої модулі для роботи з Google Consent Mode v2, щоб відповідати вимогам Digital Markets Act (DMA).
🔗 Matomo: Matomo & Google Consent Mode v2 FAQ
🔗 Piwik PRO: Piwik PRO Consent Manager Updates
🤖 Google Екосистема: AI та BigQuery
• BigQuery Data Engineering Agent: Новий ШІ-помічник на базі Gemini, який допомагає будувати пайплайни даних "під ключ", доступний у прев'ю.
🔗 Деталі: Exploring the Data Engineering Agent in BigQuery
• GA4 ➡️ BigQuery (Recurring Jobs): Оновлений Data Transfer Service дозволяє налаштувати регулярний імпорт даних без написання скриптів.
🔗 Документація: BigQuery Data Transfer Service enhancements
• Якість даних у GA4: Система тепер чіткіше підсвічує проблеми з даними (Data Quality Icon) безпосередньо у звітах.
🔗 Довідка: GA4 Data Quality Identification
💡 Інсайт тижня
• Key Events (Ключові події): Цей термін остаточно замінив "Конверсії" в інтерфейсі GA4 для звітів. Конверсії тепер — це виключно для Google Ads.
🔗 Пояснення: GA4 Key Events vs. Conversions
#WebAnalytics #PrivacySandbox #GA4 #BigQuery #ServerSide #DataNews
🚀 Google BigQuery запускає Global Queries!
Тепер можна виконувати SQL-запити до наборів даних, що зберігаються в різних регіонах (наприклад, США та ЄС), в одному запиті — без складних ETL-процесів і ручного переміщення даних, як це було раніше.
@BigQuery
Тепер можна виконувати SQL-запити до наборів даних, що зберігаються в різних регіонах (наприклад, США та ЄС), в одному запиті — без складних ETL-процесів і ручного переміщення даних, як це було раніше.
@BigQuery
Forwarded from Beards Analytics (Andrii Osypov)
🔥 Вважаєте себе гуру BigQuery?
Вийшла крута стаття про неочевидні фічі GoogleSQL, які часто ховаються десь у чейнджлогах, але суттєво спрощують написання запитів:
🔹 GROUP BY ALL — базовий розігрів, більше ніяких GROUP BY 1, 2, 3. Усе підтягується автоматично.
🔹 UNION ALL BY NAME — порядок колонок більше не має значення, об'єднання йде суворо за їхніми назвами.
🔹 Ланцюжкові виклики функцій — тепер код можна читати зліва направо: (name).TRIM().REPLACE(' ', '_').UPPER() замість незручних вкладених дужок.
🔹 MAX_BY або ANY_VALUE(... HAVING MAX ...) — ідеальна й лаконічна заміна громіздким віконним функціям з ROW_NUMBER().
🔹 Вирази WITH у SELECT — дозволяють створювати проміжні змінні прямо всередині SELECT, щоб не роздувати код непотрібними CTE.
🔗 Детальніше та з прикладами коду: https://blog.querylab.io/so-you-think-youre-a-bigquery-power-user-11e1e2334896
Вийшла крута стаття про неочевидні фічі GoogleSQL, які часто ховаються десь у чейнджлогах, але суттєво спрощують написання запитів:
🔹 GROUP BY ALL — базовий розігрів, більше ніяких GROUP BY 1, 2, 3. Усе підтягується автоматично.
🔹 UNION ALL BY NAME — порядок колонок більше не має значення, об'єднання йде суворо за їхніми назвами.
🔹 Ланцюжкові виклики функцій — тепер код можна читати зліва направо: (name).TRIM().REPLACE(' ', '_').UPPER() замість незручних вкладених дужок.
🔹 MAX_BY або ANY_VALUE(... HAVING MAX ...) — ідеальна й лаконічна заміна громіздким віконним функціям з ROW_NUMBER().
🔹 Вирази WITH у SELECT — дозволяють створювати проміжні змінні прямо всередині SELECT, щоб не роздувати код непотрібними CTE.
🔗 Детальніше та з прикладами коду: https://blog.querylab.io/so-you-think-youre-a-bigquery-power-user-11e1e2334896
Medium
So You Think You’re a BigQuery Power User
The features Google added while you were writing GROUP BY 1, 2, 3
Claude AI - моє головне відкриття цього року.
Написав статтю про те, як за допомогою Claude можна значно спростити реалізацію складних технічних рішень - на прикладі моделювання кривої оплат підписки (resubscription).
Якщо коротко, Claude не просто генерує код - він:
- розуміє складні наукові статті,
- допомагає перекласти їх у робочу модель,
- і робить це буквально за секунди.
У моєму кейсі - функція, яку я намагався реалізувати різними способами, була згенерована і запрацювала майже одразу.
В статті показав:
- як я перейшов від простого curve fitting до probabilistic model,
- як реалізував це в Google Sheets,
- і додав сам код з інстукцією для використання.
@BigQuery
Написав статтю про те, як за допомогою Claude можна значно спростити реалізацію складних технічних рішень - на прикладі моделювання кривої оплат підписки (resubscription).
Якщо коротко, Claude не просто генерує код - він:
- розуміє складні наукові статті,
- допомагає перекласти їх у робочу модель,
- і робить це буквально за секунди.
У моєму кейсі - функція, яку я намагався реалізувати різними способами, була згенерована і запрацювала майже одразу.
В статті показав:
- як я перейшов від простого curve fitting до probabilistic model,
- як реалізував це в Google Sheets,
- і додав сам код з інстукцією для використання.
@BigQuery