Forwarded from Beards Analytics (Andrii Osypov)
🚀 Тижневий радар: ШІ в BigQuery та нові правила Privacy
Привіт, дата-гіки! ☕️
Цей тиждень приніс важливі оновлення як у Google-стеку, так і в глобальному ландшафті аналітики. Зібрали головне з посиланнями.
🌐 Загальні тренди індустрії
• Privacy Sandbox та Cookies: Chrome продовжує оновлювати підходи до приватності. Поки індустрія адаптується до стратегії "User Choice" замість повного відключення, важливо слідкувати за офіційним таймлайном.
🔗 Джерело: The Privacy Sandbox Timeline
• Server-Side Tracking стає стандартом:
Кількість впроваджень sGTM зростає. Це вже необхідність для обходу блокувальників та покращення швидкості сайтів.
🔗 Джерело: Google Server-side Tagging Docs
• Альтернативи (Matomo & Piwik PRO): Платформи оновили свої модулі для роботи з Google Consent Mode v2, щоб відповідати вимогам Digital Markets Act (DMA).
🔗 Matomo: Matomo & Google Consent Mode v2 FAQ
🔗 Piwik PRO: Piwik PRO Consent Manager Updates
🤖 Google Екосистема: AI та BigQuery
• BigQuery Data Engineering Agent: Новий ШІ-помічник на базі Gemini, який допомагає будувати пайплайни даних "під ключ", доступний у прев'ю.
🔗 Деталі: Exploring the Data Engineering Agent in BigQuery
• GA4 ➡️ BigQuery (Recurring Jobs): Оновлений Data Transfer Service дозволяє налаштувати регулярний імпорт даних без написання скриптів.
🔗 Документація: BigQuery Data Transfer Service enhancements
• Якість даних у GA4: Система тепер чіткіше підсвічує проблеми з даними (Data Quality Icon) безпосередньо у звітах.
🔗 Довідка: GA4 Data Quality Identification
💡 Інсайт тижня
• Key Events (Ключові події): Цей термін остаточно замінив "Конверсії" в інтерфейсі GA4 для звітів. Конверсії тепер — це виключно для Google Ads.
🔗 Пояснення: GA4 Key Events vs. Conversions
#WebAnalytics #PrivacySandbox #GA4 #BigQuery #ServerSide #DataNews
Привіт, дата-гіки! ☕️
Цей тиждень приніс важливі оновлення як у Google-стеку, так і в глобальному ландшафті аналітики. Зібрали головне з посиланнями.
🌐 Загальні тренди індустрії
• Privacy Sandbox та Cookies: Chrome продовжує оновлювати підходи до приватності. Поки індустрія адаптується до стратегії "User Choice" замість повного відключення, важливо слідкувати за офіційним таймлайном.
🔗 Джерело: The Privacy Sandbox Timeline
• Server-Side Tracking стає стандартом:
Кількість впроваджень sGTM зростає. Це вже необхідність для обходу блокувальників та покращення швидкості сайтів.
🔗 Джерело: Google Server-side Tagging Docs
• Альтернативи (Matomo & Piwik PRO): Платформи оновили свої модулі для роботи з Google Consent Mode v2, щоб відповідати вимогам Digital Markets Act (DMA).
🔗 Matomo: Matomo & Google Consent Mode v2 FAQ
🔗 Piwik PRO: Piwik PRO Consent Manager Updates
🤖 Google Екосистема: AI та BigQuery
• BigQuery Data Engineering Agent: Новий ШІ-помічник на базі Gemini, який допомагає будувати пайплайни даних "під ключ", доступний у прев'ю.
🔗 Деталі: Exploring the Data Engineering Agent in BigQuery
• GA4 ➡️ BigQuery (Recurring Jobs): Оновлений Data Transfer Service дозволяє налаштувати регулярний імпорт даних без написання скриптів.
🔗 Документація: BigQuery Data Transfer Service enhancements
• Якість даних у GA4: Система тепер чіткіше підсвічує проблеми з даними (Data Quality Icon) безпосередньо у звітах.
🔗 Довідка: GA4 Data Quality Identification
💡 Інсайт тижня
• Key Events (Ключові події): Цей термін остаточно замінив "Конверсії" в інтерфейсі GA4 для звітів. Конверсії тепер — це виключно для Google Ads.
🔗 Пояснення: GA4 Key Events vs. Conversions
#WebAnalytics #PrivacySandbox #GA4 #BigQuery #ServerSide #DataNews
🚀 Google BigQuery запускає Global Queries!
Тепер можна виконувати SQL-запити до наборів даних, що зберігаються в різних регіонах (наприклад, США та ЄС), в одному запиті — без складних ETL-процесів і ручного переміщення даних, як це було раніше.
@BigQuery
Тепер можна виконувати SQL-запити до наборів даних, що зберігаються в різних регіонах (наприклад, США та ЄС), в одному запиті — без складних ETL-процесів і ручного переміщення даних, як це було раніше.
@BigQuery
Forwarded from Beards Analytics (Andrii Osypov)
🔥 Вважаєте себе гуру BigQuery?
Вийшла крута стаття про неочевидні фічі GoogleSQL, які часто ховаються десь у чейнджлогах, але суттєво спрощують написання запитів:
🔹 GROUP BY ALL — базовий розігрів, більше ніяких GROUP BY 1, 2, 3. Усе підтягується автоматично.
🔹 UNION ALL BY NAME — порядок колонок більше не має значення, об'єднання йде суворо за їхніми назвами.
🔹 Ланцюжкові виклики функцій — тепер код можна читати зліва направо: (name).TRIM().REPLACE(' ', '_').UPPER() замість незручних вкладених дужок.
🔹 MAX_BY або ANY_VALUE(... HAVING MAX ...) — ідеальна й лаконічна заміна громіздким віконним функціям з ROW_NUMBER().
🔹 Вирази WITH у SELECT — дозволяють створювати проміжні змінні прямо всередині SELECT, щоб не роздувати код непотрібними CTE.
🔗 Детальніше та з прикладами коду: https://blog.querylab.io/so-you-think-youre-a-bigquery-power-user-11e1e2334896
Вийшла крута стаття про неочевидні фічі GoogleSQL, які часто ховаються десь у чейнджлогах, але суттєво спрощують написання запитів:
🔹 GROUP BY ALL — базовий розігрів, більше ніяких GROUP BY 1, 2, 3. Усе підтягується автоматично.
🔹 UNION ALL BY NAME — порядок колонок більше не має значення, об'єднання йде суворо за їхніми назвами.
🔹 Ланцюжкові виклики функцій — тепер код можна читати зліва направо: (name).TRIM().REPLACE(' ', '_').UPPER() замість незручних вкладених дужок.
🔹 MAX_BY або ANY_VALUE(... HAVING MAX ...) — ідеальна й лаконічна заміна громіздким віконним функціям з ROW_NUMBER().
🔹 Вирази WITH у SELECT — дозволяють створювати проміжні змінні прямо всередині SELECT, щоб не роздувати код непотрібними CTE.
🔗 Детальніше та з прикладами коду: https://blog.querylab.io/so-you-think-youre-a-bigquery-power-user-11e1e2334896
Medium
So You Think You’re a BigQuery Power User
The features Google added while you were writing GROUP BY 1, 2, 3
Claude AI - моє головне відкриття цього року.
Написав статтю про те, як за допомогою Claude можна значно спростити реалізацію складних технічних рішень - на прикладі моделювання кривої оплат підписки (resubscription).
Якщо коротко, Claude не просто генерує код - він:
- розуміє складні наукові статті,
- допомагає перекласти їх у робочу модель,
- і робить це буквально за секунди.
У моєму кейсі - функція, яку я намагався реалізувати різними способами, була згенерована і запрацювала майже одразу.
В статті показав:
- як я перейшов від простого curve fitting до probabilistic model,
- як реалізував це в Google Sheets,
- і додав сам код з інстукцією для використання.
@BigQuery
Написав статтю про те, як за допомогою Claude можна значно спростити реалізацію складних технічних рішень - на прикладі моделювання кривої оплат підписки (resubscription).
Якщо коротко, Claude не просто генерує код - він:
- розуміє складні наукові статті,
- допомагає перекласти їх у робочу модель,
- і робить це буквально за секунди.
У моєму кейсі - функція, яку я намагався реалізувати різними способами, була згенерована і запрацювала майже одразу.
В статті показав:
- як я перейшов від простого curve fitting до probabilistic model,
- як реалізував це в Google Sheets,
- і додав сам код з інстукцією для використання.
@BigQuery
Forwarded from WebAnalytics (Діма Осіюк)
Досліджую тему використання Claude Code/Codex для data analysis і поки головний висновок такий: AI дуже серйозно трансформує не тільки роботу інженерів, але й аналітиків.
Наткнувся на оглядовий розбір архітектури, де всередині Claude Code зібрали AI data analyst, який без Python, SQL і взагалі без коду проходить повний цикл аналізу: формулює питання, досліджує дані, валідовує висновки, генерує графіки і збирає презентацію.
Що там особливо цікаво:
— вся система — це 15 agents і 12 skills
— все зберігається у markdown-файлах
— agents роблять роботу
— skills задають стандарти якості
— вся логіка керується одним CLAUDE.md
— кожен feedback покращує всю систему.
Але відкритими лишаються дуже практичні речі:
— хто валідовує результати
— хто будує реальний product/business context
— хто пріоритизує, що взагалі варто аналізувати
— хто не дає організації потонути в десятках AI-висновків, які звучать переконливо, але нікуди не ведуть :)
Нажаль, стаття крім самої ідеї цінності особливо не несе, але якщо вам цікаво — то посилання буде в коментарях :)
Якщо хтось бачив в open-source схожі архітектури або детальні покрокові мануали як зібрати таку систему — діліться в коментарях!
via @WebAnalyst
Наткнувся на оглядовий розбір архітектури, де всередині Claude Code зібрали AI data analyst, який без Python, SQL і взагалі без коду проходить повний цикл аналізу: формулює питання, досліджує дані, валідовує висновки, генерує графіки і збирає презентацію.
Що там особливо цікаво:
— вся система — це 15 agents і 12 skills
— все зберігається у markdown-файлах
— agents роблять роботу
— skills задають стандарти якості
— вся логіка керується одним CLAUDE.md
— кожен feedback покращує всю систему.
Але відкритими лишаються дуже практичні речі:
— хто валідовує результати
— хто будує реальний product/business context
— хто пріоритизує, що взагалі варто аналізувати
— хто не дає організації потонути в десятках AI-висновків, які звучать переконливо, але нікуди не ведуть :)
Нажаль, стаття крім самої ідеї цінності особливо не несе, але якщо вам цікаво — то посилання буде в коментарях :)
Якщо хтось бачив в open-source схожі архітектури або детальні покрокові мануали як зібрати таку систему — діліться в коментарях!
via @WebAnalyst
Ймовірність смерті протягом року починає перевищувати 1% у чоловіків приблизно з 44 років, а у жінок - з 60.
Рівень 2% досягається у чоловіків з 55 років, у жінок - з 68. У похилому віці різниця поступово зменшується, і приблизно у 94 роки показники стають майже однаковими - близько 25%.
Це я рахував на основі відкритих даних статево-вікового розподілу населення України за 1989–2022 роки.
Більш детально про це - у моїй статті про моделювання демографії України (писав її ще раніше, але вона досі актуальна).
@BigQuery
Рівень 2% досягається у чоловіків з 55 років, у жінок - з 68. У похилому віці різниця поступово зменшується, і приблизно у 94 роки показники стають майже однаковими - близько 25%.
Це я рахував на основі відкритих даних статево-вікового розподілу населення України за 1989–2022 роки.
Більш детально про це - у моїй статті про моделювання демографії України (писав її ще раніше, але вона досі актуальна).
@BigQuery
📊 Data Engineering — один із найшвидше зростаючих напрямів у роботі з даними. Попит росте швидше, ніж кількість спеціалістів, які реально мають необхідний скілсет.
Розберіться з Big Data, ETL/ELT, Spark, Airflow, Docker та AWS та опануйте трендову професію, — на курсі «Data Engineering» від robot_dreams.
За 20 занять ви:
– розберетеся зі скілсетом Data Engineer і ключовими інструментами
– навчитеся працювати з великими обсягами даних і будувати підходи до їх обробки
– зможете проєктувати повноцінні Big Data системи
– попрацюєте з Hadoop, Apache Spark, Airflow та іншими технологіями
– зрозумієте, як створювати рішення, які масштабуються
У результаті — зможете переходити від окремих задач до побудови систем роботи з даними.
Вас навчатиме Ілля Хороших — Data Engineer із досвідом у Lyft, EPAM, Luxoft. Працює з системами, які обробляють терабайти даних і масштабуються на мільйони користувачів.
Старт: 13 липня
Деталі, програма та реєстрація ⬅️
Розберіться з Big Data, ETL/ELT, Spark, Airflow, Docker та AWS та опануйте трендову професію, — на курсі «Data Engineering» від robot_dreams.
За 20 занять ви:
– розберетеся зі скілсетом Data Engineer і ключовими інструментами
– навчитеся працювати з великими обсягами даних і будувати підходи до їх обробки
– зможете проєктувати повноцінні Big Data системи
– попрацюєте з Hadoop, Apache Spark, Airflow та іншими технологіями
– зрозумієте, як створювати рішення, які масштабуються
У результаті — зможете переходити від окремих задач до побудови систем роботи з даними.
Вас навчатиме Ілля Хороших — Data Engineer із досвідом у Lyft, EPAM, Luxoft. Працює з системами, які обробляють терабайти даних і масштабуються на мільйони користувачів.
Старт: 13 липня
Деталі, програма та реєстрація ⬅️
Forwarded from WebAnalytics (Діма Осіюк)
Anthropic автоматизували 95% аналітичних запитів всередині компанії через Claude з точністю роботи ~95%.
Тисячі SQL-запитів з дашбордів як контекст для агента дали менше 1% приросту точності, на відміну від Skills. Skill — задокументований workflow досвідченого аналітика: які питання уточнити, де шукати джерела, як виконати і перевірити. Проблема не в доступі до даних — в структурі й однозначності. Skills вирішили це: без skills: 21% accuracy, а з skills уже 95%+.
Деталі тут: https://bit.ly/43kFIaL
via @WebAnalyst
Тисячі SQL-запитів з дашбордів як контекст для агента дали менше 1% приросту точності, на відміну від Skills. Skill — задокументований workflow досвідченого аналітика: які питання уточнити, де шукати джерела, як виконати і перевірити. Проблема не в доступі до даних — в структурі й однозначності. Skills вирішили це: без skills: 21% accuracy, а з skills уже 95%+.
Деталі тут: https://bit.ly/43kFIaL
via @WebAnalyst
Маємо в MacPaw відкриту вакансію Дата-інженера, кому цікаво подавайтесь:
https://macpaw.com/careers/middle_data_engineer
MacPaw - продуктова ІТ компанія, розробляє macOS/iOS-додатки, продукти якої встановлені на кожному 5-му макбуці світу.
https://macpaw.com/careers/middle_data_engineer
MacPaw - продуктова ІТ компанія, розробляє macOS/iOS-додатки, продукти якої встановлені на кожному 5-му макбуці світу.
Forwarded from WebAnalytics (Діма Осіюк)
Google запустили найбільше інфраструктурне оновлення GTM за останні роки — тепер GTM і Google Tag об'єднали і контейнер GTM сам є Google Tag, а GA4, Google Ads і Floodlight підключаються до нього як Destinations. Окремий gtag.js більше не підвантажується — все йде через одну бібліотеку GTM. Менше HTTP-запитів, швидше завантаження.
Рекомендую почитати детальний розбір від Simo Ahava: https://www.simoahava.com/analytics/optimized-tagging-experience-google-tag-manager/
via @WebAnalyst
Рекомендую почитати детальний розбір від Simo Ahava: https://www.simoahava.com/analytics/optimized-tagging-experience-google-tag-manager/
via @WebAnalyst
Forwarded from Beards Analytics (Andrii Osypov)
Gemini 4 Carbon тепер є в BigQuery 🔥
Через
⚠️ Додайте
📖 https://docs.cloud.google.com/bigquery/docs/reference/standard-sql/bigqueryml-syntax-ai-generate
Через
AI.GENERATE можна прямо в SQL забрати найдорожчі запити з INFORMATION_SCHEMA.JOBS і віддати їх Carbon. Він пояснить, чому кожен із них дорогий, і перепише SQL. У прикладі Jeff Nelson сканування зменшилося приблизно на 98%.⚠️ Додайте
LIMIT і thinking_level: LOW, бо виклики Gemini оплачуються окремо від сканування.📖 https://docs.cloud.google.com/bigquery/docs/reference/standard-sql/bigqueryml-syntax-ai-generate
Google Cloud Documentation
The AI.GENERATE function | BigQuery | Google Cloud Documentation
Руйнування Кримського мосту — стратегічно важлива військова операція.
Руйнування мостів у Києві — тиск на Україну через суспільне незадоволення.
Третій армійський корпус мовчки ціною свого життя утримує та звільняє метр за метром нашу землю. Але їм потрібна підтримка.
Долучайтесь до їх офіційного збору
https://send.monobank.ua/jar/AeN3JjRezs
Руйнування мостів у Києві — тиск на Україну через суспільне незадоволення.
Третій армійський корпус мовчки ціною свого життя утримує та звільняє метр за метром нашу землю. Але їм потрібна підтримка.
Долучайтесь до їх офіційного збору
https://send.monobank.ua/jar/AeN3JjRezs