Трохи думок...

Навіяно процесом підготовки AI дата-агента для одного з наших партнерів

Перш за все гляньте на скрін прикріплений до поста: чи є щось що вас бентежить? Наскільки ви готові вірити цим підрахункам?

А якщо я додам трохи додаткової інформації (чи змінюється ваша думка після кожної нової деталі?):
- дата-агент точно не придумав дані. Він взяв реальні дані бізнесу з потрібних таблиць
- SQL написаний саме так, як і вказано в ланцюжку міркувань і математичні розрахунки вірні

Ну а поки ви думаєте, чи з підвохом це запитання, чи ні, ось вам декілька цікавих фактів в тему:

1. Люди схильні віддавати перевагу простішим поясненням і рішенням, особливо коли не мають достатньо інформації, щоб оцінити їхню надійність (це не я придумав, тут дослідження)
2. AI дуже впевнено подають свої рішення і чим більше вони пояснюють свої розрахунки, тим люди більш схильні їм вірити (теж є дослідження)

До чого я це все? На початку поста, я задав питання і можливо це змусило вас прискіпливіше дивитись на дані і свідомо шукати в них помилку. Але як часто ви перевіряєте відповіді, які видає вам LLM?

Чим більше ми перекладаємо роботу на AI, тим важливішою стає навичка: розуміти, коли він має рацію, а коли ні. І для цього вам усе ще потрібно знати предмет, із яким ви до нього звертаєтесь. Бо інакше можна завершити як герої цих матеріалів (почалось з рекомендацій ChatGPT та Gemini про похід, а завершилось евакуаціями на вертольотах).

З однією тільки відмінністю: у поході наслідок поганої поради видно вже через кілька годин. У бізнесі все складніше. Ви можете прийняти неправильне рішення сьогодні, а побачити його наслідки через тиждень, місяць або квартал.

Дуже легко написати в чат: «Проаналізуй мої дані й скажи:
- Яка група користувачів приносить більше грошей?
- Яка рекламна кампанія працює краще?
- Які матеріали на блозі приносять більше грошей? і т.д.».

Агент піде у вашу базу, візьме ваші реальні дані, напише цілком валідний SQL і дуже впевнено напише вам висновок. Ще й запропонує наступні дії. Технічних помилок не має. Цифри є. Висновок є. І все це за 5 хвилин поки ви робили собі чашку кави. Ну клас же?

Якби не одне але... повертаючись до питання на початку поста: агент помилився. І цю помилку досить складно помітити:
- цифри вірні і з правильних таблиць
- SQL сам по собі теж хороший
- і висновки, які він робить на отриманих цифрах теж наче питань не викликають.

Що ж тоді не так? Вся його відповідь не має сенсу: для відповіді на поставлене запитання як мінімум потрібно орієнтуватись не просто на фактичні дати оплат, а на когорти і дату їх залучення. Інакше дуже легко отримати красивий, але хибний висновок.

Наприклад, користувачі, які зареєструвалися в серпні, фізично ще не могли потрапити в групу «перша оплата через 1–3 місяці». У цій групі будуть лише старіші когорти — наприклад, люди, залучені у травні, червні чи липні. Якщо влітку змінився маркетинг, продукт або ціни, агент легко може побачити, що користувачі з довшим шляхом до оплати платять більше, і зробити висновок: «чим довше користувач думає, тим більший у нього перший чек».

А це лише один приклад, якби не обмеження на кількість символів в пості, я б міг би написати значно більше. І ось тут ми підходимо до головного: LLM пришвидшив обробку даних, але швидка обробка неправильних даних - це просто більша кількість помилок на одиницю часу.

А для того щоб швидка обробка даних давала реальну користь вам потрібно розуміти як працює аналітика. А точніше, як працює сучасна аналітика, бо період коли Google Analytics вирішував всі питання маркетингу і продукту вже давно минув. А ще розуміти, які показники важливо аналізувати для того чи іншого бізнесу. І які взагалі підходи до аналізу даних існують. І ще як перевірити дані. І ще багато чого, наприклад як не прийняти красиву відповідь за правильну тільки тому, що вона звучить переконливо.

Все це я буду розбирати на курсі PRO ANALYTICS вже через 14 днів. Записатись можна в особистих

Я вже чесно кажучи й скучив за ситуацію, коли гугл викатує великий апдейт і треба розібратись і зрозуміти що це, для чого і які нюанси. Тому сьогоднішній матеріал був написаний майже на одному диханні.

Якщо ще не заглядали в нові Дашборди в Google Analytics 4 - приємного читання.

Як завжди розібрав все детально і по поличках. Ну і думок своїх накинув щодо цього всього і куди це нас веде.

https://proanalytics.academy/uk/blog/complete-guide-to-dashboards-in-google-analytics-4

________________

Нагадую, що 28 вересня починається навчання на курсі PRO ANALYTICS. Деталі тут >>

Дублі подій в аналітиці, невірні назви для параметрів ecommerce подій, невірне value... - втомились від постійного дебагу цих проблем? Я теж.

Перевірка коректності відправки подій в аналітичні і рекламні системи це завжди напряжно: треба знати нюанси відправки в кожну систему, знати куди дивитись, на що звертати увагу...

Забудьте про це

Після апдейту розширення PROANALYTICS ваше життя стане краще. Більше 100 перевірок, які розширення тепер робить за вас. Всі деталі в відео >> https://www.loom.com/share/93158be834cb4b0d9a84efe73f19aa78


P.S. Якщо що, цей канал не скочується в режим «купи це просто зараз» - просто цікаво було протестувати який ефект дасть саме така дуже криклива, як на мене подача. І розширення нагадую БЕЗКОШТОВНЕ. Тому не забувайте пошерити друзям та колегам.

І ще одне, розширення працює в двох мовних версіях. Якщо вам потрібен результат аудиту англійською - просто змініть мову інтерфейсу

________________

Нагадую, що 28 вересня починається навчання на курсі PRO ANALYTICS. Деталі тут >>

Подумую (якщо наберу 100 коментів унікальних) провести вебінар де розберу всі можливості розширення PROANALYTICS

Якщо комусь цікаво, то дописуйтесь в коменти https://www.facebook.com/maks.hapchuk/posts/pfbid0HRPM3wh3Nm85qsjApJSAXiS3HsCzxz6fTHBKTdw1SYMCFFhJtvwRRotuhYWguGmkl

EPAM, airSlate, ПриватБанк, ДЕКА, Netpeak, PPC. ROCKS, Markoon, Adcore, CQL, Zeeks, WPJ, Stape — знаєш, що об'єднує всі ці компанії?

У всіх цих компаніях (а ще, звісно, і в багатьох інших) працюють випускники курсу PRO ANALYTICS.

Для мене це, мабуть, один із найкращих показників того, що ми робимо все не дарма.

PRO ANALYTICS ніколи не задумувався як курс, після якого ти просто знаєш, де в GA4 натиснути потрібну кнопку або як скопіювати готовий SQL-запит. Моя ціль завжди була іншою: навчити думати як аналітик.

Щоб випускники розуміли, звідки беруться дані. Вміли перевірити, чи можна їм довіряти. Могли самостійно поставити запитання до даних, знайти правильний спосіб відповісти на нього і донести отримані інсайти бізнесу.

Як наслідок, цей курс із самого початку був курсом не тільки для вебаналітиків — отримані знання корисні й в інших професіях. Серед випускників є CMO, маркетологи, PPC- та SEO-спеціалісти, ну і, звісно, вебаналітики.

Особливо приємно зараз бачити знайомі імена в командах великих продуктів, агенцій і технологічних компаній. І це я тільки почав збирати список "Де працюють наші студенти".

А ще ж не варто забувати, що вся команда proanalytics.team це теж випускники наших PRO курсів (це в нас обов'язкова умова щоб тебе взяли), почитайте за нагоди на блозі команди і особливо в кейсах, які ВАУ історії зараз робить ця команда.

За роки PRO ANALYTICS трансформувався і тепер це вже значно більше, ніж просто курс. Це комʼюніті людей, які працюють з даними, ростуть у професії, переходять у нові ролі і діляться досвідом в нашому чаті.

Тож якщо ти давно читаєш цей канал, цікавишся аналітикою і думаєш, куди рухатися далі — можливо, настав час не просто читати про наше комʼюніті, а стати його частиною?

Найпростіший спосіб — почати з PRO ANALYTICS :)

Старт навчання вже в найближчий понеділок - 28 вересня.

Переглянути програму можна тут >>

Більше деталей в особистих.

Аналіз залучення та утримання в GA4: як відрізнити аномалію від норми?

Не тільки ж мені тут нагадувати вам про те, що через 5 днів розпочинається навчання на курсі PRO ANALYTICS, а вже завтра я проведу веб "Пришвидшуємо роботу з GA4 і GTM з розширенням від PROANALYTICS".

На YouTube каналі Analytics Tips нове відео. Приємного перегляду ;)
https://youtu.be/dZCHCQ-xwHo?si=t9D5XYI8MvdTdQOb

Спаму в GA4 тепер буде менше.

Команда GA4 нарешті додала можливість задавати фільтр на рівні домену

Гарний приклад того, як AI-фічу додали саме там, де вона реально потрібна: AI тут якраз сильний, а люди часто зависали на цьому етапі

Тепер в Google Tag Manager назву версії і опис система генерує автоматично, а за потреби ви можете підправити

Просто нагадую, що вже менш ніж через 4 години розпочнеться вебінар

"Пришвидшуємо роботу з GA4 і GTM з розширенням від PROANALYTICS"

Записатись можна тут >>

Більше деталей тут >>