В среду, 6 мая, в 13:00 по МСК, на моем Twitch-канале пройдет стрим, где мы с Владимиром Зениным расскажем и покажем, как автоматизировать выгрузку данных из Яндекс Директа и VK Рекламы через API с последующей визуализацией в едином отчете в Yandex DataLens.

😀😃😀😆😃😍 https://www.twitch.tv/yakov_osipenkov

Продолжаем разрабатывать ETL-процессы и визуализировать данные. Приходите, будет очень интересно! 👍

Глава 4. Выгрузка данных в Google Sheets: автоматизируем рутину 🚀

Привет-привет! 👋 Я снова к вам с новой полезной главой. Знаю, что пишу с небольшим запозданием, но работы сейчас очень много. Стараюсь выдавать вам максимум пользы, поэтому буду писать главы порционно.

Напоминаю, что я➡️ Прохожу обучение

Немного о сегодняшней главе — в ней мы написали скрипт для выгрузки данных в Google Таблицы и их автообновления. Использовали крутой стек: Google Cloud, Google Sheets API, Python и Pandas. 🐍

В принципе, для новичка и мелких задач — это самое то. Отлично заменяет расширения вроде Adveronix. Сама я уже давно перешла на БД Google BigQuery (потому что данных много, так удобнее и быстрее), но начинала именно с таблиц.

Код программы есть в уроке, но я прогнала его через нейросеть и доработала под суровые реалии, так как на практике споткнулась о несколько ошибок.

Что я улучшила в скрипте:
✔️ Генерация уникального имени отчета. Это нужно, чтобы сбросить ошибку Яндекса, при которой отчет с дублирующимся именем просто не формируется.
✔️ Жесткая обработка ошибок API. Раньше при статусах 400, 500, 502 от Яндекса скрипт делал break (выход из цикла), но продолжал работу. Он записывал JSON-ошибку в файл .tsv, а Pandas пытался прочитать это как таблицу. Итог — фатальный сбой ValueError: No objects to concatenate. Заменила break на принудительное завершение sys.exit(1) и добавила вывод JSON-ошибки прямо в консоль.
✔️ Решение проблемы с DtypeWarning. Теперь Pandas читает файл целиком перед определением типов данных, и это предупреждение больше не засоряет логи.
✔️ Лимит Google Sheets (10 млн ячеек). Первая ошибка, которую я словила! Чтобы оптимизировать объем, я отфильтровала лишние столбцы, конвертировала форматы и сгруппировала данные по датам.

Ну и собственно всё! Пример результата — на скрине. А свой доработанный скрипт я прикрепляю ниже — забирайте, кому нужно! 💾

Зачем это вообще нужно? Да абсолютно всем! Вы можете гибко настроить выгрузку сырых данных и строить на их основе дашборды для клиентов. Ставите скрипт на крон (автовыполнение по расписанию) — и навсегда забываете о ручном составлении отчетов. Это в 100 раз быстрее, чем ковыряться в интерфейсе рекламных кабинтов.

❗️ Маленький, но важный совет аналитика: Никогда не выгружайте из API метрики, которые рассчитываются делением (CTR, CR, CPC, CPA). Рассчитывайте их уже математически в самих выгруженных данных (Клики/Показы и т.д.). Агрегированные относительные метрики из интерфейса при сложении строк дадут вам искаженные данные.

Ставьте 🔥, если забираете скрипт себе!

ГЛАВА 5. СВОЙ VPS (ЧАСТЬ 2: СПАСАЕМСЯ ОТ СЧЕТОВ ЗА ОБЛАКО) 🖥

Если в прошлой части я словила шок от цен на Yandex Cloud, то сегодня поговорим про альтернативу — VPS (Virtual Private Server).

Напоминаю, что я➡️ Прохожу обучение

Если говорить человеческим языком, это ваш личный удаленный комп, к которому вы подключаетесь через интернет. Он работает 24/7 без вашего участия.

В самой главе курса разбирают сервер TimeWeb. Честно говоря, я им раньше пользовалась, но переехала из-за повышения цен. Сейчас конфигурация под наши задачи там стоит около 1480 руб/мес.

Сама я сидела на Zomro за 4€ в месяц — хранила там скрипты, которые работают по крону (без хранения тяжелых данных). Можете рассмотреть этот сервис, если нужно что-то простое. Но даже в TimeWeb разница в цене с облачным Кликхаусом просто колоссальная! 😅

Как всем этим управлять?
Мы установили программу Tabby. Это терминал, через который можно подключаться к серверу и управлять скриптами по SSH. Звучит сложно, но по факту: вы заходите на удаленный комп, используете язык bash, размещаете скрипты, ставите расписание — и всё работает само, даже когда ваш ПК выключен.

Мой личный квест:
Пока делала домашку, поняла, что мой текущий сервер локальный ClickHouse не потянет. Пришлось переехать на тариф помощнее (теперь плачу 8,5€ в месяц).

Итог: данные из Директа залетели в локальную БД за 5 секунд! 🔥 И самое приятное — если я всё правильно понимаю, никакие счета на 25к нам теперь не страшны, платим только фиксированную сумму за сервак.

В общем, чек-лист по главе: ✅ Купили сервер
✅ Настроили его и скачали Tabby
✅ Установили локальный ClickHouse
✅ Загрузили данные из Директа в БД

Едем дальше! 🚀

Видео сегодняшней трансляции уже доступно на Rutube и YouTube! 📸

📺Rutube
📱 YouTube

Темы занятия:
🔹 Выгрузка данных с помощью скриптов на Python
🔹 Выгрузка данных с помощью готового решения
🔹 Бонус: выгрузка данных с использованием n8n

🟥 Яндекс Директ + VK Реклама + ИИ

Не забывайте ставить видео лайк, чтобы его увидело как можно больше человек 👍

Перед вами одно из самых подробных руководств по установке Google Tag Manager и Google Analytics 4 на платформе Shopify - с отслеживанием ключевых событий, электронной торговли, функции User ID и динамического ремаркетинга. Все в одном материале и бесплатно! 🆓

Shopify - это SaaS-платформа, позволяющая создавать интернет-магазины и управлять продажами без навыков программирования. Комплексное решение для электронной коммерции включает создание сайта, корзину, складской учет, прием платежей и интеграцию с соцсетями.

Shopify ценится за удобство, адаптивные темы и обширный магазин приложений, что делает ее одной из самых востребованных систем электронной коммерции в мире. Да, она популярнее на Западе. Но это не значит, что ею нельзя пользоваться из любой другой страны. Именно поэтому я и написал это подробное руководство по настройке. Мне самому хотелось во всем разобраться!

✅ Читать руководство

Продолжаю работать с Google Analytics 4 и публиковать самые полные и актуальные материалы 📊

В моем блоге вы найдете более 170 отдельных публикаций по GA4. Это самая большая база знаний по этой теме! 💎

🔸 Общие материалы - 11 статей
🔸 Про счетчик - 3 статьи
🔸 События и конверсии - 17 статей
🔸 Настройки Google Analytics 4 - 39 статей
🔸 Отслеживания - 32 статьи
🔸 Сегменты и аудитории - 6 статей
🔸 Отчетность - 9 статей
🔸 Исследования - 8 статей
🔸 Параметры и показатели - 12 статей
🔸 Google Analytics 4 и BigQuery - 27 статей
🔸 API Google Analytics 4 - 5 статей
🔸 Визуализация данных - 4 статьи
🔸 Серверный контейнер, MCP, автоматизации - 3 статьи

Всего ~ 176 подробнейших руководства

Если вы работаете с международными продуктами, где основные сервисы от Google, моего блога будет достаточно для всех задач по настройке и отслеживанию.

💡 База знаний Google Analytics 4

Обязательно добавьте коллекцию в закладки! 📌

Яндекс Тег Менеджер 📦 открывает практически безграничные возможности. С его помощью эффективно решаются самые разные задачи маркетологов, аналитиков и разработчиков. При этом парадокс инструмента в том, что чем глубже его изучаешь, тем яснее понимаешь, как много еще предстоит узнать. Одна из таких нестандартных задач, доступных для реализации - это отправка заявок с сайта напрямую в мессенджер Telegram 📱

Пользователь заходит к вам на сайт, оставляет заявку, и вы сразу получаете ее в Telegram. Реализовать это можно самостоятельно, без каких-либо финансовых затрат, используя только возможности Telegram и Яндекс Тег Менеджера.

Какой практический смысл этой настройки?

🔸 продемонстрировать нестандартные возможности работы с Яндекс Тег Менеджером;
🔸 иметь запасной вариант приема обращений (дополнение к CRM-системе, e-mail и т.д.);
🔸 потому что это бесплатно и просто, а значит каждый может попробовать настроить.

Как настроить отправку заявок с сайта в Telegram с помощью Яндекс Тег Менеджера? Вы узнаете из моего нового руководства!

✅ Читать статью

В 2021 году я единственный раз проводил живой поток по сквозной аналитике. На нем мы освоили практические приемы настройки CRM-системы и инструментов веб-аналитики для отслеживания пути клиента от клика по рекламе до его повторных продаж, а также создали отчет, который позволил принимать верные решения и увеличить прибыль компании.

💭 Набор технологий был разнообразен: Яндекс Метрика, Google Analytics, рекламные системы VK, Google Ads, Яндекс Директ, Facebook* и CRM-системы.

* принадлежит компании Meta, признанной экстремистской и запрещенной на территории РФ

И все это в процессе обучения трансформировалось в готовое решение на базе облачных хранилищ (Google BigQuery), а также доступных интеграций (бесплатные коннекторы, Albato, ApiX-Drive, OWOX и др.) и сервисов сквозной аналитики с последующей визуализацией в Microsoft Power BI и Google Data Studio. Слушатели не только создали свой конвейер данных, но и разобрались в том, какие способы объединения данных из разных систем в принципе существуют.

Последние годы сквозная аналитика выглядела как конвейер из разрозненных сервисов. Маркетологи подключали разные сервисы, платили деньги за каждый из них, кто-то пытался находить бесплатные костыли с ограничениями, парсеры или даже пробовал писать свои скрипты.

Но чтобы свести расходы из Яндекс Директа и визиты из Яндекс Метрики с лидами из CRM, требовалось удерживать 2-3 отдельных инструмента, платить за каждый и мириться с тем, что данные гуляют по внешним серверам (когда вы подключаете аккаунты к сервисам сквозной аналитики, вы отдаете владельцам этих платформ доступы и свою статистику - фактически у них есть полный контроль) ⚠️

Сегодня эта архитектура трансформируется. И популярным решением на рынке становится n8n + ваш собственный сервер. Он берет на себя роль командного центра: все источники (рекламные кабинеты, веб-аналитика, CRM) подключаются напрямую через API в одном рабочем процессе (или нескольких), который работает на вашем сервере. Никаких внешних интеграций, никакой ручной склейки и объединений. Только чистые (преобразованные) данные в одном месте. Все доступы и учетные записи остаются у вас, другие к ним доступа не имеют.

Это новый формат построения сквозной аналитики внутри организации - другими средствами и с полной независимостью от сторонних инструментов

Однако для работы с n8n требуются знания совершенно другого уровня. Например, вы не должны бояться таких терминов и технологий, как: JSON, HTTP-запросы, вебхуки, API, cron, парсинг, сервер, базы данных, терминал (командная строка), функции на Python и JavaScript. Именно этим всем мы и будем заниматься, изучая n8n для решения прикладных задач интернет-маркетинга, с 1 июля!

Присоединяйтесь к онлайн-курсу «n8n для маркетологов», чтобы стать одним из первых архитекторов собственных систем и работать с данными внутри организации на совершенно другом уровне! 💛

❗️ Повышение цены - с 16 мая!

✔️ Присоединиться

Видео сегодняшней трансляции уже доступно на Rutube и YouTube! 📸

📺Rutube
📱 YouTube

Тайминги к видео:

- Вступление 0:00
- Начало 1:55
- Подпишитесь на мои социальные сети 3:11
- Формат сегодняшнего занятия 4:30
- Презентация новой платформы 5:55
- Про мое первое обучение 6:41
- Первое обучение на GetCourse 9:50
- Далее - обучения, запуски, новые слушатели 10:16
- ~ 2900 слушателей 10:58
- Стоимость GetCourse для меня - 156 000 рублей в год 12:43
- Целесообразно ли платить 156к? 15:10
- Цели, которые я преследовал 16:30
- Дневник разработки 19:47
- Как выглядела платформа в первый день 23:05
- Как выглядела платформа в день релиза 23:19
- Основной функционал платформы 23:33
- Обучение по n8n - с 1 июля 27:16
- Как переехать с GetCourse на edu.osipenkov.ru? 28:18
- Если вы - новый пользователь 30:57
- Про тарифы 31:33
- ИИ-помощник 34:01
- Заметки 34:31
- Отдельное видео и нарезки (плейлисты) 35:51
- Начисление баллов 36:28
- Задать мне вопросов 37:04
- Партнерская программа 37:26
- Если вы нашли ошибки 39:39
- Переехали из GetCourse - ничего не изменилось 40:05
- Демонстрация платформы 41:10
- Ответы на вопросы 1:07:50

Не забывайте ставить видео лайк, чтобы его увидело как можно больше человек 👍