Получение баланса Яндекс Директа в Power BI для агентства
http://ift.tt/2gW63V2

Всем привет. На своей странице фейсбук я тоже делюсь полезной информацией, например сегодня выложил вторую версию дашборда по качеству слов в adwords.
Данный дашборд помогает ppc специалисту, отвечает на следующие вопросы:
1. Какая ситуация с показателем качества слов?
2. Что нужно оптимизировать, чтобы его улучшить?
3. Где нужно оптимизировать?
4. Какое сейчас объявление?
5. Есть результат после оптимизации?
Вот ссылка на пост https://goo.gl/jL4Qjg
Добавляйтесь в друзья!

Как написать интерфейс в Power BI на HTML5
https://goo.gl/xdfJuM

Всем привет. Создал новый дашборд для определения отсутствия рекламы, на категории товаров интернет магазина. Родился он из вопросов руководителя "а где еще реклама не настроена?", когда я работал в PPC.

Отвечает на вопросы:
1. На какие группы товаров есть/нет трафика/продаж?
2. С каких источников есть/нет трафика/продаж?

Для того, чтобы понять, где требуется запуск рекламы.

https://goo.gl/KAtf9X

Предыдущую работу оформил в статью
"Как вовремя выявлять категории товаров, в которых снизился рекламный трафик: решение на базе Logs API Яндекс Метрики и MS Power BI". Спасибо Александре Кулачиковой за подобранный заголовок к этой статье.
https://goo.gl/8GM9g1

Давно не писал т.к. погрузился в создание аналитического продукта. Думаю, что в этом или следующем месяце презентую. Но т.к. телеграм решили заблокировать, об этом вы можете узнать на моей странице в FB https://www.facebook.com/pavel.maksimow
Подпишитесь!

Вот результат того, над чем я так самозабвенно работал прошедшее время, потому что было очень интересно. Реализовал и закрепил все свои знания в программировании на #Python, создания дашбордов в #PowerBI, сбора и обработки данных в #Clickhouse. Считаю получилось отлично. Но, к сожалению трудно масштабировать на другие проекты, в том виде, в котором она написана. Чем займусь дальше, пока не знаю. Сейчас творческий кризис...

Дашборд http://bit.ly/2rGoBh8


Отчеты:

Сравнение данных по периодам

Сводные

Когортный

ЮНИТ Экономика

Расход/доход по клиентам

Разные отчеты по контексту (сквозные данные)


Особенности проекта:

Блок рекомендаций требуемых действий для кампаний, групп и ключевиков в контексте. Учитывается расходы за все время и показатель LTV.

Смена модели аттрибуции в отчете.

Высокая скорость работы дашборда при больших данных. (Плюс еще есть потенциал для увеличения скорости)

Удобство. Смена графиков в рамках одного отчета. Возможность сменить метрику и группировку в графиках и таблицах

Доступна фильтрация по многим срезам


Что не сделано:

Отчеты по ассортименту, по местоположению юзеров, отчет RFM.


Очень долго возился с генерацией данных для демо версии и таки не довел до совершенства "отчет по качеству слов в Adwords" и "Отчет п клиентам". На реальных данных все нормально.

Буду рад отзывам на моей странице в Facebook, пишите.
https://goo.gl/zSAHg1

В обновлении Power BI добавили подсказки для таблиц. Раньше мне приходилось добавлять их отдельными блоками над таблицей. Ну и своими подсказками рекомендациями похвастаюсь походу дела🙂

Хотите автоматизировать сбор данных из разных систем и освободить свое время для более интересных занятий🙂?

Сервис Novostat Teleport поможет https://teleport.novostat.pro

Для кого он?
Для тех, кто периодически собирает данные в Google Sheets.
Для тех, кто хочет построить сквозную аналитику

Куда можно загружать данные?
- в Google Sheets, BigQuery, Clickhouse

Откуда можно выгружать?
- Criteo
- Google: Ads, Analytics, Sheets
- Яндекс: Маркет, Метрика, Директ

В ближайшее время будут добавлены Facebook, Vkontakte, Mytarget, а также crm системы и коллтрекинги.

Список доступных источников будет расширяться 😉

Данные из ваших систем Novostat Teleport не хранит, не анализирует и не использует, кроме тех, что нужны для осуществления работы сервиса. И не будет этого делать.

Сервисом можно пользоваться бесплатно до 7 апреля, а может и больше (посмотрим🤔). Сейчас он находится на стадии тестирования

Если будут вопросы, найдете ошибки или понадобится помощь, то обращайтесь @pavel_maksimow

Написал библиотеку Python для API Mytarget
http://bit.ly/2YRQqD7

Выложил в открытый доступ свою обертку над стандартной библиотекой для работы с API Google Analytics (v3) на Python

- Умеет запрашивать данные маленькими порциями, чтобы обойти семплирование.
- Если в один ответ не поместятся все строки (макс 10000), сделает дополнительные запросы.
- По умолчанию возвращает данные в формате dataframe.

https://bit.ly/2WYeDpr

Всем привет, кто еще здесь живой.
Ранее здесь я пытался писать про аналитику, когда я этим занимался.
Уже 6-ой год я занимаюсь серверной разработкой, буду теперь здесь писать про это.
Оставайтесь, кому интересно!

Посмотрел интервью с Владом Ханоновым, автора книги с обезьяной "Изучаем Domain Driven Design", в этом интервью он немного рассказал про свою новую книгу, которая будет посвящена модели уровня взаимодействия между компонентами системы.

Модель определяется следующими факторами:
1. Кол-во знаний, которыми обмениваются компоненты.
Чем их больше, тем будет больше каскадных изменений.
2. Расстояние между компонентами.
Чем меньше расстояния (находятся в одном микросервисе), тем легче внести изменение и наоборот.
3. Частота внесения изменений

В итоге формула получается такой:
Кол-во знаний и расстояние должно балансировать в зависимости от кол-ва изменений.

Замечу, что такая формула подойдет для определения решения, когда не стоит выносить компонент в микросервис.
- Когда компоненты обмениваются большим кол-ом знаний , а изменения вносятся часто. Лучше их расположить рядом, чтобы легче вносить изменения.

Когда можно выносить в микросервис? В случаях, в которых нам придется меньше или реже вносить синхронные изменения в оба компонента.
Т.е. сервисы должны обмениваться малым кол-вом знаний или внесение изменений должен быть редким.

https://youtu.be/PRL3vVfv1dA?si=UkAOjDBpWKU7uwOu&t=3083

Нашел крутую визуализацию работы Kafka, можно интерактивно менять кол-во её компонентов и смотреть, как это работает в новой конфигурации. Я прохожу интенсив по архитектуре брокеров и очередей и мне помогло заметить неочевидные моменты в её работе.

Еще вспомнил, что у меня в закладках сохранена интерактивная визуализация по алгоритам балансировки трафика, тоже рекомендую.
Внизу этой страницы.

Раньше работал в давно живущих проектах, где GitLab и CI/CD уже настроен, просто комитишь код и жмёшь Merge. С одной стороны хорошо, не надо в этом разбираться. С другой стороны не знаешь, как это работает и не можешь настроить на новом проекте. Хорошо, что мне это потребовалось сделать на реальных проектах, сразу закрепил знания на практике. Выбрал этот курс, мне кажется из-за того, что там был готовый docker конфиг и инструкция по развёртыванию локального GitLab.
В целом, хорошая база для разработчика. Если до этого ковырял GitLab "по ситуации", то курс помогает выстроить целостное понимание и разобраться в деталях.

В Python есть предел, когда повышение кол-ва потоков в ThreadPoolExecutor не даёт ускорение, потому что из-за GIL потоки могут работать только на одном ядре и оно не успевает обработать CPU нагрузку этих потоков. Автор этой статьи предлагает гибридный ProcessThreadPoolExecutor, совмещающий потоки и процессы. Логика несложная - делить входные данные на пакеты для каждого процессора, передавая их в ProcessPoolExecutor, в котором каждый процессор запускает обработку данных пакета с помощью ThreadPoolExecutor. Ускорение значимое, стоит обратить внимание. В статье есть примеры, бенчмарки и готовый код.