📢 Привет, друзья!

⏰Завтра (12 июня) в 20:00 по мск вебинар.

🎯 [Тема вебинара]: Game Changer: Переход из BI в мир игр

🔎 Спикер раскроет перед вами свою новую главу жизни, когда она решила покинуть мир BI и основать свою собственную студию настольных игр. Вы услышите о ее вдохновении, столкновениях с трудностями и экономической стороне ведения бизнеса. И самое интересное, вы узнаете, как ее знания и опыт в аналитике помогли ей успешно применить их в новой и увлекательной сфере.

📌 Ссылка на вебинар: https://youtube.com/live/7byO0N-aIJY?feature=share

До встречи на вебинаре! 💪💼
#вебинар #datalearn

Через 15 минут начинаем

Тема Privacy и Compliance достаточно важная. Часто могу спросить на собеседовании про это. У меня ответ просто - в хранилище\озере данных никаких клиентских данных (PII) и точка. Но и возможность удалить нужно клиент по запросы, чтобы соответствовать GDPR. На этом мои познания заканчиваются.

Но тема большая и возможно для руководителей обязательная. Впервые вижу книгу посвященную этой проблеме - Practical Data Privacy

Between major privacy regulations like the GDPR and CCPA and expensive and notorious data breaches, there has never been so much pressure to ensure data privacy. Unfortunately, integrating privacy into data systems is still complicated. This essential guide will give you a fundamental understanding of modern privacy building blocks, like differential privacy, federated learning, and encrypted computation. Based on hard-won lessons, this book provides solid advice and best practices for integrating breakthrough privacy-enhancing technologies into production systems.

Город засыпает, просыпаются рекрутеры и делают выбор: кто попадет в команду разработки внутренних продуктов.

Мы в МТС любим играть в мафию и проводить One day offer. И подумали, почему бы не совместить эти две активности и заодно найти аналитиков разных профилей. Наша команда развивает сервисы в рамках экосистемы HR Tech. Например, разработка системы управления эффективностью или создание корпоративного портала для сотрудников. У нас амбициозные планы — стать первым цифровым HR с комплексным подходом к разработке и поддержке внутренних продуктов. Но для этого нам нужны настоящие профи.

Готовы участвовать и проверить — вы Дон SQL или мирный аналитик? Кликайте по ссылке и начните игру. Да, нужно успеть до 19 июня

Попался репозиторий - Coding Interview University, в котором автор делится материалами, как он самостоятельно учился.

8-12 часов в день, несколько месяцев - именно это я всегда говорил в data learn. Нереально въехать в новую профессию, занимаясь 1-2 часа через день.

Поэтому важно поставить себе цель и приоритеты, и тогда будет все с👌, а иначе как в анекдоте ( в комментах)

GitHub провел опрос о пользе AI tools для разработчиков и поделились результатами. Результаты позитивные, я полностью согласен, так как уже использование chatGPT заменил google.

🚀 Хотите узнать, как собирать и анализировать данные в Telegram?

Тогда подключайтесь к бесплатному вебинару 20 июня 2023 года в 12:00.

Мы подробно расскажем и покажем, как с помощью serverless-сервисов реализовать упрощённый пайплайн поставки данных в Managed ClickHouse и визуализировать их в DataLens. На вебинаре:
• мы сделаем обзор serverless-сервисов и DataLens;
• вы узнаете, как решить задачи поставки и визуализации данных, используя связку: Managed ClickHouse, serverless-сервисов, DataLens, — и как реализовать эти задачи на примере аналитики данных Telegram-чатов.

Вебинар будет полезен бэкенд- и фронтенд-разработчикам, DevOps-специалистам, аналитикам и PM-ам.

Вебинар бесплатный — нужна только регистрация.

#реклама

Пример решения на Azure Databricks для крупнейшего Северо-Американского телеком оператора. Так получилось, что я слегка помогают сразу двум операторам, один на AWS EMR+Spark и витрины в Snowflake, а другой на Azure Databricks (Delta Lake).

🔥 Главная в России конференция про Kubernetes®

22 июня 2023 года состоится Kuber Conf — конференция для всех, кто работает с Kubernetes®. Вас ждёт 9 докладов, 12 спикеров, 180 минут техноконтента:

➡️ технические доклады, продуктовые обзоры, лучшие практики от разработчиков и экспертов по контейнерным технологиям;
➡️ создание сервисов и решение бизнес-задач с помощью Kubernetes в финтехе, e-commerce, HoReCa и не только;
➡️ неформальное общение с профессиональным сообществом, встреча старых друзей и новые знакомства.

Регистрируйтесь по ссылке, чтобы получить доступ к онлайн-трансляции Kuber Conf’23!

Я решил изучить Emacs, стал читать книгу Harley Hahn's Emacs Field Guide

И в первой главе сразу:

Generally speaking, here is what we can say about the type of people who like to use Emacs (and because you are reading this book, I am assuming that these three statements apply to you):

1.  Emacs users are smart.
2.  Emacs users like to use computers.
3.  Emacs users enjoy teaching themselves how to use complicated, powerful tools.

Ну вы поняли😎

PS Emacs — один из наиболее мощных и широко распространённых редакторов, используемых в мире Unix. По популярности он соперничает с редактором vi и его клонами. В зависимости от ситуации, Emacs может быть:

- текстовым редактором;
- программой для чтения почты и новостей Usenet;
- интегрированной средой разработки (IDE);
- операционной системой;
- всем, чем угодно.

Всё это разнообразие достигается благодаря архитектуре Emacs, которая позволяет расширять возможности редактора при помощи языка Emacs Lisp. На языке C написаны лишь самые базовые и низкоуровневые части Emacs, включая полнофункциональный интерпретатор языка Lisp. Таким образом, Emacs имеет встроенный язык программирования, который может использоваться для настройки, расширения и изменения поведения редактора. В действительности, большая часть того редактора, с которым пользователи Emacs работают в наши дни, написана на языке Lisp.

Первая версия редактора Emacs была написана в 70-х годах 20-го столетия Richard Stallman (Ричардом Столманом) как набор макросов для редактора TECO. В дальнейшем, уже будучи основателем Фонда Свободного программного обеспечения Free Software Foundation и проекта GNU, Столман разработал GNU Emacs в развитие оригинального Emacs и до сих пор сопровождает эту программу. (источник https://alexott.net/ru/writings/altlinux-emacs/#sec1 - самое интересное, что я общался с этим человеком, когда внедрял Databricks в Xbox, а теперь мне Bing выдал его пост сверху)

PPS Классное выступление How Emacs made me appreciate software freedom

Оказывается в Ванкувере проводится крупнейшая конференция - EEE/CVF Conference on Computer Vision and Pattern Recognition 2023 о которой я узнал из канала эйай ньюз

Автор канала Артем оказался в Ванкувере и после нескольких сообщений получилось организовать классную встречу на крыше с шикарным видом и bbq в самом центре Ванкувера на которую пришли все желающие среди его подписчиков.

Несмотря на то, что некоторым не продали алкоголь😜, мы отлично провели время, обсуди непростую жизнь иммигрантов и ИТишников, зарплаты, жизнь в Европе/Северной Америке и много другое.

📊 Любопытный кейс Fix Price с аналитикой данных о продажах.

Долгое время команда Fix Price использовала платформу с ассоциативной архитектурой. Данные обрабатывали в оперативной памяти. Поняли, что много времени тратят на построение витрин данных — по три часа в день.

Изменили подход к построению структуры данных и внедрили СУБД на базе ClickHouse с предварительной обработкой xml-файлов с помощью Yandex Cloud Functions. Результат — теперь на один отчет тратится несколько секунд 🤩

Подробности по ссылке.

#weeklydatanewsdump

И снова накопилась порция полезных ссылок.

Мне понравилось видео - God-Tier Developer Roadmap, в котором автор рассказывает о пирамиде языков программирования, начиная с таких простых как Scratch. Было бы классно сделать такую же пирамиду про Аналитику. Например, в моем понимании начинается с Excel->SQL->Python->Scala/Go и тп.

Другое видео I Tried Andrew Huberman's Morning Routine - [30 Days + Blood Tests] - в целом про дисциплину. Мы все знаем как быть успешными (для меня отчасти это синоним дисциплинированности), но очень мало людей имеют достаточно мотивации, чтобы следовать простым правилам, которые сделают вас более продуктивными, мотивированными, и как следствие более счастливыми и здоровыми. Это большой топик, у которого нет четкого решения.

Недавно увидел очень удобный плагин Fig, у которого нереальный autocompletion. Это open source. Другой классный плагин для CLI - fx, который умеет красиво форматировать JSON в командной строке.

Парочка ресурсов про PySpark Style Guides:
- PySpark Style Guide
- Palantir PySpark Style Guide - активно использовал его.

Вообще style guide необходим, чтобы вы не использовали, чтобы все было "по красоте".

Отличная статья, которая помогает разобраться в Presto\Trino терминологии - Introduction to Presto/Trino for Data Engineers. Кстати AWS Athena использует Presto query engine. Так же недавно мы общались с Trino/Presto основателями. Мой текущий DE менеджер (пригласил бывших коллег) был сокращен из Meta, где он проработал года 3, а до этого он много лет работал в Lyft, еще до IPO. Очень грамотный мужик, слушаю его и впитываю информацию. Вообще он сказал, что уже на пенсию собирается=) как я понял он грамотно распорядился стоками Lyft/Meta и владеет недвижимостью в Канаде и США, и в свободное время менеджер инженеров🛺

Snowflake поделился - Monitoring your Snowflake Organization with Snowsight. Вообще, все что есть в снежинке для мониторинга стоимости сделано очень качественно и детально, можно все отслеживать и тем самым экономить и оптимизировать.

Хотя согласно этой маркетинговой статье REDUCING OUR DATA INFRASTRUCTURE COSTS BY 76% BY MIGRATING FROM SNOWFLAKE TO DATABRICKS в Databricks будет еще дешевле🙈, и где то я видел, что в Trino будет еще дешевле, чем в Databricks и про миграцию из Trino/Presto на Snowflake. Круг замкнулся. 😭

Пока мы топим за облака, есть компании, кто очень круто обходится без облаков, так как особо никаких нет преимуществ для них - Inside Agoda’s Private Cloud. Поэтому для большинства Российских компаний быть не в облаке это уже не значит, что компания динозавр, а наоборот осмысленный шаг.




Еще несколько Git Repos с полезными материалами по Software Engineering Foundations:
- 30-seconds-of-code
- Public APIs - Explore, discover and consume public APIs as simpler programmable building blocks all on one platform for a 10x developer experience.
- free-programming-books - The list was moved to GitHub by Victor Felder for collaborative updating and maintenance. It has grown to become one of GitHub's most popular repositories, with 271,000+ stars, about 9,700 watchers, more than 8,300 commits, 2,400+ contributors, and 54,000+ forks.
- The Algorithms - Open Source resource for learning Data Structures & Algorithms and their implementation in any Programming Language
- Tech Interview Handbook - free and curated technical interview preparation materials for busy engineers, brought to you by me, the author of Blind 75. Over 500,000 people have benefitted from this handbook!

PS И маленький бонус для Северо Американских (и не только) коллег - Insights про ипотеку, как начать экономить и перестать жечь деньги на ипотечный процент - Mortgages and Christmas Gifts и еще мне понравилось Understanding Money - это все личный блог Harley Hahn, автора книги про Unix, Emacs и множество других. Мужик просто гений.

Return to Office Enters the Desperation Phase - статья про возвращение сотрудников в офис, напоминает нам о том, что идея удаленной работы не очень хорошо ложится на финасовые показатели больших компаний. Отсюда и движ в сторону загнать всех в офис, а кто не хочет - "давай досвидание".

В Linkedin попался хороший комментарий на эту тему:

This article starts strong with this asinine CEO complaining that zoom calls are too polite and that he is much happier in person where you can interrupt people.

And it’s that kind of pathetic reaching that we hear over and over again when regressive CEOs struggle to justify RTO. But they are liars. Here are three reasons they want you back in the office:

1. Bonuses and EBIT: with long term leases, the cost of an office looks like a loss on their balance sheet. EVEN IN A PROFITABLE COMPANY this means bonuses get a bit lighter for the folks on top.

2. Quiet layoffs: if they can make a change that will force parents, distant workers and others to resign - that doesn’t look like a layoff on their balance sheet. Does it vastly discriminate against single moms and people with less family wealth? Sure. Is that racism with extra steps? Sure. But that’s fine. We can interrupt people in person!

3. Middle Management Failings: the incompetence and impotence of middle management has never been more obvious than the vast improvements in output that happened when they were no longer part of the equation with WFH. And once again, you can quiet lay off brown moms every day of the Shark Week, but try to fire middle management and you’ve got a lawsuit on your hands buddy.

RTO is a lie by liars and what comes next will be the scramble to invent proof of decreased productivity from home. But don’t pretend for a second that these racist liars aren’t ready to put their racist lying sleaze hands on the scale to make their points. They’ve already started.

То есть, несомненно, возможность всех заставить ходить на работу принесет выгоду владельцам бизнеса, но явно не на пользу сотрудникам, особенно у кого есть множестве личных дел. В мое случае ходить в офисе звучит как "зашквар", что-то из далекого прошлого. В любом случае не нам выбирать, где работать - дома или в офисе, кто платит, тот и музыку заказывает.

А как у вас настрой с удаленной работой и возвращение в офис? А может быть вы уже вернулись?

IT_One Data Meetup: обработка и хранение данных — бесплатный онлайн-митап при поддержке JUG Ru Group.

🗓 Митап пройдет на сайте IT_One — 29 июня в 18:00

В программе:
✔️ Анна Зверькова — «Как обойти грабли при очистке данных от дубликатов с помощью Apache Hive».
Анна расскажет о способах и проблемах дедупликации большого объема данных невысокого уровня качества, а также о методах решения проблем с помощью Apache Hive и других инструментов.

✔️ Сергей Мелекшаян — «Кэширование ответов с помощью JSONB для высоконагруженных сервисов».
Сергей покажет, как уменьшить количество промежуточных операций и отдавать данные быстрее — с помощью готовых данных в виде JSON.

Так же в программе дискуссии и розыгрыши призов 🎁

Участие бесплатное. Регистрация по ссылке на сайте мероприятия.

Классно видеть как 2 топ человека из Tableau Community создали семью. Именно они учили всех Tableau и запустили проект MakeOverMonday, на котором каждую неделю выдавали новый data set и каждый желающий строил dashboard. Я сам лично построил dashboard про объемы картофеля в Нидерладнах🦥

Мы часто сравниваем цены облачных решений по условным единицам - DBU, credits, DPU, SCU и так далее.

На самом деле цена складывается еще и из облачных сервисов, которые задействованы в работе решения.

На картинке список статей расхода за владением Databricks, где сам compute (DBU) лишь часть цены удовольствия.

Вчера был очередной спонтанный event, даже 2. Во-первых, я посетил местный митап low key data, на котором люди пообщались за жизнь, и на котором был автор книги Fundamentals of Data Engineering. Было шумно и скучно.

А вот второе событие было что нужно! Так как это был последний день конференции CVPR по компьютерному зрению, и народ решился собраться вместе, и мне удалось присоединится. Но в этот раз был народ из бывшего сообщества ODS, которое распалось на 2. В Как я понял, народ собрался из Singularis. Я сам далек от их движений, но было классно снова собраться на крыше Microsoft с видом на вечерний/ночной Ванкувер (так как столик на 10 человек в ресторане не вместил 20-30 человек).

Познакомился со множество классного народа, вот например:
- основатели стартапов Denti.AI, DVC, Breeze Traffic
- инженеры из Калифорнии с зп 600к+
- PhD студенты
- и просто гении нашего времени

Короче, прям благоприятная среда для нетворкинга! Так, что если еще какой движ в Ванкувере, пишите, будем собираться обсуждать стартапы, компании, страны, зарплаты и пить местные напитки🦾

Публикации на Google Research

Последние пару дней я активно готовился к своему докладу про RnD и изучал страничку research.google/pubs/, чтобы посмотреть какие white papers появлялись у Google и когда.
В итоге, я составил список ключевых документов с фокусом на сервисы и инфраструктур (исключая ML), которым решил поделиться

- 2003 год - The Google File System - про распределенную файловую систему от Google
- 2004 года - MapReduce: Simplified Data Processing on Large Clusters - про концепцию параллельной обработки в формате MapReduce (по мотивам появился Hadoop)
- 2006 год - Bigtable: A Distributed Storage System for Structured Data - про распределенную NoSQL базу (по мотивам BigTable и Amazon DynamoDB появилась Cassandra)
- 2006 - The Chubby lock service for loosely-coupled distributed systems - про сервис распределенных локов, которые можно использовать вместо встраивания консесуса в сами сервисы
- 2007 - Engineering Reliability into Web Sites: Google SRE - про роль SRE в обеспечении надежности
- 2010 - Dapper, a Large-Scale Distributed Systems Tracing Infrastructure - про трассировку в распределенных системах (open source последователи Zipkin, Jaeger, OpenTelemetry)
- 2012 - Spanner: Google's Globally-Distributed Database - про NewSQL базу данных с масштабированием как у NoSQL и ACID транзакциями, под капотом TrueTime для точного определения времени, что нужно для определения порядка транзакций (open source последователи Cockroach DB)
- 2013 - Omega: flexible, scalable schedulers for large compute clusters - про окрестратор рабочих нагрузок (наследник Borg, но менее удачный)
- 2015 - Large-scale cluster management at Google with Borg - про оркестратор рабочих нагрузок, что предшествовал Omega и в итоге оказался более удачным и пережил ее
- 2015 - TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems - про фреймворк для машинного обучения, который сразу был выпущен в open source
- 2016 - Borg, Omega, and Kubernetes - про сравнение двух внутренних и одного публичного (K8s) оркестратора нагрузок (Kubernetes изначально тоже сделал Google)
- 2016 - Ubiq: A Scalable and Fault-tolerant Log Processing Infrastructure - про обработку логов на масштабе
- 2017 - Spanner, TrueTime and the CAP Theorem - про CAP теорему и Spanner от создателя CAP-теоремы, Eric Brewer, что к этому моменту уже давно работал в Google
- 2018 - Advantages and disadvantages of a monolithic repository: a case study at google - про монорепозиторий Google и как он помогает им в разработке
- 2019 - Zanzibar: Google’s Consistent, Global Authorization System - про ReBAC систему авторизации, что завязана на отношения между сущностями (мы этот white paper как-то уже обсуждали в Code of Architecture)
- 2020 - Monarch: Google's Planet-Scale In-Memory Time Series Database - про time-series базу данных
- 2020 - Scaling PageRank to 100 Billion Pages - про масштабирование ключевого алгоритма на графах (Page Rank) на супер масштабы
- 2020 - Autopilot: Workload Autoscaling at Google Scale - про автомасштабирование рабочих нагрузок в облаках
- 2022 - Deployment Archetypes for Cloud Applications - интересное исследование про виды deployments
- 2023 - A Model-based, Quality Attribute-guided Architecture Re-Design Process at Google - интересный документ про архитектурные процессы в Google на примере репроектирования системы Monarch, про которую был white paper от 2020 года

Если суммировать мои мысли про Google и создание ими статей, то видно, что они первыми писали про многие сложные штуки, но вот open source решений поначалу они не создавали, и у них появлялись open source аналоги. И эти аналоги были несовместимы с внутренними инструментами Google, что мешало получать помощь от коммьюнити. Значимыми исключениями с точки зрения открытости являются: Android, Chrome, Kubernetes, TensorFlow.

#RnD #WhitePaper #Software #SoftwareDevelopment #Architecture #SoftwareArchitecture #DistributedSystems #SystemDesign #SystemEngineering

Следующие несколько дней будет идти снег, то есть Snowflake Summit 2023 в Лас-Вегасе. Достаточно большое событие в мире аналитике. Когда давно таким же была Tableau Conference. Но фокус сместился с инструментов визуализации и коммуникации к инструментами хранения и обработки больших данных и AI. Ведь AI без больших данных (я не про buzz Big Data, а буквально много данных).

Самое забавное, что конференция Databricks проходит в эти же дни в Сан-Франциско.

Сегодня был всего один Keynote - Generative AI's Impact on Data Innovation in the Enterprise на котором CEO Snowflake и CEO NVIDIA обсудили роль generative AI в современном мире.

Вся дискуссия свелась к определению AI приложений. Оба CEO не могут сдержать эмоций от бума AI и LLM. "Просто WOW!"(c)

Главная задача аналитического решения - intelligence decision, то есть необходимо найти правильную информация - insights, которые помогут принять правильное решение. Данные мы научились собирать, хранить и обрабатывать. Но все еще достаточно сложно найти правильную информацию.

С ростом популярности LLM можно будет поручить эту задачу (поиска insights) умным агентам (AI agents). Но для этого необходимо будет тюнить и совершенствовать базовый (pre-trained) LLM модели. А это очень дорогой (compute intense) процесс.

Именно поэтому Snowflake и Nvidia рассказали про партнерство в этой области. У Snowflake есть много данных, NVIDIA предоатсвить GPU compute и pre-trained модели. Таким образом клиенты смогут строить AI Applications and Systems.

AI System = LLM model + knowledge database.

Кстати, нашел старый пост про Snowflake+Nvidia - Large-Scale Machine Learning with Snowflake and RAPIDS

Так, что смотрим что нового появится в Snowflake.

PS еще узнал про сервис chatPDF.

В самом Лас-Вегасе +35, вся улица пестрит баннерами data вендоров.

PPS параллельно с summit проходит этажом выше Hair конференция про прически и уходы за волосами.

Из минусов, детям до 21 запрещают играть в казино, а какие были надежды и планы на выигрыш)))