Инжиниринг Данных
22.9K subscribers
1.75K photos
52 videos
181 files
3.04K links
Делюсь новостями из мира аналитики и карьерными советами.

15 лет в Аналитике и Инжиниринге Данных, 9 лет в FAANG

🛠️ dataengineer.ru | 🏄‍♂️ Surfalytics.com

№5017813306

Реклама:
https://almond-rule-130.notion.site/1199f595f76a8030ba1be1e607c9a8ce
Download Telegram
Audio
Хороших выходных💃🎂🛒
Please open Telegram to view this post
VIEW IN TELEGRAM
Недавно закончил книгу That Will Never Work про историю Netflix.

Наверно вы знаете, что изначально Netflix был просто прокат DVD по почте.

В книге интересно показали концепт создания бизнеса. Ребята просто собрались и стали бреинштромить идеи. конечно же идея про DVD по почте - that will never work. Дальше они попробовали отправить диск по почте и он пришел быстро и не сломался.

В книге много примеров использования аналитики для принятия решений, ценообразования, исследования новых рынков и тп.

Много информации про найм и развитие сотрудников. Даже были увольнения.

В книги много пересечений про развитие стартапов и сильно пересекается с прошлой книгой, про которую я писал The Angel Investor.

Да, и в целом про индустрию того времени, развитие Амазона и встречи с Джеф Безосом.

В книге иногда появляются идеи про стриминг видео, но они не воспринимаются в серьез. В книге про это практически ничего нет, ведь Netflix того времени это доставка DVD по почте.

Сам основатель оказался очень экономным и рассказыват про радость от Audi Quattro all road.

Я на него подписан в LinkedIn и дедушка в свободное время от прогулок по west coast пописывает для нас.


Некоторые цитаты из книги:
1. “You simply can’t know how things are going to behave until you’ve actually tried them. Go ahead and write up a plan, but don’t put too much faith in it. The only real way to find something out is to do it”

2. “Creative ideation and right people around are as important as focus.”

3. “When an opportunity comes knocking, you don’t necessarily have to open the door. But you owe it to yourself to at least look through the keyhole.”

4. “When your dream becomes a reality, it doesn’t just belong to you. It belongs to the people who helped you — your family, your friends, your co-workers. It belongs to the world.” During the initial growth phase of the company, he gave up on his dream to become the CEO, because the dream of making the company work was much more important than his personal ambition. He was able to do so because he was surrounded by people who had the courage to point-out his weaknesses and also because of his ability to see the rational truth and act on it. He understood that the “Netflix” dream was not only his dream now, but of all the people who have contributed time, energy and money, hoping for its success.

5. “Over-planning and over-designing is often just over-thinking — or plain old procrastination. When it comes to ideas, it’s more effective to test ten bad ones than spend days to come up with something perfect.”

6. “Focus is important for success.”

7. “Trust your gut, but also test it. Before you do anything concrete, the data has to agree.”

8. “Sometimes the only way out is through.”

9. “The most important step that anyone can take to turn their dreams into reality is a simple one: You just need to start.”

10. “As you get older, if you’re at all self-aware, you learn two important things about yourself: what you like, and what you’re good at. Anyone who gets to spend their day doing both of those things is a lucky person.” One of the most important lesson that the memoir teaches. It also reminds us to not get attached to the “success”, but keep working on what makes you happy. It’s surprising to see that Marc Randolph stepped down as soon as the company was up and running. Because for him, building things up from scratch and helping them become sustainable was the only joy-producing act, which could give purpose and meaning to his life.

11. He quotes Nolan Bunshell (co-founder of Atari) — “Everyone who has taken a shower has had an idea. But it’s the people who get out of the shower, towel off, and do something about it that makes the difference.”
Интересно стало посмотреть разбивку по возрасту среди читателей (всё думаю в какой момент начинать давать советы для молодежи😛)
Anonymous Poll
0%
До 16
3%
17-21
14%
22-25
26%
26-30
27%
31-35
17%
36-40
9%
41-45
3%
46-50
1%
51-55
1%
56+
Как построить аналитическую инфраструктуру уровня PRO своими руками или с небольшой командой?

Анонс для тех, кто устал вручную выгружать и сводить данные из разных источников. На деле ситуация серьезней, чем кажется.

Часто компании работают с разными источниками данных с собственной логикой. Каждая выгрузка превращается в хоррор-квест и отнимает много времени и сил. Формально аналитика работает, но все понимают, что можно лучше.

Облегчить жизнь команде аналитики поможет правильная инфраструктура, и ее можно собрать по готовому алгоритму. А где его взять?

28 февраля в 17:00 МСК архитектор VK Cloud Алексей Белозерский проведет вебинар. Там он покажет, как с помощью облачных сервисов и открытого ПО организовать хранение, обработку и доставку данных до конечных пользователей.

В программе:

🔹Основные принципы и этапы работы с данными: DWH, ETL, BI.

🔹Проектирование системы: создание DWH, передача и обработка данных с помощью Apache Airflow и DBT, подключение BI-систему Redash.

🔹Live-demo: эксплуатация системы. Подключаем источники, редактируем витрины, обогащаем дашборды в Redash дополнительными данными.

🔹 QA-сессия.

Посетите вебинар дата-инженеров , старших аналитиков и разработчиков DWH, а также менеджеров продуктов, ориентированных на data-driven подход.

У VK Cloud большой опыт в построении различных инфраструктур. Поэтому добавьте событие в календарь.

28.02.2024, 17:00 МСК

Зарегистрироваться
🎉 Телеграм-канал Яндекса специально для ML-специалистов

Yandex for ML — канал для ML-инженеров от Яндекса. Рассказываем, как мы применяем ML в продуктах Яндекса, и показываем людей, которые двигают вперёд технологии прямо сейчас.

Подписывайтесь
👉 @Yandex4ML
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Самое время пойти в Linkedin и нажать LIKE! И еще лучше reshare 😍

Спасибо!

Unveiling the Surfalytics brand, meticulously crafted through hand-drawn animation that captures the essence of North Shore and West Coast vibes, infused with an analytical twist.

Animation by MUTI
Music by DJ Andrei Andronikov
⭐️ Во вторник 27 февраля пройдет вебинар"Российский BI в мессенджере с ИИ. Новые возможности".

На вебинаре речь пойдет об отечественном BI-решении Easy Report, которое присылает отчеты в мессенджер по запросу на естественном языке. Расскажут о последних доработках, благодаря которым можно существенно сократить затраты на бизнес аналитику.

Повестка вебинара:

1. Как ИИ в BI помогает сделать аналитику доступнее для бизнеса: кейсы использования в строительстве, ретейле и других отраслях

2. Возможности Easy Report:

- формирование отчетов "на лету"
- распознавание запросов на естественном языке
- интерактивные графики в мессенджере
- интеграция с другими BI-системами и Superset

3. Как снизить стоимость BI-ландшафта на 47%

Ссылка на вебинар.

🗓 27 февраля • 11:00 мск • Онлайн
Agoda - огромная компания в Бангкоке. Она знаменита тем, что их инфраструктура работает on-premise.

Let's dive into Data Platform at Agoda. We're all about harnessing data to drive insights and innovation. Picture yourself managing 22PB of data, orchestrating over 80k Spark jobs daily, and handling 600,000 SQL queries every day. Our Kafka ecosystem is a testament to scale and efficiency, handling 1.7 trillion messages a day, totaling 450 TB of compressed data. 

У них появились вакансии с релокацией в Бангкок. Меня пригласили на собеседование на роль Staff DE, но так как у них все начинается с leetcode, я решил не тратить время🙈 А так конечно, было бы интересно узнать вилку зарплат и стоимость жизни в Бангкоке. (я бы туда не хотел бы, просто любопытно)

Но написал письмо, чтобы узнать про их вилку зарплат.

Статьи про их аналитику
- How Agoda Builds Efficient Data Warehouse with Vertica
- How our data scientists' petabytes of data is ingested into Hadoop (from Kafka)
- The Infinite Data Lake: how Vast’s Universal Storage Platform simplifies our large-scale database
- Inside Agoda’s Data Pipeline Team
- Testing Finance Platform At Scale With Shadow Testing
Please open Telegram to view this post
VIEW IN TELEGRAM
Snowflake написал о новой фиче - Hybrid Tables.

Hybrid Tables is a new table type that enables transactional use cases within Snowflake with fast, high-concurrency point operations.

Не совсем понятно как это дело использовать, но у них есть и пример:

For example, in order to control which ads users see, William Hill stores precomputed promotion treatments in a Hybrid Table and serves that data with low latency to their web and mobile apps. “Serving promotion treatment from Hybrid Tables reduces point lookup latency and allowed us to maintain unified governance by keeping all of that sensitive data within Snowflake,” says Rahul Jha, Senior Data Architect at William Hill.

То есть такой reverse ETL “не отходя от кассы”.
Forwarded from Job Interviews | Английский | Коучинг (Светлана Николаева | Job interview. English. Coaching)
🧭Навигатор полезных постов для тех, кому в ближайшее время предстоят собесы:

▪️Сколько времени лучше готовиться к собесу? ➡️ как понять

▪️5 главных ошибок при подготовке к собесу ➡️ здесь

▪️Нужны ли вам шаблоны ответов на интервью? ➡️ мое мнение

▪️Почему списки полезных фраз для интервью не работают ➡️ здесь и здесь

▪️Не знаете, что рассказать о себе? 3 важных навыка и 4 совета от меня ➡️ читать

▪️А здесь - пример, как мы готовили рассказ о себе с клиенткой-дизайнером ➡️ смотреть

▪️Как ответить на вопрос не слишком длинно, и не слишком коротко ➡️ читать

▪️И как не затягивать ответ, но сделать его исчерпывающим и информативным ➡️ здесь

▪️Если у вас “болит” small talk, то вот шпаргалка по тому, как его строить (и выше мой комментарий, как я вписываю эту работу в занятия) ➡️ смотреть

▪️Как усилить вашу подготовку к интервью, если вы параллельно уже проходите собеседования (под постом вы найдете пример инструмента, который можно забрать себе и работать с ним даже самостоятельно, без преподавателя)➡️ читать

▪️Что делать, если вы боитесь звучать глупо во время собеседования ➡️ читать

▪️Пример подготовки к tech interview (вопросы профессионального характера) с Java developer ➡️ по ссылке - начало серии постов об этом, читайте, забирайте себе стратегию, пробуйте

▪️Как рассказать о проекте так, чтобы вас действительно слушали ➡️ читать стратегию

▪️Если не знаете, что и как рассказывать о своих достижениях ➡️ научиться

▪️Как “продавать” себя на собеседовании, если ты с нуля идешь в новую сферу? ➡️ банк идей от читателей канала

📚Материалы:

Что сказать на интервью, когда не знаешь, что сказать (2 видео с разными советами и речевыми стратегиями, которые я всегда предлагаю своим клиентам, если у них есть эта проблема) ➡️ смотреть

Как писать cover letter (и нужно ли?) ➡️ 2 стратегии

Мои ТОП-6 англоязычных ресурсов, откуда можно брать информацию, идеи и вдохновение при подготовке к собеседованию (самый сохраняемый пост, кстати) ➡️ здесь

🖥Эфиры:


Эфир: Как отслеживать прогресс при подготовке к собеседованию?
Эфир: Как рассказать о себе, если напал ступор?
Эфир: Как мне подтянуть английский к собеседованию, если меня тошнит от грамматики и неправильных глаголов?

🎤Полезные войсы:

Подкаст с эйчаром (в 2 частях) ➡️ слушать
Войс: Почему вы до сих пор не выучили английский?)
Войс: Нужно ли вам изучать Business English, если вы готовитесь к собеседованию или уже работаете в международной команде?
🔥Самый горячий войс: Как подготовиться, если до собеседования остался один день?
Please open Telegram to view this post
VIEW IN TELEGRAM
рёли? oh my gosh, как сказали бы канадцы🤸
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
🌋 Нейросеть Яндекса поможет отслеживать распространение вулканического пепла

Пеплопад — опасное природное явление. Ежегодно сотни населённых пунктов по всему миру накрывает пеплом, останавливается авиасообщение. Нельзя предотвратить моменты выброса пепла, но можно заранее определить, на какую территорию он будет распространяться.

Для этого Yandex Cloud, Яндекс Погода и Школа анализа данных (ШАД) Яндекса вместе разработали специальный сервис в виде интерактивной карты. С его помощью спасательные, городские службы и учёные-геофизики смогут быстрее оповещать международную авиацию, жителей и туристов о распространении пепла и эффективнее устранять последствия выбросов. Сервис можно адаптировать для прогноза распространения выбросов пепла в любой точке мира. Сейчас технология уже помогает следить за пеплопадом на Камчатке.

💬 Читать подробнее о проекте.
Как использовать Базы данных для анализа данных на максимум?

Как быстро освоить ключевые навыки на практике, зачем использовать NOSQL, почему вам стоит использовать векторные базы данных и какие тренды стоит изучать в 2024 году.

А если вы не хотите терять время на бесполезные материалы и гайды — читайте канал: SQL Data Science, здесь вы за пару месяцев, а не за пару лет научитесь проектирвоать базы данных для проектов любого масштаба.

Разбор реальных практических задач с собеседований крупнейших компаний и новейшие тренды в работе с базами данных.

Для вас мы собрали маст-хэв папку для всех, кто работает с данными.

Подписывайтесь, такие знания в 2024-м году на вес золота: @sqlhub
Добавил недостающий модуль к Data Learn, правда теперь на английском и уже к Surfalytics.

Module 00 - Prerequisites Engineering Tools for Data roles

Тут 5 видео:
- Module 0.1: Choosing the Best Laptop, Monitor, Chair, and Lighting for Data Professionals
- Module 0.2: Getting Started with VSCode IDE
- Module 0.3: Just Enough CLI
- Module 0.4: Just Enough GitHub
- Module 0.5: Just Enough Docker

Я немного изменил фокус и теперь хочу, чтобы все студенты были on the same page, у всех были правильные ожидания от их рабочего компьютера, был аккаунт в GitHub, базовые навыки работы с командной строкой и хороший IDE, ну и как бонус базовые знания про контейнеры.

Даже если ничего не понятно, это не страшно, главное практиковаться.

Зато, когда вы присоединетесь к компании, то вам будет легче разобраться, что происходит, быстро соеринтироваться в code base и у вас отпадут вопросы, что такое .pre-commit.yaml, и другие файлики, которые живут в репозитории.

Мне реально не хватало этих навыков и самому приходилось до всего доходить окольными путями, а теперь вот я записал это для вас.

Must have для всех кто учится и не знает что-нибудь из этого, будет ваше competitive advantage.

Можете подписаться на youtube: https://www.youtube.com/channel/UCnO5iETX7Q72PCvafzlsoOg
Нашу новую книжку оффициально опубликовали и ее можно заказать https://www.amazon.com/gp/aw/d/1803246596/ref=tmm_pap_swatch_0?link_from_packtlink=yes

Для меня это уже 7я книга, я обязательно напишу блог про написание книг!