Forrester Wave: Data Lakehouses, Q2 2024

В отчете Forrester Wave за второй квартал 2024 года рассмотрены 13 ключевых вендоров решений для data lakehouse, их предложения и позиции на рынке. Авторы отчета с коллегами провели анализ по 24 критериям, оценивая важнейшие компании, предоставляющие услуги в области управления данными.

Особое внимание уделено интегрированным решениям, использованию GenAI и производительности при масштабировании, что является критически важным для современных бизнес-задач.

Традиционные хранилища данных и озера данных уже не справляются с растущими требованиями бизнеса из-за недостаточной гибкости, масштабируемости, интеграции, автоматизации и управления.

Решения data lakehouse преодолевают эти проблемы, предоставляя единую платформу данных с передовыми возможностями AI, что ускоряет получение ценности от новых бизнес-инициатив.

В докладе подробно описываются сильные и слабые стороны каждого поставщика, а также даны рекомендации по выбору подходящего поставщика в зависимости от специфических бизнес-потребностей.

Компании Databricks, Google и Snowflake выделены как лидеры рынка благодаря своим инновационным платформам, обеспечивающим масштабируемость, безопасность и комплексную интеграцию.

PS странно что Microsoft отстает со своим Fabric и One Lake. Зато хорошо все с Power BI.

Вот это уже интересный тренд, и это не только в Гугле. В других больших компаниях из списка S&P500 похожий тренд, но называется он по другому - increase global presence (имеется ввиду открыть офис в Индии). Мне даже как-то менеджер сказал - “Чего ты паришься, что в Канаде зарплата меньше, чем у такого же инженера в США в его же команде, вон мы в Индии офис открываем там на твою зарплату мы наймем несколько инженеров”.

Индийские компании уже давно оказывают услуги, чаще как консалтинг. Например софт для боинга 747.

Здесь идет речь про именно открытие офисов и центров разработки в странах с дешевой рабочей силой.

Поэтому вопрос, что будет быстрей - вас заменит AI или дешевой рабочей силой (что более вероятно)

А вы как думаете?

20 лет назад я начал работать в системах MatLab и OriginLab c данными физических экспериментов, и это было начало пути анализа и визуализации данных. Рад, что работал, продолжаю работать и общаться с крутыми и максимально недушными командами в классных компаниях и как BI разработчик, и как независимый консультант, и как менеджер. Много драйва было в сообществе Tableau, что сильно увлекло, кардинально утащило в датавиз и изменило карьерный трек. Были блоги, статьи, конкурсы и много общения с аналитиками из разных стран.
Удивительно, но самые ценные вещи в аналитике узнаешь не на официальных мероприятиях и конференциях, а в неформальном общении и различных дата-активностях. Особенно интересные мысли приходят в кафе и барах. За пределами Слака и Джиры тоже есть жизнь, ну и такие вещи особенно запоминаются.
Накопилось много работ и мыслей, которые просто по времени не успеваю упаковывать в полноценные визы и статьи. Поэтому в Телеграме запускаю канал ‘Data Bar’, где буду писать про анализ данных и визуализацию максимально неформально.
Буду рад всем. Вэлкам:
https://t.me/data_bar

Александр Варламов

18 мая запланировал встречу у Сфер в Сиэтле с 10 до 12, если кто будет на районе приходите;)

P&L или Profit & Loss важная финансовая отчетность. Которая с одной стороны простая. А с другой вообще не понятно.

Поэтому данный пост Reading a Profit & Loss statement вам в помощь

14-15 мая - Iceberg Summit. Iceberg формат для хранения данных в озере данных lake house. Если вы работаете с данными, то вы должны знать один из 3х форматов delta, iceberg, hudi.

Реально 2 доминируют Delta развивается databricksом, Iceberg сам по себе хорош и популярен.

Pytup в Нижнем Новгороде 1 июня

Вас ждёт большая конференция по Python-разработке Pytup.

В программе — выступления спикеров, новости языка, актуальные кейсы экспертов и, конечно, нетворкинг.

Узнаете, как создать платформу для обработки данных в вашей IT-компании или микросервис обработки геометрических данных. А ещё послушаете крутые доклады, получите ответы на вопросы и пообщаетесь со спикерами и коллегами.

Зарегистрироваться на Pytup! 💛

Опубликовал блог пост про подготовку к поиску работы при переезде или иммиграции. Так же подойдет к тем, кто только начинает учится и не понимает, куда двигаться и что учить.

Сколько я стою на рынке ИТ? - Один из самых частых запросов у ИТ-шников.
Куда мне расти в ИТ, какие карьерные треки могут быть?

Круто, что есть каналы, к примеру, канал Ольги Романовой, в котором показывают реальные офферы, уровень зарплат на рынке ИТ и лайфхаки по составлению резюме, в т.ч. для продактов

Зацените:
— как получить 5 офферов за 2 месяца, в т.ч. на 500к
— Оффер в 21 год без высшего образования на 250к
— Оффер на 750к +

Специально для подписчиков моего канала Ольга с командой проведет несколько карьерных диагностик, оценит вашу стоимость на рынке и подскажет первые шаги для достижения карьерной цели. Детали под этим постом (там вообще оффер на 1 млн!)

Интересный коллаб Snowflake + Fabric.

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.

Ближайшие Fast Track мероприятия:

• 3–7 июня — для технических менеджеров и Crowd Solutions Architect, офер за 5 дней в команду Crowd.

• 8–9 июня — для дата-инженеров, офер за 2 дня в DWH команды Маркета.

Зарегистрироваться

Что такое PIP? Иногда это называют PAP. Многие боятся этой аббревиатуры, ведь если вы с ней столкнулись, значит, от вас начинают избавляться и "нежно" увольнять.

PIP (Performance Improvement Plan) или PAP (Performance Action Plan) — это план улучшения производительности. Обычно он длится 4-6 недель, в течение которых вам говорят, что вы плохо выполняете свою работу, и вас начинают ежедневно микроменеджить. На этот срок ваш менеджер пишет план, описывает ваши "зоны роста" и проекты, которые вы должны завершить.

В Amazon, в 90% случаев, человек с PIP будет уволен, но некоторые проходят его успешно. В любом случае, это достаточно стрессовое мероприятие. Часто это случается не из-за плохой работы, а из-за плохого взаимопонимания с менеджером.

Так было и у меня. Я прикрепил свой реальный PAP (в комментарий), который длился 6 недель. Это было стрессово, но я все равно прошел его. Кстати, его написал менеджер, который до этого много лет работал в Facebook и Lyft. Так что это хороший шаблон, если вы решите кого-нибудь уволить.

Несмотря на то, что я его прошел, я не согласен с ним и считаю его несправедливым. Думаю, так все считают, когда попадают на PIP. Тем не менее, я стал жаловаться HR, что это было незаслуженно, на что получил ответ от HR: "мы тут власть, что хотим, то и делаем". Я попросил меня уволить и дать мне 2 зарплаты, на что HR сказал: "мы тебя не можем уволить, поезд ушел, ты прошел PAP, и теперь работай или сам уходи…". В итоге я сам и ушел.

Самое интересное, что у меня был конфликт с директором DE, и поэтому я получил PIP. Я позволял себе слишком много называть вещи своими именами и критиковать решения директора DE и VP data. То есть я был токсичным, но с другой стороны я говорил правду.

В западных компаниях правду не любят, нужно всегда быть "nice" и "kind" к окружающим. Думаю, тут много людей из западных компаний, которые могут рассказать смешные истории про это или про свой опыт с PIP/PAP.

Так вот, когда я ушел, через месяц директора понизили до Principal DE, а через 2 месяца он уволился. И все было очень красиво сделано тем же менеджером из FB/Lyft. Шах и мат, можно сказать. Получается, я был прав всегда, и действительно мой PAP был незаслуженным, но в корпорациях очень четкая вертикаль власти, и не стоит пытаться перечить начальству, если не хотите быть токсичным.

PS: Прямо вчера уволили одного человека в текущей компании. Хотя недавно он говорил мне, что руководство не понимает, что делает, и жаловался на все. Я даже не удивился, это был вопрос времени.