Я еще не рассказывал про интересный опыт работы в большой Fortune 500 компании - Okta, целых 3 года. Большая американская компания, которая фокусируется на digital identity. Сама компания состоит из 2х больший компаний - Okta и Auth0. Это два разных продукта.
Okta предоставляет workforce portal (аналог SSO), то есть портал для корпоративных сотрудников, чтобы логиниться во всевозможные сервисы - почта, календарь, бизнес приложения и тп. Такая же идея как Microsoft Active Directory, но свой продукт. Интересно есть ли в РФ такой аналог?
Auth0 это продукт для разработчиков - форма аутентификации и авторизации. Например, вы создаете новое приложение и вам нужно как-то добавить возможность логина, сброса паролей, MFA и тп, чтобы было безопасно и масштабируемо. Вот Auth0 это абсолютный лидер в этом направлении. Каждый раз когда вы логинитесь в ChatGPT, Ikea, Starbucks - вы используете Auth0 (Okta). Сейчас даже тестирую для Surfalytics, там есть бесплатный tier.
Okta купила Auth0 в 2022 за 6.5 миллиардов. Это именно тот пример, когда большая компания покупает лидера индустрии и убивает все хорошее что в нем есть. Именно культурно. Основании компании были из Аргентины и вайб там было что-надо. Сами основатели были из Microsoft AD команды. Поэтому каждое поглощение в индустрии не проходит не заметно для сотрудников и клиентов. Да и стоимость акции Окта с 2022 года так никогда и не отправилась.
У меня было много интересных проектов связанных с Auth0, интеграцией между Okta и Auth0, создание customer facing решений, специфичные решения для OpenAI (особенно связанных с Rate Limit), коллаборация с ML/AI командами. Даже приходилось менять код самого продукта Auth0, чтобы собирать дополнительные события.
Из смешного - это именно та компания, которая на меня наехала, когда я опубликовал танцующего Трампа в корпоративный слак и пришлось удалить, несмотря на то, что у них много государственных контрактов=)
Я добавил архитектурный слайд, на котором видно множество сервисов, которые пишут данные в Snowflake. В Okta вообще 3-4 инстанса Snowflake и 1 Databricks.
Okta предоставляет workforce portal (аналог SSO), то есть портал для корпоративных сотрудников, чтобы логиниться во всевозможные сервисы - почта, календарь, бизнес приложения и тп. Такая же идея как Microsoft Active Directory, но свой продукт. Интересно есть ли в РФ такой аналог?
Auth0 это продукт для разработчиков - форма аутентификации и авторизации. Например, вы создаете новое приложение и вам нужно как-то добавить возможность логина, сброса паролей, MFA и тп, чтобы было безопасно и масштабируемо. Вот Auth0 это абсолютный лидер в этом направлении. Каждый раз когда вы логинитесь в ChatGPT, Ikea, Starbucks - вы используете Auth0 (Okta). Сейчас даже тестирую для Surfalytics, там есть бесплатный tier.
Okta купила Auth0 в 2022 за 6.5 миллиардов. Это именно тот пример, когда большая компания покупает лидера индустрии и убивает все хорошее что в нем есть. Именно культурно. Основании компании были из Аргентины и вайб там было что-надо. Сами основатели были из Microsoft AD команды. Поэтому каждое поглощение в индустрии не проходит не заметно для сотрудников и клиентов. Да и стоимость акции Окта с 2022 года так никогда и не отправилась.
У меня было много интересных проектов связанных с Auth0, интеграцией между Okta и Auth0, создание customer facing решений, специфичные решения для OpenAI (особенно связанных с Rate Limit), коллаборация с ML/AI командами. Даже приходилось менять код самого продукта Auth0, чтобы собирать дополнительные события.
Из смешного - это именно та компания, которая на меня наехала, когда я опубликовал танцующего Трампа в корпоративный слак и пришлось удалить, несмотря на то, что у них много государственных контрактов=)
Я добавил архитектурный слайд, на котором видно множество сервисов, которые пишут данные в Snowflake. В Okta вообще 3-4 инстанса Snowflake и 1 Databricks.
🐳24⚡8❤🔥4🦄1
Случай из технического собеседования, где у меня была второстепенная роль.
Собеседование рассчитано на 90 минут. 3 SQL и 3 Python упражнения.
Из заметок во время собеседования:
Коллега: оставляет комментарии, что кандидат не знает чего-то
Я: давай закончим собес и отпусти кандидата (уже 15 минут идет собеседование)
Коллега: мы должны до конца….
Я: ок (пойду пост в телегу напишу)
И тут возникает вопрос? Ну зачем мучать кандидата, зачем тратить своем время? Возможно коллега переживает за репутацию компании и хочет, чтобы все было по правилам. Но по факту, он тратит свое, мое и кандидата время. Да еще кандидат узнает о провале только спустя пару дней.
Жалко что common sense часто не работает.
А как вы делаете? Обрубаете сразу илитерпите сидите до конца?
Собеседование рассчитано на 90 минут. 3 SQL и 3 Python упражнения.
Из заметок во время собеседования:
Коллега: оставляет комментарии, что кандидат не знает чего-то
Я: давай закончим собес и отпусти кандидата (уже 15 минут идет собеседование)
Коллега: мы должны до конца….
Я: ок (пойду пост в телегу напишу)
И тут возникает вопрос? Ну зачем мучать кандидата, зачем тратить своем время? Возможно коллега переживает за репутацию компании и хочет, чтобы все было по правилам. Но по факту, он тратит свое, мое и кандидата время. Да еще кандидат узнает о провале только спустя пару дней.
Жалко что common sense часто не работает.
А как вы делаете? Обрубаете сразу или
💯31👨💻3
Отличный кейс из белого дома в США про сломанный пайплайн и утраченных продакшн данных - “Permanently impaired”: Trump administration won’t release economic data for October.
Администрация Трампа отказалась публиковать экономические данные за октябрь (инфляция, безработица), ссылаясь на 40-дневный shutdown правительства, который помешал собрать статистику.
Критики обвиняют в сокрытии: частные данные показывают потерю 150,000+ рабочих мест (худший октябрь за 20 лет), а Белый дом называет данные "навсегда утраченными", что беспрецедентно для США.
Берегите ваши данные🤗
Администрация Трампа отказалась публиковать экономические данные за октябрь (инфляция, безработица), ссылаясь на 40-дневный shutdown правительства, который помешал собрать статистику.
Критики обвиняют в сокрытии: частные данные показывают потерю 150,000+ рабочих мест (худший октябрь за 20 лет), а Белый дом называет данные "навсегда утраченными", что беспрецедентно для США.
Берегите ваши данные
Please open Telegram to view this post
VIEW IN TELEGRAM
1🌚33🙈13🫡1
В Сетке, соцсети для нетворкинга от hh ru, появились несколько интересных вакансий для специалистов в продуктовой и data-аналитике. Сервис удобный, аккуратный и даёт возможность писать нанимающим напрямую — без лишних формальностей.
Вот три позиции, которые могут быть особенно полезны подписчикам канала:
1️⃣ Тимлид продуктовой аналитики в Lamoda
https://set.ki/post/PNJKv9m
Отличный вариант для тех, кто хочет развивать продуктовую аналитику в большом e-commerce и брать на себя лидерские задачи.
2️⃣ Аналитик-разработчик в команду конкурентной AI-аналитики Яндекса
https://set.ki/post/5Y3BJYg
Подойдёт тем, кому интересны задачи на стыке AI, больших данных и исследовательской аналитики.
3️⃣ Business Intelligence Head
https://set.ki/post/7PmA9nj
Роль для опытных BI-лидов, которым интересно выстраивать стратегию аналитики на уровне компании.
Если кто-то как раз присматривает новое направление или хочет попробовать силы в сильных продуктовых командах, эти вакансии точно стоят внимания.
Вот три позиции, которые могут быть особенно полезны подписчикам канала:
1️⃣ Тимлид продуктовой аналитики в Lamoda
https://set.ki/post/PNJKv9m
Отличный вариант для тех, кто хочет развивать продуктовую аналитику в большом e-commerce и брать на себя лидерские задачи.
2️⃣ Аналитик-разработчик в команду конкурентной AI-аналитики Яндекса
https://set.ki/post/5Y3BJYg
Подойдёт тем, кому интересны задачи на стыке AI, больших данных и исследовательской аналитики.
3️⃣ Business Intelligence Head
https://set.ki/post/7PmA9nj
Роль для опытных BI-лидов, которым интересно выстраивать стратегию аналитики на уровне компании.
Если кто-то как раз присматривает новое направление или хочет попробовать силы в сильных продуктовых командах, эти вакансии точно стоят внимания.
1
Всех с пятницей или уже субботой!? Если вы думаете deploy or not deploy, то вот вам ссылка в помощь https://shouldideploy.today
💯14🐳8🫡2❤🔥1
В статье 5 Things in Data Engineering That Have Changed In The Last 10 Years автор поделился как поменялась индустрия (западная) за последние 10 лет.
1) Компании хотят только сеньоров
Команды сильно сократились, и бизнес требует быстрых результатов → поэтому нанимают в основном опытных инженеров + AI-копилоты усилили продуктивность сеньоров. Джуниорам сложнее входить.
Это произошло в последние 2-3 года. Никому не нужны малыши без опыта. Все хотят опытных людей, чтобы пришли и сразу решали конкретные задачи. В больших компаниях еще сохранилась возможность пройти стажировку и прийти сразу с универа. Но надо, чтобы универ был топчик. Все кто ходят на курсы - мимо. Поэтому мой подход прийти seniorом без опыта выглядит особенно привлекательно в текущих реалиях. Улучшений в будущем для данной ситуации не видно. Специалисты и эксперты в ИТ появляются как грибы. Доступность образования и реклама успешных айтишников в Дубаях и на Патриках делает свое дело.🚶♀️ Все хотят хорошую зарплату и удаленную работу, но места на всех не хватит.😞
2) Cloud стал дефолтом
Раньше облако было опцией, сейчас — стандарт. Все мигрируют: Snowflake, BigQuery, Databricks. Почти никто не строит аналитику он-прем.
Полностью согласен. Я могу открыть любую вакансию в Северной Америке, Южной Америке, Европе, Австралии и тп, и там будет облако и MPP облачное хранилище с вероятностью 95%. Хотя недавно познакомился с инженером, кто пришел к нам из Comcast. Он рассказал, что у них был свой дата центр и он ставил Kafka на bare metal. Ну красавчик, только получает в несколько раз меньше.🏆
3) Перестали писать кастомные пайплайны
10 лет назад везде были самописные ETL на cron/SSIS/python скриптах. Сейчас сразу используют готовые инструменты: Airflow, dbt, EventBridge, Coalesce, etc. Нужно быстрее приносить ценность, а не строить платформу с нуля.
Доступность инструментов low-code/no-code очень сильно упрощают работу. Можно фокусироваться на бизнес проблемах и ценностях, а не трабалшуить legacy/technical debt код. Хотя уже с развитием AI IDE уже все превращается в no-code/low code. Главное базу знать и понимать основу и свою ценность для бизнеса.
4) SQL победил
Споры между SQL vs что-то ещё закончились — SQL стал универсальным стандартом. Job-market требует SQL практически везде. dbt усилил этот тренд.
Если ваш продукт не поддерживает SQL, то у вас плохой продукт. SQL наше все. Хотя некоторые аналитики обожают Pandas, и пишут что-то в своих ноутбуках. А потом инженерам нужно все это разгребать.🙅♂️
5) AI изменил рабочие процессы
AI ускоряет работу, но создаёт риск «движения вместо прогресса»: люди меньше понимают код, больше копипастят из LLM. Выигрывают те, кто умеет совмещать AI + инженерное мышление.
100% все поменялось. Я общаюсь со многими командами и вижу, что люди на самом деле не очень сильно используют все возможности. Большинство не любят перемен и не умеют учиться быстро и эффективно. Когда говорят, что AI заменит людей, чаще всего имеют в виду тех, кто не хочет или не умеет учиться. Сейчас настоящий FOMO в AI и очень важно смотреть куда дует ветер и стараться использовать в работе AI и собирать полезные use cases для вашей индустрии и вашей специализации.
Самое главное, что произошло за 10 лет, то это обесценивание денег, повышение налогов, снижение покупательной способности, отмена job security, и отсутствие стабильности.🤟
1) Компании хотят только сеньоров
Команды сильно сократились, и бизнес требует быстрых результатов → поэтому нанимают в основном опытных инженеров + AI-копилоты усилили продуктивность сеньоров. Джуниорам сложнее входить.
Это произошло в последние 2-3 года. Никому не нужны малыши без опыта. Все хотят опытных людей, чтобы пришли и сразу решали конкретные задачи. В больших компаниях еще сохранилась возможность пройти стажировку и прийти сразу с универа. Но надо, чтобы универ был топчик. Все кто ходят на курсы - мимо. Поэтому мой подход прийти seniorом без опыта выглядит особенно привлекательно в текущих реалиях. Улучшений в будущем для данной ситуации не видно. Специалисты и эксперты в ИТ появляются как грибы. Доступность образования и реклама успешных айтишников в Дубаях и на Патриках делает свое дело.
2) Cloud стал дефолтом
Раньше облако было опцией, сейчас — стандарт. Все мигрируют: Snowflake, BigQuery, Databricks. Почти никто не строит аналитику он-прем.
Полностью согласен. Я могу открыть любую вакансию в Северной Америке, Южной Америке, Европе, Австралии и тп, и там будет облако и MPP облачное хранилище с вероятностью 95%. Хотя недавно познакомился с инженером, кто пришел к нам из Comcast. Он рассказал, что у них был свой дата центр и он ставил Kafka на bare metal. Ну красавчик, только получает в несколько раз меньше.
3) Перестали писать кастомные пайплайны
10 лет назад везде были самописные ETL на cron/SSIS/python скриптах. Сейчас сразу используют готовые инструменты: Airflow, dbt, EventBridge, Coalesce, etc. Нужно быстрее приносить ценность, а не строить платформу с нуля.
Доступность инструментов low-code/no-code очень сильно упрощают работу. Можно фокусироваться на бизнес проблемах и ценностях, а не трабалшуить legacy/technical debt код. Хотя уже с развитием AI IDE уже все превращается в no-code/low code. Главное базу знать и понимать основу и свою ценность для бизнеса.
4) SQL победил
Споры между SQL vs что-то ещё закончились — SQL стал универсальным стандартом. Job-market требует SQL практически везде. dbt усилил этот тренд.
Если ваш продукт не поддерживает SQL, то у вас плохой продукт. SQL наше все. Хотя некоторые аналитики обожают Pandas, и пишут что-то в своих ноутбуках. А потом инженерам нужно все это разгребать.
5) AI изменил рабочие процессы
AI ускоряет работу, но создаёт риск «движения вместо прогресса»: люди меньше понимают код, больше копипастят из LLM. Выигрывают те, кто умеет совмещать AI + инженерное мышление.
100% все поменялось. Я общаюсь со многими командами и вижу, что люди на самом деле не очень сильно используют все возможности. Большинство не любят перемен и не умеют учиться быстро и эффективно. Когда говорят, что AI заменит людей, чаще всего имеют в виду тех, кто не хочет или не умеет учиться. Сейчас настоящий FOMO в AI и очень важно смотреть куда дует ветер и стараться использовать в работе AI и собирать полезные use cases для вашей индустрии и вашей специализации.
Самое главное, что произошло за 10 лет, то это обесценивание денег, повышение налогов, снижение покупательной способности, отмена job security, и отсутствие стабильности.
Please open Telegram to view this post
VIEW IN TELEGRAM
💯42🐳24🌚4🤷1
Всегда интересно следить за кругами Громова, в них можно найти инструменты, которые используют компании в РФ, в данном случае про ETL.
«Круги Громова» представили новое исследование российского рынка ETL 2025
Как компании сегодня решают задачу импортозамещения в области интеграции данных? Какие отечественные ETL-решения уже готовы заменить западные продукты — и даже превзойти их?
В новом исследовании «ETL Круг Громова 2025»:
🔹 Сравнение российских ETL-платформ с Apache Airflow и NiFi.
🔹 Подробный анализ функциональности и производительности отечественных решений, включая Modus ETL, Dat. ax, Loginom, PolyAnalyst, DATAREON Platform, Luxms Data Boring и другие.
🔹 Ключевые тренды 2025 года: ELT, Reverse ETL, CDC, Streaming, ZeroETL, AI-автоматизация.
🔹 Более 200 критериев оценки ETL-решений для корпоративного сектора — от архитектуры и безопасности до поддержки 1С и отечественных облаков.
🔹 Результаты выполнения вендорами тестового задания по загрузке 40 млн строк данных.
«Круги Громова» представили новое исследование российского рынка ETL 2025
Как компании сегодня решают задачу импортозамещения в области интеграции данных? Какие отечественные ETL-решения уже готовы заменить западные продукты — и даже превзойти их?
В новом исследовании «ETL Круг Громова 2025»:
🔹 Сравнение российских ETL-платформ с Apache Airflow и NiFi.
🔹 Подробный анализ функциональности и производительности отечественных решений, включая Modus ETL, Dat. ax, Loginom, PolyAnalyst, DATAREON Platform, Luxms Data Boring и другие.
🔹 Ключевые тренды 2025 года: ELT, Reverse ETL, CDC, Streaming, ZeroETL, AI-автоматизация.
🔹 Более 200 критериев оценки ETL-решений для корпоративного сектора — от архитектуры и безопасности до поддержки 1С и отечественных облаков.
🔹 Результаты выполнения вендорами тестового задания по загрузке 40 млн строк данных.
ETL book.pdf
2.1 MB
Еще одна бесплатная книга от O’Reilly - Understanding ETL Data Pipelines for Modern Data Architectures.
Как раз в тему к прошлому посту о ETL✋
Как раз в тему к прошлому посту о ETL
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥40⚡2🐳1
Где найти актуальную информацию о соцсетях бесплатно? Мы давно задавались этим вопросом и, кажется, нашли ответ!
Компания FlyByMetrics занимается исследованиями и аналитикой русскоязычного сегмента соцсетей. У ребят своя база данных по 1 000 000 блогов на 7 платформах. По любому блогеру, каналу или сообществу вам могут выгрузить нужные показатели под заказ. А в своем канале FBM API Insights делятся полезными исследованиями бесплатно.
Аналитика от FlyByMetrics будет полезна каждому, кто работает в диджитал и хочет знать о наиболее актуальных трендах первым.
Подписывайтесь!↖️
Компания FlyByMetrics занимается исследованиями и аналитикой русскоязычного сегмента соцсетей. У ребят своя база данных по 1 000 000 блогов на 7 платформах. По любому блогеру, каналу или сообществу вам могут выгрузить нужные показатели под заказ. А в своем канале FBM API Insights делятся полезными исследованиями бесплатно.
Аналитика от FlyByMetrics будет полезна каждому, кто работает в диджитал и хочет знать о наиболее актуальных трендах первым.
Подписывайтесь!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥6⚡2
Компании поняли, что давать всем безлимитный доступ к AI помощникам может быть очень дорого и начали вводить квоту - 100$ в месяц на инженера. Я сам видел примеры таких ограничений Cursor и Claude Code.
Недавно видел кейс, когда в месяц был лимит 35к$ на команду. В итоге лимит исчерпали и CI не смог отработать и заблочил merge для всех, пришлось руками менять правила.
Поэтому картинка в тему:)
Недавно видел кейс, когда в месяц был лимит 35к$ на команду. В итоге лимит исчерпали и CI не смог отработать и заблочил merge для всех, пришлось руками менять правила.
Поэтому картинка в тему:)
🙈59❤🔥7🌚4🤷2🍌1🙉1
Нашел классную имплементацию учебных материалов по Data Engineering и других смежных специальностей.
Мне понравилась механика сайта и как сгруппированы задания. Единственный минус это сам контент, точнее отсутствие контекста.
Если я посмотрю дорожную карту для дата инженера, то найду там все как полагается - git, bash, cli, python, MPP базы данных, облака и тп. Но нет контекста, зачем и почему. А как реально работают инженеры данных, где 20%, которые дадут 80% результата. То есть работу мы не найдем, если пройдем курсы и порешаем задачки.
У меня в Surfalytics все наоборот, где фокус только на результат и контекст через конкретные измеряемые действия, но пока что нет такой красивой обложки, все на словах в полу-ручном режиме.
За сайт, дизайн и механику - 5. За возможность стать дата инженером (или любая другая специализация) - 2.
https://prepare.sh/interviews/data-engineering
Мне понравилась механика сайта и как сгруппированы задания. Единственный минус это сам контент, точнее отсутствие контекста.
Если я посмотрю дорожную карту для дата инженера, то найду там все как полагается - git, bash, cli, python, MPP базы данных, облака и тп. Но нет контекста, зачем и почему. А как реально работают инженеры данных, где 20%, которые дадут 80% результата. То есть работу мы не найдем, если пройдем курсы и порешаем задачки.
У меня в Surfalytics все наоборот, где фокус только на результат и контекст через конкретные измеряемые действия, но пока что нет такой красивой обложки, все на словах в полу-ручном режиме.
За сайт, дизайн и механику - 5. За возможность стать дата инженером (или любая другая специализация) - 2.
https://prepare.sh/interviews/data-engineering
👨💻15🫡5🙈3
Welcome Time | Москва | 23 ноября
Яндекс организует очное мероприятие для специалистов в области аналитики и дата-сайентистов в своей штаб-квартире. Участники смогут познакомиться с особенностями работы команд аналитики в масштабном ecom-проекте.
Что вас ждёт на встрече:
💬 открытый диалог с экспертами Яндекса — задавайте любые вопросы;
💬 разбор реальных кейсов из практики Яндекса;
💬 погружение в мир e‑com аналитики: от товарной базы до продуктовой аналитики в Поиске;
💬 диагностика навыков, которую, при успешном прохождении, на 2 года засчитают как техническую секцию.
👉 Чтобы попасть на встречу, заполните форму по ссылке. Подробности о мероприятии на сайте.
Аналитика — это не только цифры, но и люди, которые ими живут. Приходите пообщаться и обменяться опытом.
Яндекс организует очное мероприятие для специалистов в области аналитики и дата-сайентистов в своей штаб-квартире. Участники смогут познакомиться с особенностями работы команд аналитики в масштабном ecom-проекте.
Что вас ждёт на встрече:
💬 открытый диалог с экспертами Яндекса — задавайте любые вопросы;
💬 разбор реальных кейсов из практики Яндекса;
💬 погружение в мир e‑com аналитики: от товарной базы до продуктовой аналитики в Поиске;
💬 диагностика навыков, которую, при успешном прохождении, на 2 года засчитают как техническую секцию.
👉 Чтобы попасть на встречу, заполните форму по ссылке. Подробности о мероприятии на сайте.
Аналитика — это не только цифры, но и люди, которые ими живут. Приходите пообщаться и обменяться опытом.
Интересная статья - LLMs: The Illusion of Thinking, в которой рассказываю про LLM и насколько это далеко от реального искусственного интеллекта. Некоммерческие лидеры мнений тоже про это говорили.
LLMs: The Illusion of Thinking — краткое резюме
1 LLM создают иллюзию мышления, но не обладают пониманием, сознанием или намерением.
2 Они предсказывают слова по статистике, а не рассуждают логически.
3 Галлюцинации и уверенная ложь — системная проблема всех моделей.
4 На сложных задачах (пример: Tower of Hanoi) модели полностью ломаются, даже если знают алгоритм.
5 Chain-of-Thought не является реальным мышлением — часто рассуждения неверные, но ответ случайно правильный.
6 LLM путают факты и смешивают источники (пример: объединение двух разных авторов).
7 В программировании LLM часто создают “циклы безумия”, когда исправления снова вводят ошибки.
8 Бенчмарки, которыми хвастаются создатели моделей, сильно завышены и некорректны.
9 В образовании растёт проблема массового списывания, ценность дипломов падает.
10 LLM — полезны как ассистенты, но должны применяться только с внимательным контролем человека и не являются AGI.
Возможно и правда GenAI в текущей реализации нас не заменит, но очень помогает делать свою работу лучше. А как вам кажется?
LLMs: The Illusion of Thinking — краткое резюме
1 LLM создают иллюзию мышления, но не обладают пониманием, сознанием или намерением.
2 Они предсказывают слова по статистике, а не рассуждают логически.
3 Галлюцинации и уверенная ложь — системная проблема всех моделей.
4 На сложных задачах (пример: Tower of Hanoi) модели полностью ломаются, даже если знают алгоритм.
5 Chain-of-Thought не является реальным мышлением — часто рассуждения неверные, но ответ случайно правильный.
6 LLM путают факты и смешивают источники (пример: объединение двух разных авторов).
7 В программировании LLM часто создают “циклы безумия”, когда исправления снова вводят ошибки.
8 Бенчмарки, которыми хвастаются создатели моделей, сильно завышены и некорректны.
9 В образовании растёт проблема массового списывания, ценность дипломов падает.
10 LLM — полезны как ассистенты, но должны применяться только с внимательным контролем человека и не являются AGI.
Возможно и правда GenAI в текущей реализации нас не заменит, но очень помогает делать свою работу лучше. А как вам кажется?
💯47🐳10
Полезная статья - What It Really Takes to Move From Senior to Staff Data Engineer. Staff в РФ не очень распространено. Я знаю Т-Банк активно развивает это направление. Но по факту team lead это тот же staff инженер. Я работал как Staff DE 3 года и прочитал базовые книжки про Staff Engineer, их всего 2: The Staff Engineer's Path и Staff Engineer.
Как обычно перевод и summary от AI. Сегодня это Raycast и Antropic API key. В последнее время я решил заморочиться на всякие горячие клавиши и спустя больше чем 10 лет прошел с touchpad на мышку Logi MX Master 3s. Надоело флексить с тачпадом и теперь у меня мышка с множество горячих клавиш и одна из них как раз AI чат. У Logi даже есть утилитка для chatGpt, чтобы редактировать свои сообщению в нужный стиль.
Эта статья — интервью с Брайаном Фемиано, staff data engineer в Apple, о том, что реально нужно для перехода с уровня Senior до Staff Data Engineer.
Основные темы:
1. Карьерный путь
• Брайан занимается data engineering почти 20 лет, 9 из них на уровне staff
• Ключевой момент карьеры: когда он взял на себя организацию работы (JIRA, документация, разблокировка коллег, коммуникация со стейкхолдерами)
2. Разница между Senior и Staff
Это не резкий переход, а постепенное развитие:
• Senior может оставаться в зоне комфорта и хорошо выполнять задачи
• Staff развивает некодинговые навыки, которые делают других разработчиков лучше:
▪ Создание диаграмм систем и runbook'ов для on-call
▪ Хорошие отношения с продуктовыми командами
▪ Понимание влияния изменений на другие команды
• Staff приходится чаще переключаться между контекстами в течение дня
3. Заблуждения о Staff титуле
❌ Что вам НЕ нужно:
• Быть самым талантливым разработчиком в команде
• Вписываться в "архетипы" как классы в RPG
• Прыгать между работами для получения титула
4. Главные блокеры для перехода в Staff
• Плохая коммуникация или агрессивность
• Негибкость, неспособность видеть большую картину
• Чрезмерная фокусировка на инструментах/языках
• Не строить системы для долгосрочного здоровья и качества
5. Сигналы, которые нужно показывать
• Менеджеры и коллеги знают, что вы мыслите холистически о системах
• Оформляете мысли в диаграммы и хорошо принимаете фидбек
• Поддерживаете команду во время кризисов
• Делаете себя незаменимым, но НЕ через силосное знание или постоянный героизм
6. Технический дизайн и системное мышление
Процесс проектирования:
• Сразу рисуйте диаграммы
• Что уже существует и может помочь?
• Довольны ли мы этими системами или это шанс рефакторить?
• Какой минимальный набор новых возможностей нужен?
• Можем ли использовать существующие библиотеки?
• Есть ли узкие места при росте нагрузки?
• Нужно ли постоянное ручное внимание или это автоматизировано?
Что делегировать:
• Лиды не должны быть на критическом пути
• Если берете слишком много — задерживаете проект и лишаете команду роста
• Доверяйте важные области команде
• Помогайте избежать перегрузки
Пример простого решения:
В Pandora хотели уведомлять артистов о добавлении песен в плейлисты. Вместо real-time email (много компромиссов), после обсуждения с продуктом поняли, что артистам не нужен real-time. Построили минимальный набор компонентов для батчевой отправки. Работает до сих пор.
7. Коллаборация и коммуникация
С менеджментом:
• Будьте лаконичны и своевременны
С продуктом:
• Задавайте вопросы, делайте заметки
• Повторяйте их слова своими словами
С инженерами:
• Давайте детали и ясность
• Повторяйте много раз при необходимости
• Проявляйте терпение
Создание комфортной среды:
• Будьте дружелюбны и не осуждайте
• Приоритизируйте помощь для разблокировки
• Давайте кредит коллегам за их идеи
Design docs:
• Начните с 3-5 предложений: что строим и какая бизнес-польза
• Укажите всех вовлеченных
• Фокус на диаграммах, показывающих как части соединяются
• Важна не красота, а легкость понимания
Как обычно перевод и summary от AI. Сегодня это Raycast и Antropic API key. В последнее время я решил заморочиться на всякие горячие клавиши и спустя больше чем 10 лет прошел с touchpad на мышку Logi MX Master 3s. Надоело флексить с тачпадом и теперь у меня мышка с множество горячих клавиш и одна из них как раз AI чат. У Logi даже есть утилитка для chatGpt, чтобы редактировать свои сообщению в нужный стиль.
Эта статья — интервью с Брайаном Фемиано, staff data engineer в Apple, о том, что реально нужно для перехода с уровня Senior до Staff Data Engineer.
Основные темы:
1. Карьерный путь
• Брайан занимается data engineering почти 20 лет, 9 из них на уровне staff
• Ключевой момент карьеры: когда он взял на себя организацию работы (JIRA, документация, разблокировка коллег, коммуникация со стейкхолдерами)
2. Разница между Senior и Staff
Это не резкий переход, а постепенное развитие:
• Senior может оставаться в зоне комфорта и хорошо выполнять задачи
• Staff развивает некодинговые навыки, которые делают других разработчиков лучше:
▪ Создание диаграмм систем и runbook'ов для on-call
▪ Хорошие отношения с продуктовыми командами
▪ Понимание влияния изменений на другие команды
• Staff приходится чаще переключаться между контекстами в течение дня
3. Заблуждения о Staff титуле
❌ Что вам НЕ нужно:
• Быть самым талантливым разработчиком в команде
• Вписываться в "архетипы" как классы в RPG
• Прыгать между работами для получения титула
4. Главные блокеры для перехода в Staff
• Плохая коммуникация или агрессивность
• Негибкость, неспособность видеть большую картину
• Чрезмерная фокусировка на инструментах/языках
• Не строить системы для долгосрочного здоровья и качества
5. Сигналы, которые нужно показывать
• Менеджеры и коллеги знают, что вы мыслите холистически о системах
• Оформляете мысли в диаграммы и хорошо принимаете фидбек
• Поддерживаете команду во время кризисов
• Делаете себя незаменимым, но НЕ через силосное знание или постоянный героизм
6. Технический дизайн и системное мышление
Процесс проектирования:
• Сразу рисуйте диаграммы
• Что уже существует и может помочь?
• Довольны ли мы этими системами или это шанс рефакторить?
• Какой минимальный набор новых возможностей нужен?
• Можем ли использовать существующие библиотеки?
• Есть ли узкие места при росте нагрузки?
• Нужно ли постоянное ручное внимание или это автоматизировано?
Что делегировать:
• Лиды не должны быть на критическом пути
• Если берете слишком много — задерживаете проект и лишаете команду роста
• Доверяйте важные области команде
• Помогайте избежать перегрузки
Пример простого решения:
В Pandora хотели уведомлять артистов о добавлении песен в плейлисты. Вместо real-time email (много компромиссов), после обсуждения с продуктом поняли, что артистам не нужен real-time. Построили минимальный набор компонентов для батчевой отправки. Работает до сих пор.
7. Коллаборация и коммуникация
С менеджментом:
• Будьте лаконичны и своевременны
С продуктом:
• Задавайте вопросы, делайте заметки
• Повторяйте их слова своими словами
С инженерами:
• Давайте детали и ясность
• Повторяйте много раз при необходимости
• Проявляйте терпение
Создание комфортной среды:
• Будьте дружелюбны и не осуждайте
• Приоритизируйте помощь для разблокировки
• Давайте кредит коллегам за их идеи
Design docs:
• Начните с 3-5 предложений: что строим и какая бизнес-польза
• Укажите всех вовлеченных
• Фокус на диаграммах, показывающих как части соединяются
• Важна не красота, а легкость понимания
❤🔥25⚡11🙈2
8. Будущее data engineering
• Роли будут требовать знания языков за пределами Java/Scala/Python/SQL
• Компании понимают, что проблемы не в объеме, а в governance и качестве данных
• Эволюция open table форматов
• GenAI не заменит junior-ов — младшие инженеры лучше работают с ИИ и учат seniors
Ключевая мысль:
Staff engineer имеет "outsized impact" (непропорционально большое влияние). У всех одинаковое количество часов, и все кодят с примерно одинаковой скоростью. На определенном уровне важнее становится ЧТО вы кодите, а не скорость:
• Находить проекты, двигающие бизнес вперед
• Помогать бизнесу убирать неопределенность
• Предотвращать выбор решений, которые будут стоить миллионы и потребуют миграции через 18 месяцев
Мне очень понравились рекомендации, и я полностью с ними согласен. Очень четко сказано, что важно быть гибким и мягким. С этим сложно, если у вас низкий порог терпимости к глупости коллег и не хватает терпения на бюрократию. Но, к сожалению, уже давно факт, что в корпоративной культуре любят не умных/быстрых, а удобных и послушных. Надо быть такой нянькой-душкой и медленно, но верно продавливать свою позицию и заручаться поддержкой коллег.
То есть при желании можно вырасти до уровня Staff, но вам придется переступить через свое эго.
И тут еще возникает одна загвоздка — финансовое вознаграждение. Давайте посчитаем на примере канадского рынка. Staff data engineer — зарплата $250k в год. При этом вам все будут говорить: "Ну ты же Staff, ты должен и то, и это" — и надо тащить. Ведь обычно позиция Staff встречается в больших организациях со сложной оргструктурой, и там за 5 минут уже ничего не накодить. Любое изменение — это боль и множество встреч и согласований, очень часто без common sense. Иными словами, ожидания высокие, а работу сложно измерить в строчках кода, метриках или еще чем-то. И обычно расти после Staff особо некуда, скорее всего это в people manager, но туда можно и сразу перейти без Staff.
А вот возьмите Senior DE. Вилка $160-180k в год. Как правило, скоуп понятен — берешь и делаешь. И еще остается много времени на личные проекты или внешние проекты, где вы можете заработать еще столько же — $160-180k в год. Поэтому вот не все так однозначно.
Но если вы Staff в FAANG, то там кроме базы у вас появляется жирный бонус, и чем выше грейд, тем выше бонус. И сама организация достаточно большая, чтобы был хороший impact. Поэтому у всех есть выбор — зарабатывать деньги или отправиться в корпоративное приключение в поисках карьерной лестницы.
• Роли будут требовать знания языков за пределами Java/Scala/Python/SQL
• Компании понимают, что проблемы не в объеме, а в governance и качестве данных
• Эволюция open table форматов
• GenAI не заменит junior-ов — младшие инженеры лучше работают с ИИ и учат seniors
Ключевая мысль:
Staff engineer имеет "outsized impact" (непропорционально большое влияние). У всех одинаковое количество часов, и все кодят с примерно одинаковой скоростью. На определенном уровне важнее становится ЧТО вы кодите, а не скорость:
• Находить проекты, двигающие бизнес вперед
• Помогать бизнесу убирать неопределенность
• Предотвращать выбор решений, которые будут стоить миллионы и потребуют миграции через 18 месяцев
Мне очень понравились рекомендации, и я полностью с ними согласен. Очень четко сказано, что важно быть гибким и мягким. С этим сложно, если у вас низкий порог терпимости к глупости коллег и не хватает терпения на бюрократию. Но, к сожалению, уже давно факт, что в корпоративной культуре любят не умных/быстрых, а удобных и послушных. Надо быть такой нянькой-душкой и медленно, но верно продавливать свою позицию и заручаться поддержкой коллег.
То есть при желании можно вырасти до уровня Staff, но вам придется переступить через свое эго.
И тут еще возникает одна загвоздка — финансовое вознаграждение. Давайте посчитаем на примере канадского рынка. Staff data engineer — зарплата $250k в год. При этом вам все будут говорить: "Ну ты же Staff, ты должен и то, и это" — и надо тащить. Ведь обычно позиция Staff встречается в больших организациях со сложной оргструктурой, и там за 5 минут уже ничего не накодить. Любое изменение — это боль и множество встреч и согласований, очень часто без common sense. Иными словами, ожидания высокие, а работу сложно измерить в строчках кода, метриках или еще чем-то. И обычно расти после Staff особо некуда, скорее всего это в people manager, но туда можно и сразу перейти без Staff.
А вот возьмите Senior DE. Вилка $160-180k в год. Как правило, скоуп понятен — берешь и делаешь. И еще остается много времени на личные проекты или внешние проекты, где вы можете заработать еще столько же — $160-180k в год. Поэтому вот не все так однозначно.
Но если вы Staff в FAANG, то там кроме базы у вас появляется жирный бонус, и чем выше грейд, тем выше бонус. И сама организация достаточно большая, чтобы был хороший impact. Поэтому у всех есть выбор — зарабатывать деньги или отправиться в корпоративное приключение в поисках карьерной лестницы.
⚡25❤🔥14
Сейчас LinkedIn заполнен 3мя типами контента:
1) все рассказывают про Toon, какой замечательный дата формат, и как он экономит токены. Но все, кто про него пишет, его даже не использовали. Я вот тоже написал здесь и тоже не использовал.
2) Несмотря на то, что Nvidia опубликовала свои доходы в + и все выдухнули - пузырь еще не дозрел, но сегодня весь рынок красный. Знающие люди делаются инсайдами.
3) Если контент на русском, то часто народ жалуется на рекрутеров, рекрутеры жалуются на соискателей и обязательно с приложением скринов переписки. И еще будут посты о том, как кто-то кому-то помог найти работу. И чтобы вы подумали? Скриншоты и пруфы приложены🍪 🍪
А что вам там попадется?
1) все рассказывают про Toon, какой замечательный дата формат, и как он экономит токены. Но все, кто про него пишет, его даже не использовали. Я вот тоже написал здесь и тоже не использовал.
2) Несмотря на то, что Nvidia опубликовала свои доходы в + и все выдухнули - пузырь еще не дозрел, но сегодня весь рынок красный. Знающие люди делаются инсайдами.
3) Если контент на русском, то часто народ жалуется на рекрутеров, рекрутеры жалуются на соискателей и обязательно с приложением скринов переписки. И еще будут посты о том, как кто-то кому-то помог найти работу. И чтобы вы подумали? Скриншоты и пруфы приложены
А что вам там попадется?
Please open Telegram to view this post
VIEW IN TELEGRAM
4❤🔥34🙈9🤷♀2😭1