Построить платформу — значит сначала построить команду
Привет, подписчики! 🖖
Продолжаю рубрику IT & инсайты — делюсь кратким обзором полезных докладов и видео для IT-специалистов и всех, кто интересуется технологиями.
На этот раз хочу поделиться докладом Ильи Петропавловского (VK, VK Cloud) — «Современные методы построения платформы мониторинга».
⚠️ Важно о названии: Исходя из заголовка, можно ожидать рассказа про технический стэк — типа Prometheus, Grafana, OpenTelemetry, ClickHouse, Kafka и т.д. Но доклад оказался скорее о подходах к управлению процессами создания сложной платформы. Так что если вы ждали обзор инструментов (как я😃) — не расстраивайтесь, это не делает доклад менее интересным.
🛠 Практические инсайты:
● Используй спиральную модели Боэма для структурирования сложных проектов (понравилось, что очень откликается мне)
● Разделяй проект на итерации с чёткими целями (архитектура → MVP → релиз)
● Работай с метриками с самого начала — это ключ к успешной интеграции
● Помни про баланс между стандартами и гибкостью при построении платформы
● Ищи синергию между разработкой и бизнесом через диалог и доверие
Особенно понравилось, как автор говорит о человеческом факторе в технических проектах — часто мы забываем, что за кодом и за каждым проектом стоят люди, которым тоже нужна мотивация и понимание цели.
Смотреть доклад целиком 👉 https://vkvideo.ru/video-152308462_456242806?t=29m12s
P.S. По поводу технического стэка, который мог бы стоять за такой платформой, я ожидал что-нибудь про Prometheus для сбора метрик, Grafana или Superset для визуализации, OpenTelemetry для трассировки, ClickHouse для хранения, Kafka для стриминга данных, а на бэкенде Python или Java. Но это предположение, поскольку в докладе акцент был именно на процессах, а не инструментах.
👇Пишите в комментариях: Сталкивались с тем что Вам сложно коммуницировать при обсуждении рабочих задач и отстаивать временные сроки задач или их "упрощение", чтобы уложиться в заданный срок☺️😉
#ITинсайты
Привет, подписчики! 🖖
Продолжаю рубрику IT & инсайты — делюсь кратким обзором полезных докладов и видео для IT-специалистов и всех, кто интересуется технологиями.
На этот раз хочу поделиться докладом Ильи Петропавловского (VK, VK Cloud) — «Современные методы построения платформы мониторинга».
⚠️ Важно о названии: Исходя из заголовка, можно ожидать рассказа про технический стэк — типа Prometheus, Grafana, OpenTelemetry, ClickHouse, Kafka и т.д. Но доклад оказался скорее о подходах к управлению процессами создания сложной платформы. Так что если вы ждали обзор инструментов (как я😃) — не расстраивайтесь, это не делает доклад менее интересным.
🛠 Практические инсайты:
● Используй спиральную модели Боэма для структурирования сложных проектов (понравилось, что очень откликается мне)
● Разделяй проект на итерации с чёткими целями (архитектура → MVP → релиз)
● Работай с метриками с самого начала — это ключ к успешной интеграции
● Помни про баланс между стандартами и гибкостью при построении платформы
● Ищи синергию между разработкой и бизнесом через диалог и доверие
Особенно понравилось, как автор говорит о человеческом факторе в технических проектах — часто мы забываем, что за кодом и за каждым проектом стоят люди, которым тоже нужна мотивация и понимание цели.
Смотреть доклад целиком 👉 https://vkvideo.ru/video-152308462_456242806?t=29m12s
P.S. По поводу технического стэка, который мог бы стоять за такой платформой, я ожидал что-нибудь про Prometheus для сбора метрик, Grafana или Superset для визуализации, OpenTelemetry для трассировки, ClickHouse для хранения, Kafka для стриминга данных, а на бэкенде Python или Java. Но это предположение, поскольку в докладе акцент был именно на процессах, а не инструментах.
👇Пишите в комментариях: Сталкивались с тем что Вам сложно коммуницировать при обсуждении рабочих задач и отстаивать временные сроки задач или их "упрощение", чтобы уложиться в заданный срок☺️😉
#ITинсайты
VK Видео
Современные методы построения платформы мониторинга / Илья Петропавловский (VK, VK Cloud)
________ Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем Highload++ 2023 Презентация и тезисы: https://highload.ru/moscow/2023/abstracts/11124 - Методы, их преимущества и недостатки. Метод классического водопада. Метод…
👍3❤1
💥 «Удобнее стало!» — сказал разработчик. Пользователь заплакал.
Когда прогресс забывает про тех, ради кого он, собственно, и нужен
Уже как две недели в «Пятерочке» , которую я регулярно посещаю, случился полный ребрендинг UX.
Молочка — на месте.
Овощи — как обычно.
Мясо — всё ещё в холодильнике у входа.
А вот всё остальное — разлетелось по магазину, как будто кошка, играя с приманкой, раскидала по магазину.
Шампуни теперь там, где были напитки.
Протеиновые батончики переехали на место круп.
Газировка на месте бывших печенек.
Привычные полки — неузнаваемы.
Это не магазин. Это legacy-интерфейс после редизайна.
💡 Знакомо?
Мне лично напомнило ИТ-кейс, когда меняется функциональная часть интерфейса, и ожидается что пользователь будет сыт и доволен, а в итоге это приносит сплошной стресс.
Я, как Пользователь, захожу в магазин и хочу купить то, что покупал вчера. И вместо привычного постоянства, чувствую касание длани хаоса. И мне выдаётся:
🔁 Мы в IT обожаем рефакторить, редизайнить, мигрировать.
Говорим: «Теперь логичнее!»
А пользователь думает:
✅ Хорошее изменение — это не когда всё «по новой архитектуре», а когда человек не теряется.
Как минимум:
● Оставляй якоря — как молочку и овощи.
● Не меняй всё сразу.
● Объясни, зачем это нужно.
● Сделай подсказки — хотя бы хинт.
● Не ломай привычный путь ради «удобства», которое удобно только тебе.
🌱 Прогресс — это не только новые фичи.
Это ещё и уважение к привычкам тех, кто уже пользуется продуктом.
Потому что даже если вы переписали весь фронтенд —
людям всё равно нужно, чтобы молоко было там, где оно всегда было😉.
P.S. Если завтра начнут продавать тапки в отделе мяса — я не удивлюсь😇
Когда прогресс забывает про тех, ради кого он, собственно, и нужен
Уже как две недели в «Пятерочке» , которую я регулярно посещаю, случился полный ребрендинг UX.
Молочка — на месте.
Овощи — как обычно.
Мясо — всё ещё в холодильнике у входа.
А вот всё остальное — разлетелось по магазину, как будто кошка, играя с приманкой, раскидала по магазину.
Шампуни теперь там, где были напитки.
Протеиновые батончики переехали на место круп.
Газировка на месте бывших печенек.
Привычные полки — неузнаваемы.
Это не магазин. Это legacy-интерфейс после редизайна.
💡 Знакомо?
Мне лично напомнило ИТ-кейс, когда меняется функциональная часть интерфейса, и ожидается что пользователь будет сыт и доволен, а в итоге это приносит сплошной стресс.
Я, как Пользователь, захожу в магазин и хочу купить то, что покупал вчера. И вместо привычного постоянства, чувствую касание длани хаоса. И мне выдаётся:
404: Кола без сахара - товар не найден. Попробуйте посмотреть там, где раньше было мыло😁
🔁 Мы в IT обожаем рефакторить, редизайнить, мигрировать.
Говорим: «Теперь логичнее!»
А пользователь думает:
Я просто хотел свой стандартный ужин, почему я сейчас стою у стирального порошка с бутылкой кефира в руке?..
✅ Хорошее изменение — это не когда всё «по новой архитектуре», а когда человек не теряется.
Как минимум:
● Оставляй якоря — как молочку и овощи.
● Не меняй всё сразу.
● Объясни, зачем это нужно.
● Сделай подсказки — хотя бы хинт.
● Не ломай привычный путь ради «удобства», которое удобно только тебе.
🌱 Прогресс — это не только новые фичи.
Это ещё и уважение к привычкам тех, кто уже пользуется продуктом.
Потому что даже если вы переписали весь фронтенд —
людям всё равно нужно, чтобы молоко было там, где оно всегда было😉.
P.S. Если завтра начнут продавать тапки в отделе мяса — я не удивлюсь😇
👍3❤2🔥2
Открыл для себя вчера полезную мелочь в Qwen: чтобы перейти на следующую строку без отправки сообщения — нужно использовать:
Shift + Enter.
Рад, что такая комбинация существует! Наконец-то можно писать с нормальным разделением по логике, а не сплошной «простыней», которая так раздражает 😄
К слову, Ctrl + Enter не работает — проверил сразу же, понадобилось более полгода, чтобы проверить на Shift + Enter
Делюсь находкой, вдруг кому-то тоже пригодится!☺️
Shift + Enter.
Рад, что такая комбинация существует! Наконец-то можно писать с нормальным разделением по логике, а не сплошной «простыней», которая так раздражает 😄
К слову, Ctrl + Enter не работает — проверил сразу же, понадобилось более полгода, чтобы проверить на Shift + Enter
Делюсь находкой, вдруг кому-то тоже пригодится!☺️
❤2👍2
🔥 Важное обновление! 🔥
К сожалению, не успел смонтировать видео
Есть и хорошая новость — я подготовил подробный текстовый гайд по настройке и использованию PostgresOperator в Apache Airflow!
🔗 Гайд: https://github.com/MaratNotes/marat_notes/tree/master/how_data_works-practice_cases/8_airflow_postgres_operator
В гайде ты найдешь:
✅ Пошаговую инструкцию по настройке Airflow (в WSL) и PostgreSQL (в Docker)
✅ Как проверить подключение между ними
✅ Подключение через DBeaver для проверки соединения
Идеально подойдет, если ты хочешь сразу начать практиковать материал, не дожидаясь видео.
Видео обязательно выйдет позже, а пока — полезный материал для самостоятельного изучения!
#КакРаботаютДанные #airflow
К сожалению, не успел смонтировать видео
Есть и хорошая новость — я подготовил подробный текстовый гайд по настройке и использованию PostgresOperator в Apache Airflow!
🔗 Гайд: https://github.com/MaratNotes/marat_notes/tree/master/how_data_works-practice_cases/8_airflow_postgres_operator
В гайде ты найдешь:
✅ Пошаговую инструкцию по настройке Airflow (в WSL) и PostgreSQL (в Docker)
✅ Как проверить подключение между ними
✅ Подключение через DBeaver для проверки соединения
Идеально подойдет, если ты хочешь сразу начать практиковать материал, не дожидаясь видео.
Видео обязательно выйдет позже, а пока — полезный материал для самостоятельного изучения!
#КакРаботаютДанные #airflow
GitHub
marat_notes/how_data_works-practice_cases/8_airflow_postgres_operator at master · MaratNotes/marat_notes
Заметки канала [Марат и его записки программиста](https://www.youtube.com/@marat_notes) - MaratNotes/marat_notes
❤4👍4
Как C++/Python-разработчик решил освоить Java через практику: сделал систему парсинга и логирования для Dropwizard.
Процесс:
1️⃣ Генерация: Код создал DeepSeek-R1 (именно финальный код, периодически менял их, так как начинали буксовать),
2️⃣ Ревью: Отдал на проверку Qwen-Coder — как независимому эксперту.
Вердикт Qwen-Coder:
«Чистая, модульная, расширяемая система. Легко интегрируется, грамотное структурирование, архитектура позволяет гибко добавлять фичи. 👏»
Реальность за кадром:
✅ В сумме часов 20 работы: сборка, отладка и шлифовка нюансов (Java для меня — новый язык),
✅ Результат — рабочая и элегантная система.
Итог:
Когда ИИ хвалит ИИ, а ты знаешь, сколько человеческого труда скрыто за этим кодом — это не трепет. Это понимание. 🔥
Такие инструменты — не магия, а мощные ускорители работы.
#ИИ #БудниПрограммиста
Процесс:
1️⃣ Генерация: Код создал DeepSeek-R1 (именно финальный код, периодически менял их, так как начинали буксовать),
2️⃣ Ревью: Отдал на проверку Qwen-Coder — как независимому эксперту.
Вердикт Qwen-Coder:
«Чистая, модульная, расширяемая система. Легко интегрируется, грамотное структурирование, архитектура позволяет гибко добавлять фичи. 👏»
Реальность за кадром:
✅ В сумме часов 20 работы: сборка, отладка и шлифовка нюансов (Java для меня — новый язык),
✅ Результат — рабочая и элегантная система.
Итог:
Когда ИИ хвалит ИИ, а ты знаешь, сколько человеческого труда скрыто за этим кодом — это не трепет. Это понимание. 🔥
Такие инструменты — не магия, а мощные ускорители работы.
#ИИ #БудниПрограммиста
❤4
Монолит vs микросервисы: мифы, реальность и третий путь.
Привет! 👋 Это новый пост из рубрики IT & Инсайты — делюсь кратким обзором полезных и интересных для меня докладов и видео из тематики IT и смежной к ней.
Сегодня — выступление Григория Петрова — "Сложность, убивающая микросервисы".
В его практике клиенты часто просят перевести их Python-монолит на "модные" микросервисы на Go, думая, что это автоматически сделает систему проще. Петров доказывает: это опасное заблуждение!
🔑 Ключевые тезисы:
📉 Критика на подъеме
Крупные игроки (Amazon Prime Video!) отказываются от микросервисов.
Команды Instagram (12 чел.) и WhatsApp (50 чел.) — не примеры, а предостережения. Они не тянут микросервисный "зоопарк".
🧠 Главный враг — когнитивная сложность
Наш мозг осознаёт код через "смыслы", а рабочая память — крайне ограничена (~4 "смысла" одновременно).
В монолитах фреймворки дают общие "кубики Лего" для понимания.
В микросервисах этих "кубиков" нет — каждая компания изобретает свою девплатформу (он приводит в пример Backstage в Spotify), которую новичкам погружаться годы (насчет скорости погружения - не уверен, но, в целом с тенденцией долгого погружения - согласен, и во многом связана также со следующим пунктом😁).
💥 Практические кошмары:
Технологический зоопарк — каждый сервис — свой стек, CI/CD, настройки.
Сложный мониторинг (Observability) — отладка распределённой системы = ад.
Жёсткость — архитектурные ошибки и техдолг караются мгновенно.
Медлительность — фичи требуют согласований с кучей команд.
✅ Когда микросервисы ОК?
1️⃣ Система масштабная и критичная.
2️⃣Есть ресурсы на процессы, культуру и инфраструктуру.
3️⃣Вы готовы к долгому онбордингу и постоянной синхронизации.
🔁 Альтернативы:
"Цитадель" — мощный монолит в центре + микросервисы по краям.
"Умный" монолит — чёткие границы, асинхронность, интеграция. Современные серверы справятся!
💡 Основная мысль:
Микросервисы — это не "проще", а дорогой и сложный инструмент для узкого круга задач.
❗️Слепая гонка за трендом (следует признать, что тренду лет 8-10☺️) без учета когнитивной нагрузки, инфраструктурных издержек и отсутствия стандартов — путь к провалу.
📌 Рекомендую посмотреть видео, особенно если интересны темы: нейрофизиологическая подоплёка программирования и построение и архитектура систем.
🔗 https://vkvideo.ru/video-65336816_456239594
💬 Пишите в комментариях:
• Сталкивались ли вы с "микросервисным адом"? Какой самый сложный момент?
• Что эффективнее по вашему мнению: умный монолит, "Цитадель" или чистые микросервисы? Или хаос наше всё😃
• Как решается проблема когнитивной нагрузки в Ваших проектах или в Вашем опыте?
• Согласны с Петровым, что микросервисы — это "сложность, которая убивает" для многих проектов?
Делитесь кейсами, спорите, дополняйте! Опыт сообщества бесценен. 👇
#ITинсайты
Привет! 👋 Это новый пост из рубрики IT & Инсайты — делюсь кратким обзором полезных и интересных для меня докладов и видео из тематики IT и смежной к ней.
Сегодня — выступление Григория Петрова — "Сложность, убивающая микросервисы".
В его практике клиенты часто просят перевести их Python-монолит на "модные" микросервисы на Go, думая, что это автоматически сделает систему проще. Петров доказывает: это опасное заблуждение!
🔑 Ключевые тезисы:
📉 Критика на подъеме
Крупные игроки (Amazon Prime Video!) отказываются от микросервисов.
Команды Instagram (12 чел.) и WhatsApp (50 чел.) — не примеры, а предостережения. Они не тянут микросервисный "зоопарк".
🧠 Главный враг — когнитивная сложность
Наш мозг осознаёт код через "смыслы", а рабочая память — крайне ограничена (~4 "смысла" одновременно).
В монолитах фреймворки дают общие "кубики Лего" для понимания.
В микросервисах этих "кубиков" нет — каждая компания изобретает свою девплатформу (он приводит в пример Backstage в Spotify), которую новичкам погружаться годы (насчет скорости погружения - не уверен, но, в целом с тенденцией долгого погружения - согласен, и во многом связана также со следующим пунктом😁).
💥 Практические кошмары:
Технологический зоопарк — каждый сервис — свой стек, CI/CD, настройки.
Сложный мониторинг (Observability) — отладка распределённой системы = ад.
Жёсткость — архитектурные ошибки и техдолг караются мгновенно.
Медлительность — фичи требуют согласований с кучей команд.
✅ Когда микросервисы ОК?
1️⃣ Система масштабная и критичная.
2️⃣Есть ресурсы на процессы, культуру и инфраструктуру.
3️⃣Вы готовы к долгому онбордингу и постоянной синхронизации.
🔁 Альтернативы:
"Цитадель" — мощный монолит в центре + микросервисы по краям.
"Умный" монолит — чёткие границы, асинхронность, интеграция. Современные серверы справятся!
💡 Основная мысль:
Микросервисы — это не "проще", а дорогой и сложный инструмент для узкого круга задач.
❗️Слепая гонка за трендом (следует признать, что тренду лет 8-10☺️) без учета когнитивной нагрузки, инфраструктурных издержек и отсутствия стандартов — путь к провалу.
📌 Рекомендую посмотреть видео, особенно если интересны темы: нейрофизиологическая подоплёка программирования и построение и архитектура систем.
🔗 https://vkvideo.ru/video-65336816_456239594
💬 Пишите в комментариях:
• Сталкивались ли вы с "микросервисным адом"? Какой самый сложный момент?
• Что эффективнее по вашему мнению: умный монолит, "Цитадель" или чистые микросервисы? Или хаос наше всё😃
• Как решается проблема когнитивной нагрузки в Ваших проектах или в Вашем опыте?
• Согласны с Петровым, что микросервисы — это "сложность, которая убивает" для многих проектов?
Делитесь кейсами, спорите, дополняйте! Опыт сообщества бесценен. 👇
#ITинсайты
VK Видео
Григорий Петров. Сложность, убивающая микросервисы
Последние несколько лет в сети появляются осторожные статьи о том, что микросервисы — не серебряная пуля. Amazon и Uber пробуют мигрировать проекты на монолитную архитектуру, а в команде Instagram почему-то всего 12 программистов. В теории за каждый микросервис…
❤1👍1
🎥 Очередное видео, посвященное Airflow, вышло!
И да, длительность видео 30 минут вместо стандартных 10–15 😅
Напомню, в прошлую субботу видео не было. Вместо этого выложил текстовый гайд по настройке взаимосвязи с БД в Apache Airflow.
Я наверстал упущенное и сегодня вышло развернутое видео☺️
В этом выпуске:
🔹 Как настроить подключение к БД в Airflow (PostgreSQL в Docker → Airflow в WSL)
🔹 Работа с SQLExecuteQueryOperator: от простого SELECT до выполнения .sql-файлов
🔹 Как проверить соединение через DBeaver — визуально и без ошибок
🔹 Практический кейс по реализации dag'а для соединения с БД
Видео идеально дополняет текстовый гайд , который я публиковал на прошлой неделе — теперь можно смотреть, слушать и повторять.
👉 Смотреть видео:
Vk: https://vkvideo.ru/video-231048746_456239024
Youtube: https://youtu.be/CS0ej3A-P5k
📖 Гайд (для тех, кто любит читать): https://github.com/MaratNotes/marat_notes/blob/master/how_data_works-practice_cases/8_airflow_postgres_operator/README.md
Спасибо, что остаётесь на связи, даже когда видео задерживается 💙
В следующую субботу — снова будет полезный гайд по Airflow (и, обещаю, вовремя 😉)
#КакРаботаютДанные #airflow
И да, длительность видео 30 минут вместо стандартных 10–15 😅
Напомню, в прошлую субботу видео не было. Вместо этого выложил текстовый гайд по настройке взаимосвязи с БД в Apache Airflow.
Я наверстал упущенное и сегодня вышло развернутое видео☺️
В этом выпуске:
🔹 Как настроить подключение к БД в Airflow (PostgreSQL в Docker → Airflow в WSL)
🔹 Работа с SQLExecuteQueryOperator: от простого SELECT до выполнения .sql-файлов
🔹 Как проверить соединение через DBeaver — визуально и без ошибок
🔹 Практический кейс по реализации dag'а для соединения с БД
Видео идеально дополняет текстовый гайд , который я публиковал на прошлой неделе — теперь можно смотреть, слушать и повторять.
👉 Смотреть видео:
Vk: https://vkvideo.ru/video-231048746_456239024
Youtube: https://youtu.be/CS0ej3A-P5k
📖 Гайд (для тех, кто любит читать): https://github.com/MaratNotes/marat_notes/blob/master/how_data_works-practice_cases/8_airflow_postgres_operator/README.md
Спасибо, что остаётесь на связи, даже когда видео задерживается 💙
В следующую субботу — снова будет полезный гайд по Airflow (и, обещаю, вовремя 😉)
#КакРаботаютДанные #airflow
GitHub
marat_notes/how_data_works-practice_cases/8_airflow_postgres_operator/README.md at master · MaratNotes/marat_notes
Заметки канала [Марат и его записки программиста](https://www.youtube.com/@marat_notes) - MaratNotes/marat_notes
❤3👍2🔥1
Как я на пробежке ногу из велосипеда вынимал😁🏃♂️
Привет всем!✌️
Работая удаленно, я все чаще ловлю себя на мысли, что социальных контактов стало в разы меньше, чем в офисе. Нет регулярных кофе-брейков, обсуждений за обедом или просто болтовни у кулера. И это сложно назвать плюсом, мне, как ни крути, нужно общение, и если честно, этого не хватает.
Мой спасательные круг в этом случае – хобби, а именно бег. И дело не только в эндорфинах! Тренировки на улице регулярно подкидывают ситуации, где я волей-неволей взаимодействую с внешним миром (несколько историй в другом посте). И вот свежий пример.
Утро выходного дня☀️. Старт моей длительной пробежки (8-10 км) запланирован у беговой дорожки рядом с местный торговым центром. Добираюсь туда на машине (~15 мин), делаю разминку, стартую.
Через 3-4 км беговой тренировки: Вижу маму с дочкой (~8-10 лет) на велосипеде. Стоят посреди дорожки перед пешеходным переходом, стоят странно неподвижно. Подбегаю ближе – локальное ЧП! Мама сигналит взмахами рук, вид испуганный.
Я остановился, снял наушники. Проблема: Нога ребенка прочно застряла в переднем колесе велосипеда! Видимо, при попытке спешиться перед переходом, нога каким-то невероятным образом проскочила между спицами и заклинилась между колесом и рамой. Шанс – один на миллион, но как говорил Терри Пратчетт: "Один шанс на миллион, выпадает 9 раз из 10!".
Что смутило: девочке явно было страшно и больно, а мама все время повторяла: "Только не плачь и терпи". Имхо, это странно😃. И чтобы мне было проще взаимодействовать, я сказал: "Нормально плакать, я бы тоже плакал, если бы мне было больно, можешь не сдерживать слезу☺️".
После чего приступил к диагностике ситуации. Сначала подумал, что перелом/вывих (мне лично было страшно смотреть). К счастью, обошлось – нога просто зажата.
Попытка №1 (неудачная): Пытаюсь аккуратно вытянуть ногу через спицы. Бесполезно. Физика против меня.
Анализ: Осматриваю крепление колеса. О, чудо современных технологий! Велосипед современный – колесо крепится на ручку-зажим, решение найдено – необходимо снять колесо!
Быстро отстегиваю ручку, снимаю переднее колесо и... нога свободна! Уффф.
Развязка:
Девочка в порядке! Может стоять и ходить (обошлось ушибом/испугом).
Предлагаю разобрать велик и довезти их до дома, правда им придется минут 25-30 подождать, необходимо добежать до машины и приехать.
Мама, бесконечно благодарная, решила, что доберутся до дома сами. Кто я такой, чтобы спорить?
Итог:
Эта история – не про мой героизм, хотя, конечно, было приятно помочь. Она про то, что хобби – это не просто "отдых" или "ЗОЖ". Для меня это важный канал связи с реальным миром и людьми.
Социализация: Бег (или любое другое хобби вне дома) принудительно может сталкивать социумом, создавать поводы для неформальных, человеческих взаимодействий. Иногда очень неожиданных!
Эмпатия и Коммуникация: В офисе есть предпосылки для развития soft skill'ов. Удалёнка их может притупить. Такие ситуации учат включать эмпатию, быстро находить слова и сохранять голову холодной.
Решение проблем: Даже в таком ЧП в реальном мире сработал знакомый принцип: "Оценить -> Попробовать быстрое решение -> Проанализировать систему (крепление колеса) -> Найти решение (снять колесо)". Логика и анализ – мой главный инструмент в любой ситации.
Непрошенный совет it-шнику: Не замыкайтесь в коде и задачах, выходите в "офлайн" через хобби! Это не только здоровье, но и критически важная "прокачка" социальных навыков и источник неожиданных (иногда велосипедных) жизненных кейсов! 😉
А у вас были неожиданные встречи и ситуации благодаря хобби? Делитесь в комментах! 👇
#хоббипрограммиста #бег
Привет всем!✌️
Работая удаленно, я все чаще ловлю себя на мысли, что социальных контактов стало в разы меньше, чем в офисе. Нет регулярных кофе-брейков, обсуждений за обедом или просто болтовни у кулера. И это сложно назвать плюсом, мне, как ни крути, нужно общение, и если честно, этого не хватает.
Мой спасательные круг в этом случае – хобби, а именно бег. И дело не только в эндорфинах! Тренировки на улице регулярно подкидывают ситуации, где я волей-неволей взаимодействую с внешним миром (несколько историй в другом посте). И вот свежий пример.
Утро выходного дня☀️. Старт моей длительной пробежки (8-10 км) запланирован у беговой дорожки рядом с местный торговым центром. Добираюсь туда на машине (~15 мин), делаю разминку, стартую.
Через 3-4 км беговой тренировки: Вижу маму с дочкой (~8-10 лет) на велосипеде. Стоят посреди дорожки перед пешеходным переходом, стоят странно неподвижно. Подбегаю ближе – локальное ЧП! Мама сигналит взмахами рук, вид испуганный.
Я остановился, снял наушники. Проблема: Нога ребенка прочно застряла в переднем колесе велосипеда! Видимо, при попытке спешиться перед переходом, нога каким-то невероятным образом проскочила между спицами и заклинилась между колесом и рамой. Шанс – один на миллион, но как говорил Терри Пратчетт: "Один шанс на миллион, выпадает 9 раз из 10!".
Что смутило: девочке явно было страшно и больно, а мама все время повторяла: "Только не плачь и терпи". Имхо, это странно😃. И чтобы мне было проще взаимодействовать, я сказал: "Нормально плакать, я бы тоже плакал, если бы мне было больно, можешь не сдерживать слезу☺️".
После чего приступил к диагностике ситуации. Сначала подумал, что перелом/вывих (мне лично было страшно смотреть). К счастью, обошлось – нога просто зажата.
Попытка №1 (неудачная): Пытаюсь аккуратно вытянуть ногу через спицы. Бесполезно. Физика против меня.
Анализ: Осматриваю крепление колеса. О, чудо современных технологий! Велосипед современный – колесо крепится на ручку-зажим, решение найдено – необходимо снять колесо!
Быстро отстегиваю ручку, снимаю переднее колесо и... нога свободна! Уффф.
Развязка:
Девочка в порядке! Может стоять и ходить (обошлось ушибом/испугом).
Предлагаю разобрать велик и довезти их до дома, правда им придется минут 25-30 подождать, необходимо добежать до машины и приехать.
Мама, бесконечно благодарная, решила, что доберутся до дома сами. Кто я такой, чтобы спорить?
Итог:
Эта история – не про мой героизм, хотя, конечно, было приятно помочь. Она про то, что хобби – это не просто "отдых" или "ЗОЖ". Для меня это важный канал связи с реальным миром и людьми.
Социализация: Бег (или любое другое хобби вне дома) принудительно может сталкивать социумом, создавать поводы для неформальных, человеческих взаимодействий. Иногда очень неожиданных!
Эмпатия и Коммуникация: В офисе есть предпосылки для развития soft skill'ов. Удалёнка их может притупить. Такие ситуации учат включать эмпатию, быстро находить слова и сохранять голову холодной.
Решение проблем: Даже в таком ЧП в реальном мире сработал знакомый принцип: "Оценить -> Попробовать быстрое решение -> Проанализировать систему (крепление колеса) -> Найти решение (снять колесо)". Логика и анализ – мой главный инструмент в любой ситации.
Непрошенный совет it-шнику: Не замыкайтесь в коде и задачах, выходите в "офлайн" через хобби! Это не только здоровье, но и критически важная "прокачка" социальных навыков и источник неожиданных (иногда велосипедных) жизненных кейсов! 😉
А у вас были неожиданные встречи и ситуации благодаря хобби? Делитесь в комментах! 👇
#хоббипрограммиста #бег
❤7🔥3
Как нейросети расширяют границы возможного в материаловедении
Привет! 👋 В рубрике IT & Инсайты делюсь сутью крутых выступлений.
Лично меня особенно восхищают доклады на стыке наук, например, где химия и физика материалов встречаются с математическим моделированием, а ИИ помогает найти оптимальные решения. Именно за эти качества понравилось выступление Владимира Широбокова о машинном обучении (МО) в материаловедении.
Главная боль индустрии? Путь от открытия материала до коммерции может занимать 20 лет! Инвесторы не готовы столько ждать. МО может всё изменить, связывая мир структуры материалов с цифровым!
🔑 Ключевые тезисы доклада:
• Данные — фундамент: Нужны тонны данных (эксперимент, расчеты). Критическая проблема: почти нет данных о "неудачных" экспериментах в публикациях!
• Графы + Физика = Прорыв: Графовые нейросети (GNN) хорошо описывают материалы (атомы=узлы, связи=ребра), но не учитывает физические законы . Прорыв: Эквивариантные GNN встроили законы физики (инвариантность к поворотам/сдвигам), резко повысив точность предсказаний!
• Модель «Гном» (GNoME)!
• Самостоятельно генерирует новые, жизнеспособные кристаллические структуры!
• Часть предсказаний уже подтверждена в реальных лабораториях!
• Сверхбыстрая молекулярная динамика: МО-модели учатся имитировать сверхточные (но медленные) квантовые расчеты, делая моделирование на порядки быстрее без потери качества.
• Вызовы: Острая нехватка данных для ключевых свойств, сложность моделирования, интеграция расчетных и "грязных" экспериментальных данных.
• Инвестиции: Решать конкретные, дорогие проблемы промышленности (батареи, чипы, катализаторы и т.д.). Технология должна приносить измеримую прибыль.
📌 Смотрите доклад, чтобы прочувствовать этот синтез наук https://vkvideo.ru/video-164555658_456241616
🔥 А вам нравятся такие междисциплинарные доклады?
• Какие отрасли получат максимум от ИИ-материалов? (Банкинг? Электроника? Медицина?)
• Как бороться с нехваткой данных (особенно "негативных") в науке/ваших проектах?
• Кто должен патентовать материал, открытый ИИ? Искусственный интеллект или люди?
• Что важнее для прорыва: умные алгоритмы (типа «Гном») или лаборанты?😀
Делитесь мыслями! 👇
#ITинсайты #ИИ
Привет! 👋 В рубрике IT & Инсайты делюсь сутью крутых выступлений.
Лично меня особенно восхищают доклады на стыке наук, например, где химия и физика материалов встречаются с математическим моделированием, а ИИ помогает найти оптимальные решения. Именно за эти качества понравилось выступление Владимира Широбокова о машинном обучении (МО) в материаловедении.
Главная боль индустрии? Путь от открытия материала до коммерции может занимать 20 лет! Инвесторы не готовы столько ждать. МО может всё изменить, связывая мир структуры материалов с цифровым!
🔑 Ключевые тезисы доклада:
• Данные — фундамент: Нужны тонны данных (эксперимент, расчеты). Критическая проблема: почти нет данных о "неудачных" экспериментах в публикациях!
• Графы + Физика = Прорыв: Графовые нейросети (GNN) хорошо описывают материалы (атомы=узлы, связи=ребра), но не учитывает физические законы . Прорыв: Эквивариантные GNN встроили законы физики (инвариантность к поворотам/сдвигам), резко повысив точность предсказаний!
• Модель «Гном» (GNoME)!
• Самостоятельно генерирует новые, жизнеспособные кристаллические структуры!
• Часть предсказаний уже подтверждена в реальных лабораториях!
• Сверхбыстрая молекулярная динамика: МО-модели учатся имитировать сверхточные (но медленные) квантовые расчеты, делая моделирование на порядки быстрее без потери качества.
• Вызовы: Острая нехватка данных для ключевых свойств, сложность моделирования, интеграция расчетных и "грязных" экспериментальных данных.
• Инвестиции: Решать конкретные, дорогие проблемы промышленности (батареи, чипы, катализаторы и т.д.). Технология должна приносить измеримую прибыль.
МО — не просто инструмент, а революционный ускоритель для материаловедения! Оно ломает барьеры комбинаторики (спасибо «Гному»!), открывая путь к целенаправленному дизайну материалов. Но триумф требует качественных данных, физически обоснованных моделей и четкой фокусировки на индустриальных задачах. Будущее материалов — за симбиозом глубокой науки и передового ИИ.
📌 Смотрите доклад, чтобы прочувствовать этот синтез наук https://vkvideo.ru/video-164555658_456241616
🔥 А вам нравятся такие междисциплинарные доклады?
• Какие отрасли получат максимум от ИИ-материалов? (Банкинг? Электроника? Медицина?)
• Как бороться с нехваткой данных (особенно "негативных") в науке/ваших проектах?
• Кто должен патентовать материал, открытый ИИ? Искусственный интеллект или люди?
• Что важнее для прорыва: умные алгоритмы (типа «Гном») или лаборанты?😀
Делитесь мыслями! 👇
#ITинсайты #ИИ
VK Видео
Владимир Широбоков | Современное состояние машинного обучения в материаловедении: перспективы и проблемы
Спикер: Владимир Широбоков, ИТМО Data Fest 2025: https://ods.ai/events/datafest2025 Презентацию к докладу Вы можете скачать в треке секции ML in Science: https://ods.ai/tracks/df25-ml-in-science ______ Наши соц.сети: Telegram: https://t.me/datafest Вконтакте:…
👍2🔥1
Я уже третий день подряд просыпаюсь под звуки дождя о металлическую крышу и печальное тоскливое небо утра😭
Загадаю на завтрашнее утро - солнце. Теплое, яркое и согревающее. Хотя бы восьмибитное!!☀️ ☀️
Загадаю на завтрашнее утро - солнце. Теплое, яркое и согревающее. Хотя бы восьмибитное!!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
Марат и его записки программиста
Как нейросети расширяют границы возможного в материаловедении Привет! 👋 В рубрике IT & Инсайты делюсь сутью крутых выступлений. Лично меня особенно восхищают доклады на стыке наук, например, где химия и физика материалов встречаются с математическим моделированием…
Надо признать, одна из причин, почему мне так понравилось это видео — оно вызвало яркое и тёплое чувство ностальгии. 🌿
Более 10 лет назад я учился в аспирантуре, и там существовала научная группа, которая занималась кванто-химическими расчётами. Я помню, как химики и физики запускали эти сложные симуляции — а потом, как в том анекдоте, не до конца понимали тонкости реализации алгоритма работы метода (по крайней мере, мне так казалось), но принимали результаты как данность 😁.
И вот сейчас, слушая доклад, по одной ниточке всплыло всё:
🔬 лабораторные будни
🌙 ночные расчёты
🎤 конференции
📐 споры у доски
💃 совместные тренировки и танцевальные репетиции в перерывах между экспериментами
☕️ бессонные ночи перед презентациями
🎓 взрывные студвесны
🕺 и эти безумные корпоративы, где даже суровые профессора вдруг становились частью танцпола
Это был образ жизни, сообщество, приключение и классная часть моего жизненного пути.
Уверен, у каждого есть своё место для ностальгических воспоминаний. Конечно, это не только аспирантура —
может быть, это первая работа, студенческая общага, музыкальная группа, спортивная команда…
Времена, от которых осталась не просто память,
а целое чувство, которое можно вызвать одной мелодией,
запахом старых книг на полке, или видом сложного графика с кривыми, которые «вдруг сошлись». 📈
—
Всем классных воспоминаний, которые оживляет тёплые и яркие события прошлого.💫
Более 10 лет назад я учился в аспирантуре, и там существовала научная группа, которая занималась кванто-химическими расчётами. Я помню, как химики и физики запускали эти сложные симуляции — а потом, как в том анекдоте, не до конца понимали тонкости реализации алгоритма работы метода (по крайней мере, мне так казалось), но принимали результаты как данность 😁.
И вот сейчас, слушая доклад, по одной ниточке всплыло всё:
🔬 лабораторные будни
🌙 ночные расчёты
🎤 конференции
📐 споры у доски
💃 совместные тренировки и танцевальные репетиции в перерывах между экспериментами
☕️ бессонные ночи перед презентациями
🎓 взрывные студвесны
🕺 и эти безумные корпоративы, где даже суровые профессора вдруг становились частью танцпола
Это был образ жизни, сообщество, приключение и классная часть моего жизненного пути.
Уверен, у каждого есть своё место для ностальгических воспоминаний. Конечно, это не только аспирантура —
может быть, это первая работа, студенческая общага, музыкальная группа, спортивная команда…
Времена, от которых осталась не просто память,
а целое чувство, которое можно вызвать одной мелодией,
запахом старых книг на полке, или видом сложного графика с кривыми, которые «вдруг сошлись». 📈
—
Всем классных воспоминаний, которые оживляет тёплые и яркие события прошлого.💫
❤4🔥2
📩 : «Работай работу и получай зарплату» — или как я перестал игнорировать EVP. Часть 1.
Раньше я считал, что EVP (Employer Value Proposition) — это HR-бла-бла:
А по факту — проект, таски, зарплата. Хреначь и получай. Вообще корректнее, я даже не знал, что такое EVP😁
Но на днях прошёл трёхчасовой воркшоп (капец как долго, через два часа чувствовал себя выжитым и уставшим) по разработке EVP в нашей компании (крупный аутсорс, 1.5k+ человек, основной клиент — крупный банк), и…
Оказалось, что это не про пиар. А про реальность.
Что вообще такое EVP?
Это ответ на вопрос:
Да, деньги важны. Но также важно понимать, что здесь есть рост, поддержка, возможность влиять, и ты чувствуешь, что тебя видят.
Хороший EVP — это когда ты можешь честно сказать другу:
Как проходил воркшоп?
🔹 Знакомство и погружение
Коротко, без воды: что такое EVP и зачем он нужен.
🔹 Генерация идей в командах
Обсуждали: что нас выделяет? Что важно для нас как сотрудников?
🔹 Колесо идей — и вот это было круто!
Рандомайзер выбирал:
одну из 6 тем EVP,
и формат (статья, подкаст, видео и т.д.)
И мы за 10 минут придумывали, как эту ценность можно раскрыть публично.
Например:
Тема: «Влияние на процессы»
Формат: подкаст
→ Серия интервью с теми, кто внедрил свои инициативы.
Было мощно.
И в процессе разговора я узнал кучу нового: как устроены грейды в аутсорсе, как работает внутренняя мобильность, какие сложности бывают у команд и как они их обходят.
🔹 Про Хабр и экспертность
Да, мы всерьёз обсуждали, как писать статьи от лица компании — не про вакансии, а про технологии, кейсы, R&D. Чтобы быть не просто подрядчиком, а экспертом в сообществе.
🔹 Про конференции
Как выступать чаще, делиться знаниями, быть на сцене — а не только за кулисами.
💚 Что понравилось?
— Познакомился с людьми из других направлений
Теперь могу напрямую обсуждать процессы — и уже после воркшопа обратился к одному из участников, чтобы подробнее узнать про Хайпо.
— Впервые услышал про Хайпо
Это пулл активистов, которые запускают митапы, подкасты, помогают новичкам.
Всё — на энтузиазме и внутренних койнах. 💬💥
🔜 Продолжение — во второй части.
Там — мой главный вывод: Почему хорошее остаётся незамеченным внутри компании.
—
А пока — вот вопрос к вам 😊
Если бы вам предложили пойти на воркшоп по EVP…
Вы бы сказали:
«О, интересно! Пойду!» 💡
Или сразу отметили:
«Ещё одно HR-мероприятие для того чтобы полить воду — конечно, пропущу, есть очень много важных тасок в спринте!!» ?
Пишите в комментариях — очень интересно, как другие смотрят на такие инициативы 👇
Буду читать с удовольствием! 🧵
#БудниПрограммиста
Раньше я считал, что EVP (Employer Value Proposition) — это HR-бла-бла:
«Мы ценим каждого», «у нас тёплая атмосфера», «мы как семья»…
А по факту — проект, таски, зарплата. Хреначь и получай. Вообще корректнее, я даже не знал, что такое EVP😁
Но на днях прошёл трёхчасовой воркшоп (капец как долго, через два часа чувствовал себя выжитым и уставшим) по разработке EVP в нашей компании (крупный аутсорс, 1.5k+ человек, основной клиент — крупный банк), и…
Оказалось, что это не про пиар. А про реальность.
Что вообще такое EVP?
Это ответ на вопрос:
Почему тебе стоит работать именно здесь?
Да, деньги важны. Но также важно понимать, что здесь есть рост, поддержка, возможность влиять, и ты чувствуешь, что тебя видят.
Хороший EVP — это когда ты можешь честно сказать другу:
«Приходи. У нас не просто проекты — у нас есть основание, возможности и команда».
Как проходил воркшоп?
🔹 Знакомство и погружение
Коротко, без воды: что такое EVP и зачем он нужен.
🔹 Генерация идей в командах
Обсуждали: что нас выделяет? Что важно для нас как сотрудников?
🔹 Колесо идей — и вот это было круто!
Рандомайзер выбирал:
одну из 6 тем EVP,
и формат (статья, подкаст, видео и т.д.)
И мы за 10 минут придумывали, как эту ценность можно раскрыть публично.
Например:
Тема: «Влияние на процессы»
Формат: подкаст
→ Серия интервью с теми, кто внедрил свои инициативы.
Было мощно.
И в процессе разговора я узнал кучу нового: как устроены грейды в аутсорсе, как работает внутренняя мобильность, какие сложности бывают у команд и как они их обходят.
🔹 Про Хабр и экспертность
Да, мы всерьёз обсуждали, как писать статьи от лица компании — не про вакансии, а про технологии, кейсы, R&D. Чтобы быть не просто подрядчиком, а экспертом в сообществе.
🔹 Про конференции
Как выступать чаще, делиться знаниями, быть на сцене — а не только за кулисами.
💚 Что понравилось?
— Познакомился с людьми из других направлений
Теперь могу напрямую обсуждать процессы — и уже после воркшопа обратился к одному из участников, чтобы подробнее узнать про Хайпо.
— Впервые услышал про Хайпо
Это пулл активистов, которые запускают митапы, подкасты, помогают новичкам.
Всё — на энтузиазме и внутренних койнах. 💬💥
🔜 Продолжение — во второй части.
Там — мой главный вывод: Почему хорошее остаётся незамеченным внутри компании.
—
А пока — вот вопрос к вам 😊
Если бы вам предложили пойти на воркшоп по EVP…
Вы бы сказали:
«О, интересно! Пойду!» 💡
Или сразу отметили:
«Ещё одно HR-мероприятие для того чтобы полить воду — конечно, пропущу, есть очень много важных тасок в спринте!!» ?
Пишите в комментариях — очень интересно, как другие смотрят на такие инициативы 👇
Буду читать с удовольствием! 🧵
#БудниПрограммиста
👍3
🎥 Сегодня вышло девятое видео посвященное Airflow!
А вы знали, что Airflow может ждать файл в S3 дольше, чем ваш друг ответит на сообщение? 😏
В этом видео:
🐳 Поднимаем своё локальное "облачко" — MinIO в Docker (да, можно и дома быть облачным инженером!)
🔌 Подключаем его к Airflow, как настоящих друзей
🎯 Тестируем S3KeySensor — и смотрим, что он делает, когда файла по пути всё ещё нет (spoiler: он очень-очень надеется)
Сколько раз он проверит? Когда сдастся? И будет ли нервничать, как я, когда жду доставку еды?
Идеально для тех, кто только втягивается в мир Data Pipelines.
Приятного просмотра и да пребудет с вами сила (и working DAG)! 😉
👉 Смотреть видео:
Vk: https://vkvideo.ru/video-231048746_456239025
Youtube: https://youtu.be/hwo6aOfMl9c
📖 Гайд (для тех, кто любит читать):
https://github.com/MaratNotes/marat_notes/blob/master/how_data_works-practice_cases/9_airflow_s3/README.md
—
Базовый курс Airflow плавно подходит к логическому завершению.
Следующим будет видео про S3Hook — и после него выпущу обобщающее видео по базовым знаниям Airflow.
А потом — вперёд в ETL-дикую природу! 🌿
Планирую развивать тему реальных ETL-пайплайнов с использованием:
📦 Apache Kafka — для потоковой передачи данных
📊 Marquez — чтобы отслеживать lineage и метаданные (никакой магии, только прозрачность)
🔗 Их интеграцию с Airflow для построения современного data orchestration
Будем строить практические кейсы: от генерации событий в Kafka до запуска DAG’а в Airflow и фиксации всего этого в Marquez.
Всё — с моими примерами, схемами и, конечно, кодом, который можно запустить локально.
Готовы к настоящему data-путешествию? Поехали! 🚀
#КакРаботаютДанные #airflow
А вы знали, что Airflow может ждать файл в S3 дольше, чем ваш друг ответит на сообщение? 😏
В этом видео:
🐳 Поднимаем своё локальное "облачко" — MinIO в Docker (да, можно и дома быть облачным инженером!)
🔌 Подключаем его к Airflow, как настоящих друзей
🎯 Тестируем S3KeySensor — и смотрим, что он делает, когда файла по пути всё ещё нет (spoiler: он очень-очень надеется)
Сколько раз он проверит? Когда сдастся? И будет ли нервничать, как я, когда жду доставку еды?
Идеально для тех, кто только втягивается в мир Data Pipelines.
Приятного просмотра и да пребудет с вами сила (и working DAG)! 😉
👉 Смотреть видео:
Vk: https://vkvideo.ru/video-231048746_456239025
Youtube: https://youtu.be/hwo6aOfMl9c
📖 Гайд (для тех, кто любит читать):
https://github.com/MaratNotes/marat_notes/blob/master/how_data_works-practice_cases/9_airflow_s3/README.md
—
Базовый курс Airflow плавно подходит к логическому завершению.
Следующим будет видео про S3Hook — и после него выпущу обобщающее видео по базовым знаниям Airflow.
А потом — вперёд в ETL-дикую природу! 🌿
Планирую развивать тему реальных ETL-пайплайнов с использованием:
📦 Apache Kafka — для потоковой передачи данных
📊 Marquez — чтобы отслеживать lineage и метаданные (никакой магии, только прозрачность)
🔗 Их интеграцию с Airflow для построения современного data orchestration
Будем строить практические кейсы: от генерации событий в Kafka до запуска DAG’а в Airflow и фиксации всего этого в Marquez.
Всё — с моими примерами, схемами и, конечно, кодом, который можно запустить локально.
Готовы к настоящему data-путешествию? Поехали! 🚀
#КакРаботаютДанные #airflow
👍8🔥1
📩 : «Работай работу и получай зарплату» — или как я перестал игнорировать EVP. Часть 2.
В первой части я рассказывал, как прошёл воркшоп по EVP: узнал про Хайпо, колесо идей, подробности и личный опыт одного из сотрудников при прохождении кейса с "внутренней мобильностью"…
И в целом — впечатлился.
Но самый главный вывод появился после воркшопа:
👉 Кампания не доносит хорошее до сотрудников.
🔊 Проблема: нет обратной связи внутри
На встрече стало очевидно:
Многие из нас просто не в курсе того, что уже есть.
Например:
● У нас есть корпоративный блог и Telegram-канал, но об этом знают единицы.
● Новости с блога не приходят ни в почту, ни в уведомления — чтобы прочитать, нужно самому искать.
● Нет понятного гайда:
→ как расти в грейдах 📈
→ как подаваться на внутреннюю мобильность 🔄
→ какие есть треки развития 🧭
● Мало рассказывают о реальных проектах, достижениях, сложностях и решениях — хотя это ценно и для команд, и для найма.
Мы не видим полной картины.
А значит — не чувствуем связи.
И не делимся этим с другими.
✅ А ведь многое работает отлично
На самом деле — многое устроено очень классно:
🧑🏫 Система кураторства — одна из лучших, что я видел. Классно когда есть человек, к которому можно обратиться по любым вопросам.
⚡️ Решение рабочих вопросов — от отпуска до конфликтов — происходит быстро и без бюрократии.
🗣 Есть механизмы, чтобы быть услышанным и чувствовать себя частью коллектива — различные онлайн проекты (рассказы про хобби и увлечения, онлайн квесты и ЧГК), it-кофе - это когда раз в неделю есть возможность со случайным человеком из коллектива обсудить любые вопросы, от работы до свободного времяпровождения, большие вечеринки для сотрудников, работающих удаленно (в сентябре запланировано это мероприятие в Уфе, так примерно раз в 2-3 месяца прозодит в разных городах России😉☺️)
Но о хорошем знают не все.
А значит — не ценят, не вовлекаются, не рекомендуют.
💡 Вывод: культура — это не только то, что есть. Это то, о чем ты умеешь рассказать.
EVP — это не просто набор ценностей.
Это история, которую ты рассказываешь своим сотрудникам.
И если она доходит до них — появляется доверие, вовлечённость, гордость.
А если нет — даже самое крутое предложение остаётся "где-то там".
📣 Что можно улучшить?
📨 Рассылки о блоге и инициативах — прямо в почту и в телегу.
📚 Гайды по карьерному росту и мобильности — простые, понятные, доступные.
🎙 Истории от сотрудников — не только про проекты, но и про сложности, решения, личный рост.
🔁 Обратная связь от команд — чтобы понимать, что работает, а что — нет.
✅ Итог
Ушёл с воркшопа с мыслью:
Потому что культура — это не только то, что у тебя есть.
Это то, что ты умеешь показать коллективу и рассказать об этом. 💬
P.S. А в вашей компании как?
Есть ли обратная связь от руководства кампании о планах на будущее?
Есть ли коммуникация между командами об используемых подходах, возникших проблемах и сложностях и пути их исправления и обхода?
Знаете ли вы, где искать новости, как расти, куда податься?
Делитесь в комментариях — будет интересно сравнить! 👇
#БудниПрограммиста
В первой части я рассказывал, как прошёл воркшоп по EVP: узнал про Хайпо, колесо идей, подробности и личный опыт одного из сотрудников при прохождении кейса с "внутренней мобильностью"…
И в целом — впечатлился.
Но самый главный вывод появился после воркшопа:
👉 Кампания не доносит хорошее до сотрудников.
🔊 Проблема: нет обратной связи внутри
На встрече стало очевидно:
Многие из нас просто не в курсе того, что уже есть.
Например:
● У нас есть корпоративный блог и Telegram-канал, но об этом знают единицы.
● Новости с блога не приходят ни в почту, ни в уведомления — чтобы прочитать, нужно самому искать.
● Нет понятного гайда:
→ как расти в грейдах 📈
→ как подаваться на внутреннюю мобильность 🔄
→ какие есть треки развития 🧭
● Мало рассказывают о реальных проектах, достижениях, сложностях и решениях — хотя это ценно и для команд, и для найма.
Мы не видим полной картины.
А значит — не чувствуем связи.
И не делимся этим с другими.
✅ А ведь многое работает отлично
На самом деле — многое устроено очень классно:
🧑🏫 Система кураторства — одна из лучших, что я видел. Классно когда есть человек, к которому можно обратиться по любым вопросам.
⚡️ Решение рабочих вопросов — от отпуска до конфликтов — происходит быстро и без бюрократии.
🗣 Есть механизмы, чтобы быть услышанным и чувствовать себя частью коллектива — различные онлайн проекты (рассказы про хобби и увлечения, онлайн квесты и ЧГК), it-кофе - это когда раз в неделю есть возможность со случайным человеком из коллектива обсудить любые вопросы, от работы до свободного времяпровождения, большие вечеринки для сотрудников, работающих удаленно (в сентябре запланировано это мероприятие в Уфе, так примерно раз в 2-3 месяца прозодит в разных городах России😉☺️)
Но о хорошем знают не все.
А значит — не ценят, не вовлекаются, не рекомендуют.
💡 Вывод: культура — это не только то, что есть. Это то, о чем ты умеешь рассказать.
EVP — это не просто набор ценностей.
Это история, которую ты рассказываешь своим сотрудникам.
И если она доходит до них — появляется доверие, вовлечённость, гордость.
А если нет — даже самое крутое предложение остаётся "где-то там".
📣 Что можно улучшить?
📨 Рассылки о блоге и инициативах — прямо в почту и в телегу.
📚 Гайды по карьерному росту и мобильности — простые, понятные, доступные.
🎙 Истории от сотрудников — не только про проекты, но и про сложности, решения, личный рост.
🔁 Обратная связь от команд — чтобы понимать, что работает, а что — нет.
✅ Итог
Ушёл с воркшопа с мыслью:
«У нас реально есть чем гордиться.
Осталось только лучше об этом рассказывать.»
Потому что культура — это не только то, что у тебя есть.
Это то, что ты умеешь показать коллективу и рассказать об этом. 💬
P.S. А в вашей компании как?
Есть ли обратная связь от руководства кампании о планах на будущее?
Есть ли коммуникация между командами об используемых подходах, возникших проблемах и сложностях и пути их исправления и обхода?
Знаете ли вы, где искать новости, как расти, куда податься?
Делитесь в комментариях — будет интересно сравнить! 👇
#БудниПрограммиста
Telegram
Марат и его записки программиста
📩 : «Работай работу и получай зарплату» — или как я перестал игнорировать EVP. Часть 1.
Раньше я считал, что EVP (Employer Value Proposition) — это HR-бла-бла:
«Мы ценим каждого», «у нас тёплая атмосфера», «мы как семья»…
А по факту — проект, таски, зарплата.…
Раньше я считал, что EVP (Employer Value Proposition) — это HR-бла-бла:
«Мы ценим каждого», «у нас тёплая атмосфера», «мы как семья»…
А по факту — проект, таски, зарплата.…
👍2
Когда Enter решает за меня ⌨️💥
Пишу на днях письмо в корпоративной почте.
В голове — Telegram и Qwen: Shift+Enter = перенос строки.
В реальности почтового клиента — Ctrl+Enter = отправить.
Нажимаю по привычке, просто чтобы перейти на новую строку…
Письмо улетает.
‼️Недописанное.
С заметками: «важно обсудить», «напомнить про сроки», «вообще хз, надо подумать».
Коллеги читают — и видит не ответ, а мои мысли вслух.
Как будто заглянули в мой личный дневник.
Было очень неприятно и неловко за себя☺️
Сильно раздражает, что во многих приложениях разные сочетания на одни и те же действия?!?!
Вообще не понимаю, как в ситуации, когда
космические корабли бороздят просторы Вселенной,
мы до сих пор не можем договориться,
что делает одна клавиша!!!
—
Если ты тоже когда-то отправлял коллегам черновик с пометкой «тут дописать», а может и с матерным слэнгом — ставь ❤️
Пишу на днях письмо в корпоративной почте.
В голове — Telegram и Qwen: Shift+Enter = перенос строки.
В реальности почтового клиента — Ctrl+Enter = отправить.
Нажимаю по привычке, просто чтобы перейти на новую строку…
Письмо улетает.
‼️Недописанное.
С заметками: «важно обсудить», «напомнить про сроки», «вообще хз, надо подумать».
Коллеги читают — и видит не ответ, а мои мысли вслух.
Как будто заглянули в мой личный дневник.
Было очень неприятно и неловко за себя☺️
Сильно раздражает, что во многих приложениях разные сочетания на одни и те же действия?!?!
Вообще не понимаю, как в ситуации, когда
космические корабли бороздят просторы Вселенной,
мы до сих пор не можем договориться,
что делает одна клавиша!!!
—
Если ты тоже когда-то отправлял коллегам черновик с пометкой «тут дописать», а может и с матерным слэнгом — ставь ❤️
👍2❤1😁1🤪1
IT в ФинТехе. Как всё начиналось: боли, релизы и средневековая Чехия. Часть 1
Привет! 👋 Это новый выпуск из рубрики IT & Инсайты — здесь я делюсь разбором интересных и полезных материалов из мира технологий, управления и цифровой трансформации.
Сегодня — обзор свежего эпизода подкаста «Техно.Логично» с Алексеем Ульенковым, руководителем ИТ Розницы и МСБ, и Александром Черушниковым, ИТ-куратором платформ Розницы.
Речь — о непростом, но вдохновляющем пути ИТ-трансформации в Газпромбанке: как команда перешла от зависимости от вендоров и громоздких процессов к гибким продуктовым командам, частым релизам и инженерной культуре качества.
Что особено запомнилось:
1️⃣ Как менялись процессы в ИТ: от «чёрного ящика» к прозрачности
Один кейс из прошлого выглядел так:
👉 код отправляли внешнему вендору (например, Oracle),
👉 а «на местах» — собственные инженеры вручную разбирали, что изменилось,
👉 искали логику в кодовой базе,
👉 анализировали, какие параметры нужно подкрутить,
👉 и только потом формулировали, что именно надо исправить или донастроить.
💡 Представьте: вы не контролируете код, не видите, как он работает, и ждёте ответа от вендора — как от оракула (в прямом и переносном смысле 😉).
Процесс — медленный, хрупкий, с высоким риском ошибок и простоев.
2️⃣ DevOps и эволюция процессов в финтехе:
Как менялась культура доставки изменений в продакшн:
🔹 Сначала — большие, но точечные релизы:
развивали 1–2 решения, тестировали, выпускали релизы раз в месяц.
→ Просто, но медленно и с задержками.
🔹 Потом — «большие релизы»:
один запуск на десятки систем, тестирование — неделями, стеки изменений — огромные.
→ Кажется, что «всё под контролем», но на деле — ложное чувство безопасности.
Один "крупный" баг = всё откатываем.
🔹 Сейчас — частые и маленькие релизы:
каждая команда выкатывает, когда продукт готов.
Автоматизация, мониторинг, обратная связь — в реальном времени.
🚨 Ключевой инсайт:
💡 В начале было сопротивление: «Так не принято», «Слишком рискованно».
Но результат доказал эффективность: меньше стресса, выше стабильность, быстрее изменение уходит к клиенту.
➕ Плюс — очень понятное и короткое объяснение, зачем нужны DORA-метрики и как они помогают оценить реальную эффективность команды.
📌 Всё это — не теория, а реальная жизнь.
Истории, которые узнают многие, кто работает в корпоративном ИТ.
💬 А у Вас в команде были похожие кейсы?
— Когда код был «чёрным ящиком»?
— Или когда «большой релиз» внезапно рушил всё?
Делитесь в комментариях — интересно сравнить контексты!
📌 И да — вы наверняка задаётесь вопросом:
🔎 Ответ — во второй части. 😉 Поведую о том, как участники подкаста изменили культуру в кампании, внедрили DevOps и перестроили подход к разработке.
🎧 Подкаст рекомендую послушать по ссылке:
👉 https://vkvideo.ru/video-145457488_456239856
#ITИнсайты
Привет! 👋 Это новый выпуск из рубрики IT & Инсайты — здесь я делюсь разбором интересных и полезных материалов из мира технологий, управления и цифровой трансформации.
Сегодня — обзор свежего эпизода подкаста «Техно.Логично» с Алексеем Ульенковым, руководителем ИТ Розницы и МСБ, и Александром Черушниковым, ИТ-куратором платформ Розницы.
Речь — о непростом, но вдохновляющем пути ИТ-трансформации в Газпромбанке: как команда перешла от зависимости от вендоров и громоздких процессов к гибким продуктовым командам, частым релизам и инженерной культуре качества.
Что особено запомнилось:
Один кейс из прошлого выглядел так:
👉 код отправляли внешнему вендору (например, Oracle),
👉 а «на местах» — собственные инженеры вручную разбирали, что изменилось,
👉 искали логику в кодовой базе,
👉 анализировали, какие параметры нужно подкрутить,
👉 и только потом формулировали, что именно надо исправить или донастроить.
💡 Представьте: вы не контролируете код, не видите, как он работает, и ждёте ответа от вендора — как от оракула (в прямом и переносном смысле 😉).
Процесс — медленный, хрупкий, с высоким риском ошибок и простоев.
Как менялась культура доставки изменений в продакшн:
🔹 Сначала — большие, но точечные релизы:
развивали 1–2 решения, тестировали, выпускали релизы раз в месяц.
→ Просто, но медленно и с задержками.
🔹 Потом — «большие релизы»:
один запуск на десятки систем, тестирование — неделями, стеки изменений — огромные.
→ Кажется, что «всё под контролем», но на деле — ложное чувство безопасности.
Один "крупный" баг = всё откатываем.
🔹 Сейчас — частые и маленькие релизы:
каждая команда выкатывает, когда продукт готов.
Автоматизация, мониторинг, обратная связь — в реальном времени.
🚨 Ключевой инсайт:
«Чем чаще мы ставим — тем реже падаем.»
(и когда падаем — быстро встаём)
💡 В начале было сопротивление: «Так не принято», «Слишком рискованно».
Но результат доказал эффективность: меньше стресса, выше стабильность, быстрее изменение уходит к клиенту.
📌 Всё это — не теория, а реальная жизнь.
Истории, которые узнают многие, кто работает в корпоративном ИТ.
💬 А у Вас в команде были похожие кейсы?
— Когда код был «чёрным ящиком»?
— Или когда «большой релиз» внезапно рушил всё?
Делитесь в комментариях — интересно сравнить контексты!
📌 И да — вы наверняка задаётесь вопросом:
«При чём тут, вообще, средневековая Чехия?»
🔎 Ответ — во второй части. 😉 Поведую о том, как участники подкаста изменили культуру в кампании, внедрили DevOps и перестроили подход к разработке.
🎧 Подкаст рекомендую послушать по ссылке:
👉 https://vkvideo.ru/video-145457488_456239856
#ITИнсайты
Please open Telegram to view this post
VIEW IN TELEGRAM
VK Видео
Подкаст «Техно.Логично»: Развитие ИТ в финтехе
Как банковское ИТ прошло путь от коробочных решений до гибких продуктовых команд и почему будущее профессии может кардинально измениться уже в ближайшие годы? Узнайте в новом выпуске «Техно.Логично» с Алексеем Ульенковым и Александром Черушниковым. В свежем…
❤2👍2
📩 P.S. к EVP: беговые приятности
На днях писал про EVP и как важно, чтобы сотрудники чувствовали связь с компанией.
И тут как по команде — ещё один живой пример.
🏃♂️ Всё лето у нас идёт Благотворительный забег.
Суть простая: бегаешь, загружаешь километры, а компания за каждый км кидает 50₽ в общую копилку.
В этом активности участвуют почти 200 сотрудников — и это здорово! Теперь я знаю, что несколько коллег из Уфы тоже регулярно загружает свои тренировки — будет о чём поговорить на местном корпоративе 😁
🌤 За лето мы вместе собрали более 400 000 рублей! Я считаю крутой результат!
🎁 И да, ещё важный момент — за участие каждую неделю разыгрывают мерч.
И на этой неделе повезло мне 🎉
Не знаю, насколько это EVP, но приятно точно☺️☺️
P.S. Кстати, в целом про обсуждение EVP внутри кампании, где я работаю, можно прочитать здесь
#ХоббиПрограммиста
На днях писал про EVP и как важно, чтобы сотрудники чувствовали связь с компанией.
И тут как по команде — ещё один живой пример.
🏃♂️ Всё лето у нас идёт Благотворительный забег.
Суть простая: бегаешь, загружаешь километры, а компания за каждый км кидает 50₽ в общую копилку.
В этом активности участвуют почти 200 сотрудников — и это здорово! Теперь я знаю, что несколько коллег из Уфы тоже регулярно загружает свои тренировки — будет о чём поговорить на местном корпоративе 😁
🌤 За лето мы вместе собрали более 400 000 рублей! Я считаю крутой результат!
🎁 И да, ещё важный момент — за участие каждую неделю разыгрывают мерч.
И на этой неделе повезло мне 🎉
Не знаю, насколько это EVP, но приятно точно☺️☺️
P.S. Кстати, в целом про обсуждение EVP внутри кампании, где я работаю, можно прочитать здесь
#ХоббиПрограммиста
👍1🔥1
IT в ФинТехе. Как всё начиналось: боли, релизы и средневековая Чехия. Часть 2 (если вы пропустили первую часть)
🎧 В этом выпуске — как команда изменила культуру, перестроила структуру и внедрила DevOps не ради моды, а ради результата.
3️⃣ Будущее профессии: как нейросети меняют IT-культуру
Звучало провокационно, но логично:
💡 Не потому что он «умнее»:
🔹 он знает, как ставить задачи нейросети,
🔹 умеет проверять и дорабатывать результат,
🔹 понимает архитектуру, бизнес-контекст и последствия изменений,
🔹 и, главное — несёт ответственность за код.
Нейросети работают с кодом как с языком, генерируют модули, рефакторят, находят уязвимости.
Они не заменяют специалиста, а усиливают его.
А будущее — за теми, кто умеет работать в паре с ИИ, а не за теми, кто пишет больше строк.
4️⃣ Как развивалось IT в Газпромбанке: с чего начиналась трансформация
Одна из самых интересных частей — личная история одного из героев: как он, уже состоявшийся ИТ-специалист с внешним опытом, пришёл в Газпромбанк и начал менять культуру разработки изнутри.
🔹 Всё началось с аудита текущих процессов.
И что он увидел?
❌ Разбалансированный ролевой состав:
— много архитекторов, тестировщиков, аналитиков и менеджеров,
— но катастрофически не хватало разработчиков — тех, кто пишет код и отвечает за его качество.
❌ Культура «всё должно быть большим»:
— гигантские релизы,
— многонедельное тестирование,
— документы толщиной с книгу,
— и ощущение, что «если долго готовились — значит, всё будет хорошо».
❌ Тестирование ради тестирования:
полигоны весом в десятки терабайт, сценарии, которые никто не понимал, и результаты, которые не ловили реальные баги.
💬 И тут прозвучало легендарное сравнение:
🔹 То есть:
— нет единой платформы,
— нет общих стандартов,
— нет культуры непрерывной доставки,
— но много договорённостей, ритуалов и иерархии.
📌 Именно с таких «неудобных правд» начинается настоящая трансформация — не с красивых презентаций, а с честного анализа.
А дальше — путь:
от вендорной зависимости → к внутренней разработке,
от гигантских релизов → к частым выкаткам,
от ручного управления → к автоматизации и DevOps.
💡 Главный урок:
Невозможно построить современное IT поверх устаревшей культуры.
Сначала — люди, структура, мышление. Потом — технологии.
✅ Итог
Ценность этого подкаста для меня, что герои:
— поднимают вопрос о сопротивлении и с чем сталкивались при внедрении новых практик,
— не скрывают неудач,
— и показывают, как новая ИТ-культура строится по кирпичику.
🎧 Рекомендую к прослушиванию всем, кто в корпоративном IT, DevOps, управлении командами или цифровой трансформации.
👉 https://vkvideo.ru/video-145457488_456239856
💬 Делитесь впечатлениями — что запомнилось вам?
#ITИнсайты
🎧 В этом выпуске — как команда изменила культуру, перестроила структуру и внедрила DevOps не ради моды, а ради результата.
Звучало провокационно, но логично:
Топовый разработчик с нейросетью в руках — почти в 100 раз эффективнее джуна.
💡 Не потому что он «умнее»:
🔹 он знает, как ставить задачи нейросети,
🔹 умеет проверять и дорабатывать результат,
🔹 понимает архитектуру, бизнес-контекст и последствия изменений,
🔹 и, главное — несёт ответственность за код.
Нейросети работают с кодом как с языком, генерируют модули, рефакторят, находят уязвимости.
Они не заменяют специалиста, а усиливают его.
А будущее — за теми, кто умеет работать в паре с ИИ, а не за теми, кто пишет больше строк.
Одна из самых интересных частей — личная история одного из героев: как он, уже состоявшийся ИТ-специалист с внешним опытом, пришёл в Газпромбанк и начал менять культуру разработки изнутри.
🔹 Всё началось с аудита текущих процессов.
И что он увидел?
❌ Разбалансированный ролевой состав:
— много архитекторов, тестировщиков, аналитиков и менеджеров,
— но катастрофически не хватало разработчиков — тех, кто пишет код и отвечает за его качество.
❌ Культура «всё должно быть большим»:
— гигантские релизы,
— многонедельное тестирование,
— документы толщиной с книгу,
— и ощущение, что «если долго готовились — значит, всё будет хорошо».
❌ Тестирование ради тестирования:
полигоны весом в десятки терабайт, сценарии, которые никто не понимал, и результаты, которые не ловили реальные баги.
💬 И тут прозвучало легендарное сравнение:
«Это как средневековая Чехия — куча мелких княжеств, каждое живёт по своим правилам, договорились — работает, не договорились — стоят процессы».
🔹 То есть:
— нет единой платформы,
— нет общих стандартов,
— нет культуры непрерывной доставки,
— но много договорённостей, ритуалов и иерархии.
📌 Именно с таких «неудобных правд» начинается настоящая трансформация — не с красивых презентаций, а с честного анализа.
А дальше — путь:
от вендорной зависимости → к внутренней разработке,
от гигантских релизов → к частым выкаткам,
от ручного управления → к автоматизации и DevOps.
💡 Главный урок:
Невозможно построить современное IT поверх устаревшей культуры.
Сначала — люди, структура, мышление. Потом — технологии.
✅ Итог
Ценность этого подкаста для меня, что герои:
— поднимают вопрос о сопротивлении и с чем сталкивались при внедрении новых практик,
— не скрывают неудач,
— и показывают, как новая ИТ-культура строится по кирпичику.
🎧 Рекомендую к прослушиванию всем, кто в корпоративном IT, DevOps, управлении командами или цифровой трансформации.
👉 https://vkvideo.ru/video-145457488_456239856
💬 Делитесь впечатлениями — что запомнилось вам?
#ITИнсайты
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
Марат и его записки программиста
IT в ФинТехе. Как всё начиналось: боли, релизы и средневековая Чехия. Часть 1
Привет! 👋 Это новый выпуск из рубрики IT & Инсайты — здесь я делюсь разбором интересных и полезных материалов из мира технологий, управления и цифровой трансформации.
Сегодня…
Привет! 👋 Это новый выпуск из рубрики IT & Инсайты — здесь я делюсь разбором интересных и полезных материалов из мира технологий, управления и цифровой трансформации.
Сегодня…
❤5
🎂Это десятое видео из серии про Airflow — и оно особенное.
Мы подводим черту под циклом базовых знаний, и делаем то, ради чего всё затевалось:
ETL-пайплайн, где всё работает вместе.
В этом видео:
🔹 Генерируем данные о клиентах за последние 5 дней
🔹 Загружаем их в PostgreSQL — через DBeaver, как настоящие аналитики
🔹 Настраиваем DAG, который ежедневно выгружает данные за день
🔹 Сохраняем в CSV во временный файл
🔹 И, наконец, отправляем каждый файл в MinIO — наше локальное S3-хранилище
Это оркестрация:
PostgreSQL → Airflow → tempfile → MinIO → порядок в данных😇
Объединим знания:
● PostgresHook и S3Hook — для манипуляции с данными
● XCom — для передачи пути к файлу между задачами
● Динамические даты: {{ ds }}, catchup, start_date без хардкода
● И как всё это работает по расписанию и учитывается при запросах к базе
Это видео — финальная точка в основах Airflow.
Здесь мы соединили всё, что проходили:
подключения, операторы, XCom, DAG-зависимости, работу с БД и S3.
А впереди — новые горизонты:
Airflow + Kafka, отслеживание lineage, инкрементальные загрузки, CI/CD для DAG’ов и многое другое.
Спасибо, что были со мной в этом цикле.
Теперь вы не просто смотрите на DAG — вы его строите.
🎥 Смотреть видео:
▶️ VK: https://vkvideo.ru/video-231048746_456239026
▶️ YouTube: https://youtu.be/sCd0s9ha_Vc
P.S. А вы заметили, что я сменил микрофон?
Теперь в записи нет звука моего дыхания — только чистый звук и жужжание DAG’ов.☺️
Приятного просмотра — а завтра попробуйте сломать этот DAG. Уверен, он выдержит!
#КакРаботаютДанные #Airflow
Мы подводим черту под циклом базовых знаний, и делаем то, ради чего всё затевалось:
ETL-пайплайн, где всё работает вместе.
В этом видео:
🔹 Генерируем данные о клиентах за последние 5 дней
🔹 Загружаем их в PostgreSQL — через DBeaver, как настоящие аналитики
🔹 Настраиваем DAG, который ежедневно выгружает данные за день
🔹 Сохраняем в CSV во временный файл
🔹 И, наконец, отправляем каждый файл в MinIO — наше локальное S3-хранилище
Это оркестрация:
PostgreSQL → Airflow → tempfile → MinIO → порядок в данных😇
Объединим знания:
● PostgresHook и S3Hook — для манипуляции с данными
● XCom — для передачи пути к файлу между задачами
● Динамические даты: {{ ds }}, catchup, start_date без хардкода
● И как всё это работает по расписанию и учитывается при запросах к базе
Это видео — финальная точка в основах Airflow.
Здесь мы соединили всё, что проходили:
подключения, операторы, XCom, DAG-зависимости, работу с БД и S3.
А впереди — новые горизонты:
Airflow + Kafka, отслеживание lineage, инкрементальные загрузки, CI/CD для DAG’ов и многое другое.
Спасибо, что были со мной в этом цикле.
Теперь вы не просто смотрите на DAG — вы его строите.
🎥 Смотреть видео:
▶️ VK: https://vkvideo.ru/video-231048746_456239026
▶️ YouTube: https://youtu.be/sCd0s9ha_Vc
P.S. А вы заметили, что я сменил микрофон?
Теперь в записи нет звука моего дыхания — только чистый звук и жужжание DAG’ов.☺️
Приятного просмотра — а завтра попробуйте сломать этот DAG. Уверен, он выдержит!
#КакРаботаютДанные #Airflow
YouTube
Airflow: Выгрузка данных в S3 #10
Это десятое финальное видео из цикла по основам Airflow — и оно о настоящем ETL.
Генерируем данные, загружаем в PostgreSQL и строим DAG, который выгружает их по дням в MinIO.
Всё вместе: PostgresHook, S3Hook, XCom и временные файлы — никакого хардкода, только…
Генерируем данные, загружаем в PostgreSQL и строим DAG, который выгружает их по дням в MinIO.
Всё вместе: PostgresHook, S3Hook, XCom и временные файлы — никакого хардкода, только…
🔥2❤1
📚 Начал читать: «Думай медленно… Решай быстро»
Поэтому время от времени здесь будут появляться мои размышления по зацепившим меня фактам.
Это книга посвящена феномену, почему мы - люди, часто выбираем иррациональные решения — и делаем это с полной уверенностью, что поступаем правильно.
🧠 Вот один из примеров
Вопрос: Кем, скорее всего, работает Игорь?
🔹 Библиотекарем?
🔹 Или трактористом?
Подумайте одну секунду: где?
«Ну конечно, библиотекарем! Он же идеально подходит под этот образ!»
— это то самое быстрое, интуитивное мышление, которое мгновенно рисует ассоциации:
порядок → библиотека → библиотекарь
А образ тракториста, вообще, не вяжется с описанием.
Но вот в чём подвох.
Сколько вообще библиотекарей-мужчин?
А сколько — трактористов?
❗️Трактористов в разы больше. Это массовая профессия.
Даже если 90% библиотекарей выглядят как Игорь, а только 10% трактористов — абсолютное большинство людей, похожих на Тома, всё равно будут трактористами, просто потому что их намного больше в популяции.
👉 Статистически вероятнее, что Игорь — тракторист, даже если он выглядит как библиотекарь.
💡 Что это значит?
Мы склонны оценивать вероятность по схожести, а не по статистике и эта мысль ведёт нас в ловушку.
Мы игнорируем контекст, масштабы, частоту встречи явления в природе.
💬 А вот как это произошло со мной — но наоборот.
Пару лет назад я вёл дополнительные курсы в университете по вечерам.
И один раз на проходной меня не пускал охранник.
Я говорю:
А он смотрит на меня и упрямо:
Не помню, в итоге он глянул в списки или мне пришлось звонить в деканат😁
Почему он так думал?
Потому что я не выглядел как "стереотипный преподаватель":
🔸 Нет пиджака.
🔸 Нет уставшего вида после многих лет работы в системе.
🔸 И, главное — максимально осветлённые волосы, как у фронтмена инди-группы, а не преподавателя университета:D
👉 Для охранника я репрезентативен стереотипу студента, а не препода.
Он не проверял данные.
Он оценивал по внешности.
И подменил вопрос:
❓ «Есть ли он в списке?» → на ❓ «Похож ли он на препода?»
📌 Вывод дня: наш мозг легко подменяет вопрос «Насколько это вероятно?» вопросом «Насколько это похоже на мой стереотип?».
Эта книга — сплошное «кайф, так вот почему я делаю некорректные выводы!»
Время от времени, буду делиться интересными наблюдениями из этой книги☺️☺️.
#ОшибкиМышления #Книги
Поэтому время от времени здесь будут появляться мои размышления по зацепившим меня фактам.
Это книга посвящена феномену, почему мы - люди, часто выбираем иррациональные решения — и делаем это с полной уверенностью, что поступаем правильно.
🧠 Вот один из примеров
Игорь очень застенчив и нелюдим, всегда готов помочь, но слабо интересуется окружающей действительностью. Он тихий и аккуратный, любит порядок и систематичность, очень внимателен к деталям».
Вопрос: Кем, скорее всего, работает Игорь?
🔹 Библиотекарем?
🔹 Или трактористом?
Подумайте одну секунду: где?
«Ну конечно, библиотекарем! Он же идеально подходит под этот образ!»
— это то самое быстрое, интуитивное мышление, которое мгновенно рисует ассоциации:
порядок → библиотека → библиотекарь
А образ тракториста, вообще, не вяжется с описанием.
Но вот в чём подвох.
Сколько вообще библиотекарей-мужчин?
А сколько — трактористов?
❗️Трактористов в разы больше. Это массовая профессия.
Даже если 90% библиотекарей выглядят как Игорь, а только 10% трактористов — абсолютное большинство людей, похожих на Тома, всё равно будут трактористами, просто потому что их намного больше в популяции.
👉 Статистически вероятнее, что Игорь — тракторист, даже если он выглядит как библиотекарь.
💡 Что это значит?
Мы склонны оценивать вероятность по схожести, а не по статистике и эта мысль ведёт нас в ловушку.
Мы игнорируем контекст, масштабы, частоту встречи явления в природе.
💬 А вот как это произошло со мной — но наоборот.
Пару лет назад я вёл дополнительные курсы в университете по вечерам.
И один раз на проходной меня не пускал охранник.
Я говорю:
«Я преподаватель, посмотрите в списке».
А он смотрит на меня и упрямо:
«Да ладно, ты студент. Что ты мне тут втираешь? Иди в общагу, бери пропуск».
Не помню, в итоге он глянул в списки или мне пришлось звонить в деканат😁
Почему он так думал?
Потому что я не выглядел как "стереотипный преподаватель":
🔸 Нет пиджака.
🔸 Нет уставшего вида после многих лет работы в системе.
🔸 И, главное — максимально осветлённые волосы, как у фронтмена инди-группы, а не преподавателя университета:D
👉 Для охранника я репрезентативен стереотипу студента, а не препода.
Он не проверял данные.
Он оценивал по внешности.
И подменил вопрос:
❓ «Есть ли он в списке?» → на ❓ «Похож ли он на препода?»
📌 Вывод дня: наш мозг легко подменяет вопрос «Насколько это вероятно?» вопросом «Насколько это похоже на мой стереотип?».
Эта книга — сплошное «кайф, так вот почему я делаю некорректные выводы!»
Время от времени, буду делиться интересными наблюдениями из этой книги☺️☺️.
#ОшибкиМышления #Книги
❤2👍2
Всех с 1 сентября! 🎒📚
Сегодня — День знаний, тот самый день, когда айтишники вспоминают, что у них в детстве был расписанный дневник, а не таски в Jira.
В честь этого дня хочу рассказать о книге, которая сильно повлияла на моё развитие как IT-специалиста:
Стивен Скиена — «Алгоритмы: руководство по разработке».
Через мои руки и голову прошло немало книг по алгоритмам. Но именно эта одна из самых любимых. Почему?
Книга разделена на две большие части:
🔹 Часть 1: Практическая разработка алгоритмов
В первой части каждая глава начинается с краткого, но ёмкого введения в тему: структуры данных, сортировки, обход графов и т.д. Но самое крутое — дальше идёт реальная история из практики: как клиент пришёл к автору, как они обсуждали задачу, уточняли детали, выбирали подход и в итоге приходили к решению (или не приходили — есть и неудачные кейсы). В книге представлен живой процесс мышления программиста, это реально радует.
🔹 Часть 2: Каталог алгоритмических задач
Во второй части — каталог задач — автор учит задавать правильные вопросы:
● Понимаю ли я задачу?
● Что именно требуется на выходе?
● Каков типичный размер входных данных?
● Какие ограничения по времени и памяти?
Это часть в целом классная тренировка мышления. Есть разбор подходов, ссылки на готовые реализации, библиотеки, ресурсы, размышления какой подход когда выбрать. Очень полезно, когда нужно быстро найти рабочее решение или понять, куда копать.
Почему рекомендую?
Прочтение этой книги может научить размышлять и анализировать, а не только писать код. Вы сможете выйти за рамки «решить задачу» и научиться ставить правильные вопросы и находить решение — а это, пожалуй, самое важное в профессии.
💡 Must-have для любого программиста, который хочет развить умения размышления над задачей и поиска решения вместе с уточнением требований.
А какая книга повлияла на ваш путь в IT или считаете важной для прочтения?
Делитесь в комментариях — соберём крутую подборку вместе 🧵👇
#РазвитиеПрограммиста #Книги
Сегодня — День знаний, тот самый день, когда айтишники вспоминают, что у них в детстве был расписанный дневник, а не таски в Jira.
В честь этого дня хочу рассказать о книге, которая сильно повлияла на моё развитие как IT-специалиста:
Стивен Скиена — «Алгоритмы: руководство по разработке».
Через мои руки и голову прошло немало книг по алгоритмам. Но именно эта одна из самых любимых. Почему?
Книга разделена на две большие части:
🔹 Часть 1: Практическая разработка алгоритмов
В первой части каждая глава начинается с краткого, но ёмкого введения в тему: структуры данных, сортировки, обход графов и т.д. Но самое крутое — дальше идёт реальная история из практики: как клиент пришёл к автору, как они обсуждали задачу, уточняли детали, выбирали подход и в итоге приходили к решению (или не приходили — есть и неудачные кейсы). В книге представлен живой процесс мышления программиста, это реально радует.
🔹 Часть 2: Каталог алгоритмических задач
Во второй части — каталог задач — автор учит задавать правильные вопросы:
● Понимаю ли я задачу?
● Что именно требуется на выходе?
● Каков типичный размер входных данных?
● Какие ограничения по времени и памяти?
Это часть в целом классная тренировка мышления. Есть разбор подходов, ссылки на готовые реализации, библиотеки, ресурсы, размышления какой подход когда выбрать. Очень полезно, когда нужно быстро найти рабочее решение или понять, куда копать.
Почему рекомендую?
Прочтение этой книги может научить размышлять и анализировать, а не только писать код. Вы сможете выйти за рамки «решить задачу» и научиться ставить правильные вопросы и находить решение — а это, пожалуй, самое важное в профессии.
💡 Must-have для любого программиста, который хочет развить умения размышления над задачей и поиска решения вместе с уточнением требований.
А какая книга повлияла на ваш путь в IT или считаете важной для прочтения?
Делитесь в комментариях — соберём крутую подборку вместе 🧵👇
#РазвитиеПрограммиста #Книги
❤1👍1