🏖 ПЭТ-ПРОЕКТ "ЧТО СНИТСЯ СОБАКЕ". Часть 1.
Автоматизированная система борьбы с диванными рейдами ☺️
Напомню, основную причину старта этого проекта: Моя любимая овчарка Герда решила, что пока я сплю - можно безнаказанно осваивать диван. Прямых доказательств нет (она мастер маскировки!), но шерстяные улики говорят сами за себя 🕵️♂️🐕🦺.
Изначально я думал о реализации с использованием ноутбука с OpenCV и нейросетями, для детектирования "овчарки на диване" как особо опасного диверсанта. Но реальность внесла коррективы:
🔍 Три важных факта, которые всё изменили:
• Мои старые ноутбуки слишком медленные, а возиться с настройкой ОС слишком долго и лень
• Обучать модель ради одной задачи — из пушки по воробьям. Ведь в комнате в это время кроме Герды никого не зафиксируешь.
•Настоящая задача — не распознавание образов, а обнаружение значительных изменений в кадре. То есть — "а кто это прыгнул на мой диван?!"
В итоге я выбрал повидавший виды Redmi Note 8 Pro — как раз лежал без дела. И превратил его в умную камеру слежения за нарушителем.
🛠 РЕАЛИЗАЦИЯ НА ANDROID
IP Webcam — превращает телефон в веб-камеру с HTTP-стримом
Pydroid 3 — полноценная Python-среда на Android, использовал следующие модули:
• OpenCV + PIL — для анализа изображений
• Pygame — чтобы проигрывать мой голос (самое страшное оружие!
Герда в курсе запрещённых команд — должно сработать 😉)
• Requests — забираем кадры с камеры
🎯 Архитектура системы:
Телефон (камера) → Анализ кадров → Обнаружение изменений →
Проигрывание звука и Сохранение фото
🔧 Ключевые особенности:
• Сравнение пикселей с игнорированием мелких изменений (тени, блики)
• Асинхронное воспроизведение звука через pygame.mixer
• Автоматическое сохранение фото-доказательств
• Настройка чувствительности (по умолчанию — 15% изменений)
• 30-секундная пауза между срабатываниями (чтобы не тревожить мирный сон)
📝 Основной алгоритм (упрощённо):
Сейчас сравниваю с предыдущим кадром — это просто и работает. Но в будущем, планирую перейти на фиксированный "базовый фон", чтобы избежать накопления шумов.
🌅 Первый тестовый запуск:
Утром включил систему и ушёл на пробежку. Вернулся — тишина. Ни звука, ни фото, ни логов.
Видимо, Герда что-то заподозрила😁 Или ей просто не хотелось спать. Собачья психология — она тонка…
Но когда я сам сел на диван — система сработала идеально:
🔊 «Ээээ!» — голос из телефона с командами на 15 секунд.
📸 — Фото сохранено
📄 — Запись в логах
Победа! 🎉
📊 Результаты:
✅ Детекция работает стабильно
✅ Звук проигрывается без задержек
✅ Фото сохраняются в /sdcard/Pydroid3_photos/
✅ Логирование в файл /sdcard/dog_camera.log
✅ Система работает в фоне
🔊 Голос записан в .mp3, громкость на максимум — и да, Герда не понимает что происходит, пока я тестирую систему на воспроизведение звука))
🎯 Что дальше? Планы и тесты:
🔍 Реальные испытания:
Ночное наблюдение (включу свет в этой комнате)
Сценарий "Герда не уходит" — как система отреагирует?
🛠 Улучшения:
Сделать "базовое фото" при запуске — как эталон фона
Возможно, динамическая настройка порога по средней яркости кадра
💡 Полезные наблюдения:
Даже этот MVP уже работает! Система чувствительна, звук пугает — и это реальное решение реальной проблемы. Теперь Герда будет знать: диван — не безнаказанная зона.
Кстати, заметил, что она теперь обходит телефон стороной😁. Видимо, технологический контроль работает. 🤖🐕
🐾 Пэт-проекты — это круто. Особенно когда они решают бытовые задачи.
📸 Что в альбоме:
1. Герда — главная героиня проекта
2. Основные технические инструменты проекта.)
3. IP Webcam на страже
4. Pydroid 3 и реализация на Python
5. Герда попала в объектив, после этого поднял камеру выше
6. А вот и я тестирую систему
Как бы вы улучшили эту систему? Делитесь идеями в комментариях! 👇
#ЧтоСнитсяСобаке #Python #OpenCV
Автоматизированная система борьбы с диванными рейдами ☺️
Напомню, основную причину старта этого проекта: Моя любимая овчарка Герда решила, что пока я сплю - можно безнаказанно осваивать диван. Прямых доказательств нет (она мастер маскировки!), но шерстяные улики говорят сами за себя 🕵️♂️🐕🦺.
Изначально я думал о реализации с использованием ноутбука с OpenCV и нейросетями, для детектирования "овчарки на диване" как особо опасного диверсанта. Но реальность внесла коррективы:
🔍 Три важных факта, которые всё изменили:
• Мои старые ноутбуки слишком медленные, а возиться с настройкой ОС слишком долго и лень
• Обучать модель ради одной задачи — из пушки по воробьям. Ведь в комнате в это время кроме Герды никого не зафиксируешь.
•Настоящая задача — не распознавание образов, а обнаружение значительных изменений в кадре. То есть — "а кто это прыгнул на мой диван?!"
В итоге я выбрал повидавший виды Redmi Note 8 Pro — как раз лежал без дела. И превратил его в умную камеру слежения за нарушителем.
🛠 РЕАЛИЗАЦИЯ НА ANDROID
IP Webcam — превращает телефон в веб-камеру с HTTP-стримом
Pydroid 3 — полноценная Python-среда на Android, использовал следующие модули:
• OpenCV + PIL — для анализа изображений
• Pygame — чтобы проигрывать мой голос (самое страшное оружие!
Герда в курсе запрещённых команд — должно сработать 😉)
• Requests — забираем кадры с камеры
🎯 Архитектура системы:
Телефон (камера) → Анализ кадров → Обнаружение изменений →
Проигрывание звука и Сохранение фото
🔧 Ключевые особенности:
• Сравнение пикселей с игнорированием мелких изменений (тени, блики)
• Асинхронное воспроизведение звука через pygame.mixer
• Автоматическое сохранение фото-доказательств
• Настройка чувствительности (по умолчанию — 15% изменений)
• 30-секундная пауза между срабатываниями (чтобы не тревожить мирный сон)
📝 Основной алгоритм (упрощённо):
# Сравнение кадров по изменению пикселей
change_percent = calculate_change_percent(prev_frame, current_frame)
if change_percent > THRESHOLD:
play_sound_pygame() # Мой голос с командой: "Ээээ!"
save_photo() # Сохраняем фото с временной меткой
Сейчас сравниваю с предыдущим кадром — это просто и работает. Но в будущем, планирую перейти на фиксированный "базовый фон", чтобы избежать накопления шумов.
🌅 Первый тестовый запуск:
Утром включил систему и ушёл на пробежку. Вернулся — тишина. Ни звука, ни фото, ни логов.
Видимо, Герда что-то заподозрила😁 Или ей просто не хотелось спать. Собачья психология — она тонка…
Но когда я сам сел на диван — система сработала идеально:
🔊 «Ээээ!» — голос из телефона с командами на 15 секунд.
📸 — Фото сохранено
📄 — Запись в логах
Победа! 🎉
📊 Результаты:
✅ Детекция работает стабильно
✅ Звук проигрывается без задержек
✅ Фото сохраняются в /sdcard/Pydroid3_photos/
✅ Логирование в файл /sdcard/dog_camera.log
✅ Система работает в фоне
🔊 Голос записан в .mp3, громкость на максимум — и да, Герда не понимает что происходит, пока я тестирую систему на воспроизведение звука))
🎯 Что дальше? Планы и тесты:
🔍 Реальные испытания:
Ночное наблюдение (включу свет в этой комнате)
Сценарий "Герда не уходит" — как система отреагирует?
🛠 Улучшения:
Сделать "базовое фото" при запуске — как эталон фона
Возможно, динамическая настройка порога по средней яркости кадра
💡 Полезные наблюдения:
Даже этот MVP уже работает! Система чувствительна, звук пугает — и это реальное решение реальной проблемы. Теперь Герда будет знать: диван — не безнаказанная зона.
Кстати, заметил, что она теперь обходит телефон стороной😁. Видимо, технологический контроль работает. 🤖🐕
🐾 Пэт-проекты — это круто. Особенно когда они решают бытовые задачи.
📸 Что в альбоме:
1. Герда — главная героиня проекта
2. Основные технические инструменты проекта.)
3. IP Webcam на страже
4. Pydroid 3 и реализация на Python
5. Герда попала в объектив, после этого поднял камеру выше
6. А вот и я тестирую систему
Как бы вы улучшили эту систему? Делитесь идеями в комментариях! 👇
#ЧтоСнитсяСобаке #Python #OpenCV
🔥5❤4
Всем доброго субботнего утра!
🎥 Новое видео: Airflow и Cron выражения
Слышали о старом добром crontab? Тот самый, что в тишине серверных стоек запускал скрипты по расписанию? 🤖
Сегодня узнаем, как Apache Airflow "позаимствовал" идеи у классического планировщика, и добавил туда визуализации, уведомлений и контроля зависимостей. Теперь вместо слепого запуска скриптов у вас есть настоящий супергерой автоматизации! 💪
Что разберем в видео:
• Как устроен классический crontab
• Что такое cron expressions и как их читать
• Где Airflow стал лучше своего "прародителя"
• Как не запутаться в звездочках и слэшах
Vk: https://vkvideo.ru/video-231048746_456239023
Youtube: https://youtu.be/TCzk4LDKDys
P.S. Да, те самые 5 звездочек * * * * * теперь и в Airflow!
#КакРаботаютДанные #airflow
🎥 Новое видео: Airflow и Cron выражения
Слышали о старом добром crontab? Тот самый, что в тишине серверных стоек запускал скрипты по расписанию? 🤖
Сегодня узнаем, как Apache Airflow "позаимствовал" идеи у классического планировщика, и добавил туда визуализации, уведомлений и контроля зависимостей. Теперь вместо слепого запуска скриптов у вас есть настоящий супергерой автоматизации! 💪
Что разберем в видео:
• Как устроен классический crontab
• Что такое cron expressions и как их читать
• Где Airflow стал лучше своего "прародителя"
• Как не запутаться в звездочках и слэшах
Vk: https://vkvideo.ru/video-231048746_456239023
Youtube: https://youtu.be/TCzk4LDKDys
P.S. Да, те самые 5 звездочек * * * * * теперь и в Airflow!
#КакРаботаютДанные #airflow
VK Видео
Airflow: Crontab (Как работают данные: практические кейсы) #7
Это седьмое видео из серии про Airflow. Сегодня узнаем, как Apache Airflow "позаимствовал" идеи у классического планировщика Crontab, но добавил туда визуализации, уведомлений и контроля зависимостей. Теперь вместо слепого запуска скриптов у Вас есть настоящий…
❤1🔥1😁1
Построить платформу — значит сначала построить команду
Привет, подписчики! 🖖
Продолжаю рубрику IT & инсайты — делюсь кратким обзором полезных докладов и видео для IT-специалистов и всех, кто интересуется технологиями.
На этот раз хочу поделиться докладом Ильи Петропавловского (VK, VK Cloud) — «Современные методы построения платформы мониторинга».
⚠️ Важно о названии: Исходя из заголовка, можно ожидать рассказа про технический стэк — типа Prometheus, Grafana, OpenTelemetry, ClickHouse, Kafka и т.д. Но доклад оказался скорее о подходах к управлению процессами создания сложной платформы. Так что если вы ждали обзор инструментов (как я😃) — не расстраивайтесь, это не делает доклад менее интересным.
🛠 Практические инсайты:
● Используй спиральную модели Боэма для структурирования сложных проектов (понравилось, что очень откликается мне)
● Разделяй проект на итерации с чёткими целями (архитектура → MVP → релиз)
● Работай с метриками с самого начала — это ключ к успешной интеграции
● Помни про баланс между стандартами и гибкостью при построении платформы
● Ищи синергию между разработкой и бизнесом через диалог и доверие
Особенно понравилось, как автор говорит о человеческом факторе в технических проектах — часто мы забываем, что за кодом и за каждым проектом стоят люди, которым тоже нужна мотивация и понимание цели.
Смотреть доклад целиком 👉 https://vkvideo.ru/video-152308462_456242806?t=29m12s
P.S. По поводу технического стэка, который мог бы стоять за такой платформой, я ожидал что-нибудь про Prometheus для сбора метрик, Grafana или Superset для визуализации, OpenTelemetry для трассировки, ClickHouse для хранения, Kafka для стриминга данных, а на бэкенде Python или Java. Но это предположение, поскольку в докладе акцент был именно на процессах, а не инструментах.
👇Пишите в комментариях: Сталкивались с тем что Вам сложно коммуницировать при обсуждении рабочих задач и отстаивать временные сроки задач или их "упрощение", чтобы уложиться в заданный срок☺️😉
#ITинсайты
Привет, подписчики! 🖖
Продолжаю рубрику IT & инсайты — делюсь кратким обзором полезных докладов и видео для IT-специалистов и всех, кто интересуется технологиями.
На этот раз хочу поделиться докладом Ильи Петропавловского (VK, VK Cloud) — «Современные методы построения платформы мониторинга».
⚠️ Важно о названии: Исходя из заголовка, можно ожидать рассказа про технический стэк — типа Prometheus, Grafana, OpenTelemetry, ClickHouse, Kafka и т.д. Но доклад оказался скорее о подходах к управлению процессами создания сложной платформы. Так что если вы ждали обзор инструментов (как я😃) — не расстраивайтесь, это не делает доклад менее интересным.
🛠 Практические инсайты:
● Используй спиральную модели Боэма для структурирования сложных проектов (понравилось, что очень откликается мне)
● Разделяй проект на итерации с чёткими целями (архитектура → MVP → релиз)
● Работай с метриками с самого начала — это ключ к успешной интеграции
● Помни про баланс между стандартами и гибкостью при построении платформы
● Ищи синергию между разработкой и бизнесом через диалог и доверие
Особенно понравилось, как автор говорит о человеческом факторе в технических проектах — часто мы забываем, что за кодом и за каждым проектом стоят люди, которым тоже нужна мотивация и понимание цели.
Смотреть доклад целиком 👉 https://vkvideo.ru/video-152308462_456242806?t=29m12s
P.S. По поводу технического стэка, который мог бы стоять за такой платформой, я ожидал что-нибудь про Prometheus для сбора метрик, Grafana или Superset для визуализации, OpenTelemetry для трассировки, ClickHouse для хранения, Kafka для стриминга данных, а на бэкенде Python или Java. Но это предположение, поскольку в докладе акцент был именно на процессах, а не инструментах.
👇Пишите в комментариях: Сталкивались с тем что Вам сложно коммуницировать при обсуждении рабочих задач и отстаивать временные сроки задач или их "упрощение", чтобы уложиться в заданный срок☺️😉
#ITинсайты
VK Видео
Современные методы построения платформы мониторинга / Илья Петропавловский (VK, VK Cloud)
________ Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем Highload++ 2023 Презентация и тезисы: https://highload.ru/moscow/2023/abstracts/11124 - Методы, их преимущества и недостатки. Метод классического водопада. Метод…
👍3❤1
💥 «Удобнее стало!» — сказал разработчик. Пользователь заплакал.
Когда прогресс забывает про тех, ради кого он, собственно, и нужен
Уже как две недели в «Пятерочке» , которую я регулярно посещаю, случился полный ребрендинг UX.
Молочка — на месте.
Овощи — как обычно.
Мясо — всё ещё в холодильнике у входа.
А вот всё остальное — разлетелось по магазину, как будто кошка, играя с приманкой, раскидала по магазину.
Шампуни теперь там, где были напитки.
Протеиновые батончики переехали на место круп.
Газировка на месте бывших печенек.
Привычные полки — неузнаваемы.
Это не магазин. Это legacy-интерфейс после редизайна.
💡 Знакомо?
Мне лично напомнило ИТ-кейс, когда меняется функциональная часть интерфейса, и ожидается что пользователь будет сыт и доволен, а в итоге это приносит сплошной стресс.
Я, как Пользователь, захожу в магазин и хочу купить то, что покупал вчера. И вместо привычного постоянства, чувствую касание длани хаоса. И мне выдаётся:
🔁 Мы в IT обожаем рефакторить, редизайнить, мигрировать.
Говорим: «Теперь логичнее!»
А пользователь думает:
✅ Хорошее изменение — это не когда всё «по новой архитектуре», а когда человек не теряется.
Как минимум:
● Оставляй якоря — как молочку и овощи.
● Не меняй всё сразу.
● Объясни, зачем это нужно.
● Сделай подсказки — хотя бы хинт.
● Не ломай привычный путь ради «удобства», которое удобно только тебе.
🌱 Прогресс — это не только новые фичи.
Это ещё и уважение к привычкам тех, кто уже пользуется продуктом.
Потому что даже если вы переписали весь фронтенд —
людям всё равно нужно, чтобы молоко было там, где оно всегда было😉.
P.S. Если завтра начнут продавать тапки в отделе мяса — я не удивлюсь😇
Когда прогресс забывает про тех, ради кого он, собственно, и нужен
Уже как две недели в «Пятерочке» , которую я регулярно посещаю, случился полный ребрендинг UX.
Молочка — на месте.
Овощи — как обычно.
Мясо — всё ещё в холодильнике у входа.
А вот всё остальное — разлетелось по магазину, как будто кошка, играя с приманкой, раскидала по магазину.
Шампуни теперь там, где были напитки.
Протеиновые батончики переехали на место круп.
Газировка на месте бывших печенек.
Привычные полки — неузнаваемы.
Это не магазин. Это legacy-интерфейс после редизайна.
💡 Знакомо?
Мне лично напомнило ИТ-кейс, когда меняется функциональная часть интерфейса, и ожидается что пользователь будет сыт и доволен, а в итоге это приносит сплошной стресс.
Я, как Пользователь, захожу в магазин и хочу купить то, что покупал вчера. И вместо привычного постоянства, чувствую касание длани хаоса. И мне выдаётся:
404: Кола без сахара - товар не найден. Попробуйте посмотреть там, где раньше было мыло😁
🔁 Мы в IT обожаем рефакторить, редизайнить, мигрировать.
Говорим: «Теперь логичнее!»
А пользователь думает:
Я просто хотел свой стандартный ужин, почему я сейчас стою у стирального порошка с бутылкой кефира в руке?..
✅ Хорошее изменение — это не когда всё «по новой архитектуре», а когда человек не теряется.
Как минимум:
● Оставляй якоря — как молочку и овощи.
● Не меняй всё сразу.
● Объясни, зачем это нужно.
● Сделай подсказки — хотя бы хинт.
● Не ломай привычный путь ради «удобства», которое удобно только тебе.
🌱 Прогресс — это не только новые фичи.
Это ещё и уважение к привычкам тех, кто уже пользуется продуктом.
Потому что даже если вы переписали весь фронтенд —
людям всё равно нужно, чтобы молоко было там, где оно всегда было😉.
P.S. Если завтра начнут продавать тапки в отделе мяса — я не удивлюсь😇
👍3❤2🔥2
Открыл для себя вчера полезную мелочь в Qwen: чтобы перейти на следующую строку без отправки сообщения — нужно использовать:
Shift + Enter.
Рад, что такая комбинация существует! Наконец-то можно писать с нормальным разделением по логике, а не сплошной «простыней», которая так раздражает 😄
К слову, Ctrl + Enter не работает — проверил сразу же, понадобилось более полгода, чтобы проверить на Shift + Enter
Делюсь находкой, вдруг кому-то тоже пригодится!☺️
Shift + Enter.
Рад, что такая комбинация существует! Наконец-то можно писать с нормальным разделением по логике, а не сплошной «простыней», которая так раздражает 😄
К слову, Ctrl + Enter не работает — проверил сразу же, понадобилось более полгода, чтобы проверить на Shift + Enter
Делюсь находкой, вдруг кому-то тоже пригодится!☺️
❤2👍2
🔥 Важное обновление! 🔥
К сожалению, не успел смонтировать видео
Есть и хорошая новость — я подготовил подробный текстовый гайд по настройке и использованию PostgresOperator в Apache Airflow!
🔗 Гайд: https://github.com/MaratNotes/marat_notes/tree/master/how_data_works-practice_cases/8_airflow_postgres_operator
В гайде ты найдешь:
✅ Пошаговую инструкцию по настройке Airflow (в WSL) и PostgreSQL (в Docker)
✅ Как проверить подключение между ними
✅ Подключение через DBeaver для проверки соединения
Идеально подойдет, если ты хочешь сразу начать практиковать материал, не дожидаясь видео.
Видео обязательно выйдет позже, а пока — полезный материал для самостоятельного изучения!
#КакРаботаютДанные #airflow
К сожалению, не успел смонтировать видео
Есть и хорошая новость — я подготовил подробный текстовый гайд по настройке и использованию PostgresOperator в Apache Airflow!
🔗 Гайд: https://github.com/MaratNotes/marat_notes/tree/master/how_data_works-practice_cases/8_airflow_postgres_operator
В гайде ты найдешь:
✅ Пошаговую инструкцию по настройке Airflow (в WSL) и PostgreSQL (в Docker)
✅ Как проверить подключение между ними
✅ Подключение через DBeaver для проверки соединения
Идеально подойдет, если ты хочешь сразу начать практиковать материал, не дожидаясь видео.
Видео обязательно выйдет позже, а пока — полезный материал для самостоятельного изучения!
#КакРаботаютДанные #airflow
GitHub
marat_notes/how_data_works-practice_cases/8_airflow_postgres_operator at master · MaratNotes/marat_notes
Заметки канала [Марат и его записки программиста](https://www.youtube.com/@marat_notes) - MaratNotes/marat_notes
❤4👍4
Как C++/Python-разработчик решил освоить Java через практику: сделал систему парсинга и логирования для Dropwizard.
Процесс:
1️⃣ Генерация: Код создал DeepSeek-R1 (именно финальный код, периодически менял их, так как начинали буксовать),
2️⃣ Ревью: Отдал на проверку Qwen-Coder — как независимому эксперту.
Вердикт Qwen-Coder:
«Чистая, модульная, расширяемая система. Легко интегрируется, грамотное структурирование, архитектура позволяет гибко добавлять фичи. 👏»
Реальность за кадром:
✅ В сумме часов 20 работы: сборка, отладка и шлифовка нюансов (Java для меня — новый язык),
✅ Результат — рабочая и элегантная система.
Итог:
Когда ИИ хвалит ИИ, а ты знаешь, сколько человеческого труда скрыто за этим кодом — это не трепет. Это понимание. 🔥
Такие инструменты — не магия, а мощные ускорители работы.
#ИИ #БудниПрограммиста
Процесс:
1️⃣ Генерация: Код создал DeepSeek-R1 (именно финальный код, периодически менял их, так как начинали буксовать),
2️⃣ Ревью: Отдал на проверку Qwen-Coder — как независимому эксперту.
Вердикт Qwen-Coder:
«Чистая, модульная, расширяемая система. Легко интегрируется, грамотное структурирование, архитектура позволяет гибко добавлять фичи. 👏»
Реальность за кадром:
✅ В сумме часов 20 работы: сборка, отладка и шлифовка нюансов (Java для меня — новый язык),
✅ Результат — рабочая и элегантная система.
Итог:
Когда ИИ хвалит ИИ, а ты знаешь, сколько человеческого труда скрыто за этим кодом — это не трепет. Это понимание. 🔥
Такие инструменты — не магия, а мощные ускорители работы.
#ИИ #БудниПрограммиста
❤4
Монолит vs микросервисы: мифы, реальность и третий путь.
Привет! 👋 Это новый пост из рубрики IT & Инсайты — делюсь кратким обзором полезных и интересных для меня докладов и видео из тематики IT и смежной к ней.
Сегодня — выступление Григория Петрова — "Сложность, убивающая микросервисы".
В его практике клиенты часто просят перевести их Python-монолит на "модные" микросервисы на Go, думая, что это автоматически сделает систему проще. Петров доказывает: это опасное заблуждение!
🔑 Ключевые тезисы:
📉 Критика на подъеме
Крупные игроки (Amazon Prime Video!) отказываются от микросервисов.
Команды Instagram (12 чел.) и WhatsApp (50 чел.) — не примеры, а предостережения. Они не тянут микросервисный "зоопарк".
🧠 Главный враг — когнитивная сложность
Наш мозг осознаёт код через "смыслы", а рабочая память — крайне ограничена (~4 "смысла" одновременно).
В монолитах фреймворки дают общие "кубики Лего" для понимания.
В микросервисах этих "кубиков" нет — каждая компания изобретает свою девплатформу (он приводит в пример Backstage в Spotify), которую новичкам погружаться годы (насчет скорости погружения - не уверен, но, в целом с тенденцией долгого погружения - согласен, и во многом связана также со следующим пунктом😁).
💥 Практические кошмары:
Технологический зоопарк — каждый сервис — свой стек, CI/CD, настройки.
Сложный мониторинг (Observability) — отладка распределённой системы = ад.
Жёсткость — архитектурные ошибки и техдолг караются мгновенно.
Медлительность — фичи требуют согласований с кучей команд.
✅ Когда микросервисы ОК?
1️⃣ Система масштабная и критичная.
2️⃣Есть ресурсы на процессы, культуру и инфраструктуру.
3️⃣Вы готовы к долгому онбордингу и постоянной синхронизации.
🔁 Альтернативы:
"Цитадель" — мощный монолит в центре + микросервисы по краям.
"Умный" монолит — чёткие границы, асинхронность, интеграция. Современные серверы справятся!
💡 Основная мысль:
Микросервисы — это не "проще", а дорогой и сложный инструмент для узкого круга задач.
❗️Слепая гонка за трендом (следует признать, что тренду лет 8-10☺️) без учета когнитивной нагрузки, инфраструктурных издержек и отсутствия стандартов — путь к провалу.
📌 Рекомендую посмотреть видео, особенно если интересны темы: нейрофизиологическая подоплёка программирования и построение и архитектура систем.
🔗 https://vkvideo.ru/video-65336816_456239594
💬 Пишите в комментариях:
• Сталкивались ли вы с "микросервисным адом"? Какой самый сложный момент?
• Что эффективнее по вашему мнению: умный монолит, "Цитадель" или чистые микросервисы? Или хаос наше всё😃
• Как решается проблема когнитивной нагрузки в Ваших проектах или в Вашем опыте?
• Согласны с Петровым, что микросервисы — это "сложность, которая убивает" для многих проектов?
Делитесь кейсами, спорите, дополняйте! Опыт сообщества бесценен. 👇
#ITинсайты
Привет! 👋 Это новый пост из рубрики IT & Инсайты — делюсь кратким обзором полезных и интересных для меня докладов и видео из тематики IT и смежной к ней.
Сегодня — выступление Григория Петрова — "Сложность, убивающая микросервисы".
В его практике клиенты часто просят перевести их Python-монолит на "модные" микросервисы на Go, думая, что это автоматически сделает систему проще. Петров доказывает: это опасное заблуждение!
🔑 Ключевые тезисы:
📉 Критика на подъеме
Крупные игроки (Amazon Prime Video!) отказываются от микросервисов.
Команды Instagram (12 чел.) и WhatsApp (50 чел.) — не примеры, а предостережения. Они не тянут микросервисный "зоопарк".
🧠 Главный враг — когнитивная сложность
Наш мозг осознаёт код через "смыслы", а рабочая память — крайне ограничена (~4 "смысла" одновременно).
В монолитах фреймворки дают общие "кубики Лего" для понимания.
В микросервисах этих "кубиков" нет — каждая компания изобретает свою девплатформу (он приводит в пример Backstage в Spotify), которую новичкам погружаться годы (насчет скорости погружения - не уверен, но, в целом с тенденцией долгого погружения - согласен, и во многом связана также со следующим пунктом😁).
💥 Практические кошмары:
Технологический зоопарк — каждый сервис — свой стек, CI/CD, настройки.
Сложный мониторинг (Observability) — отладка распределённой системы = ад.
Жёсткость — архитектурные ошибки и техдолг караются мгновенно.
Медлительность — фичи требуют согласований с кучей команд.
✅ Когда микросервисы ОК?
1️⃣ Система масштабная и критичная.
2️⃣Есть ресурсы на процессы, культуру и инфраструктуру.
3️⃣Вы готовы к долгому онбордингу и постоянной синхронизации.
🔁 Альтернативы:
"Цитадель" — мощный монолит в центре + микросервисы по краям.
"Умный" монолит — чёткие границы, асинхронность, интеграция. Современные серверы справятся!
💡 Основная мысль:
Микросервисы — это не "проще", а дорогой и сложный инструмент для узкого круга задач.
❗️Слепая гонка за трендом (следует признать, что тренду лет 8-10☺️) без учета когнитивной нагрузки, инфраструктурных издержек и отсутствия стандартов — путь к провалу.
📌 Рекомендую посмотреть видео, особенно если интересны темы: нейрофизиологическая подоплёка программирования и построение и архитектура систем.
🔗 https://vkvideo.ru/video-65336816_456239594
💬 Пишите в комментариях:
• Сталкивались ли вы с "микросервисным адом"? Какой самый сложный момент?
• Что эффективнее по вашему мнению: умный монолит, "Цитадель" или чистые микросервисы? Или хаос наше всё😃
• Как решается проблема когнитивной нагрузки в Ваших проектах или в Вашем опыте?
• Согласны с Петровым, что микросервисы — это "сложность, которая убивает" для многих проектов?
Делитесь кейсами, спорите, дополняйте! Опыт сообщества бесценен. 👇
#ITинсайты
VK Видео
Григорий Петров. Сложность, убивающая микросервисы
Последние несколько лет в сети появляются осторожные статьи о том, что микросервисы — не серебряная пуля. Amazon и Uber пробуют мигрировать проекты на монолитную архитектуру, а в команде Instagram почему-то всего 12 программистов. В теории за каждый микросервис…
❤1👍1
🎥 Очередное видео, посвященное Airflow, вышло!
И да, длительность видео 30 минут вместо стандартных 10–15 😅
Напомню, в прошлую субботу видео не было. Вместо этого выложил текстовый гайд по настройке взаимосвязи с БД в Apache Airflow.
Я наверстал упущенное и сегодня вышло развернутое видео☺️
В этом выпуске:
🔹 Как настроить подключение к БД в Airflow (PostgreSQL в Docker → Airflow в WSL)
🔹 Работа с SQLExecuteQueryOperator: от простого SELECT до выполнения .sql-файлов
🔹 Как проверить соединение через DBeaver — визуально и без ошибок
🔹 Практический кейс по реализации dag'а для соединения с БД
Видео идеально дополняет текстовый гайд , который я публиковал на прошлой неделе — теперь можно смотреть, слушать и повторять.
👉 Смотреть видео:
Vk: https://vkvideo.ru/video-231048746_456239024
Youtube: https://youtu.be/CS0ej3A-P5k
📖 Гайд (для тех, кто любит читать): https://github.com/MaratNotes/marat_notes/blob/master/how_data_works-practice_cases/8_airflow_postgres_operator/README.md
Спасибо, что остаётесь на связи, даже когда видео задерживается 💙
В следующую субботу — снова будет полезный гайд по Airflow (и, обещаю, вовремя 😉)
#КакРаботаютДанные #airflow
И да, длительность видео 30 минут вместо стандартных 10–15 😅
Напомню, в прошлую субботу видео не было. Вместо этого выложил текстовый гайд по настройке взаимосвязи с БД в Apache Airflow.
Я наверстал упущенное и сегодня вышло развернутое видео☺️
В этом выпуске:
🔹 Как настроить подключение к БД в Airflow (PostgreSQL в Docker → Airflow в WSL)
🔹 Работа с SQLExecuteQueryOperator: от простого SELECT до выполнения .sql-файлов
🔹 Как проверить соединение через DBeaver — визуально и без ошибок
🔹 Практический кейс по реализации dag'а для соединения с БД
Видео идеально дополняет текстовый гайд , который я публиковал на прошлой неделе — теперь можно смотреть, слушать и повторять.
👉 Смотреть видео:
Vk: https://vkvideo.ru/video-231048746_456239024
Youtube: https://youtu.be/CS0ej3A-P5k
📖 Гайд (для тех, кто любит читать): https://github.com/MaratNotes/marat_notes/blob/master/how_data_works-practice_cases/8_airflow_postgres_operator/README.md
Спасибо, что остаётесь на связи, даже когда видео задерживается 💙
В следующую субботу — снова будет полезный гайд по Airflow (и, обещаю, вовремя 😉)
#КакРаботаютДанные #airflow
GitHub
marat_notes/how_data_works-practice_cases/8_airflow_postgres_operator/README.md at master · MaratNotes/marat_notes
Заметки канала [Марат и его записки программиста](https://www.youtube.com/@marat_notes) - MaratNotes/marat_notes
❤3👍2🔥1
Как я на пробежке ногу из велосипеда вынимал😁🏃♂️
Привет всем!✌️
Работая удаленно, я все чаще ловлю себя на мысли, что социальных контактов стало в разы меньше, чем в офисе. Нет регулярных кофе-брейков, обсуждений за обедом или просто болтовни у кулера. И это сложно назвать плюсом, мне, как ни крути, нужно общение, и если честно, этого не хватает.
Мой спасательные круг в этом случае – хобби, а именно бег. И дело не только в эндорфинах! Тренировки на улице регулярно подкидывают ситуации, где я волей-неволей взаимодействую с внешним миром (несколько историй в другом посте). И вот свежий пример.
Утро выходного дня☀️. Старт моей длительной пробежки (8-10 км) запланирован у беговой дорожки рядом с местный торговым центром. Добираюсь туда на машине (~15 мин), делаю разминку, стартую.
Через 3-4 км беговой тренировки: Вижу маму с дочкой (~8-10 лет) на велосипеде. Стоят посреди дорожки перед пешеходным переходом, стоят странно неподвижно. Подбегаю ближе – локальное ЧП! Мама сигналит взмахами рук, вид испуганный.
Я остановился, снял наушники. Проблема: Нога ребенка прочно застряла в переднем колесе велосипеда! Видимо, при попытке спешиться перед переходом, нога каким-то невероятным образом проскочила между спицами и заклинилась между колесом и рамой. Шанс – один на миллион, но как говорил Терри Пратчетт: "Один шанс на миллион, выпадает 9 раз из 10!".
Что смутило: девочке явно было страшно и больно, а мама все время повторяла: "Только не плачь и терпи". Имхо, это странно😃. И чтобы мне было проще взаимодействовать, я сказал: "Нормально плакать, я бы тоже плакал, если бы мне было больно, можешь не сдерживать слезу☺️".
После чего приступил к диагностике ситуации. Сначала подумал, что перелом/вывих (мне лично было страшно смотреть). К счастью, обошлось – нога просто зажата.
Попытка №1 (неудачная): Пытаюсь аккуратно вытянуть ногу через спицы. Бесполезно. Физика против меня.
Анализ: Осматриваю крепление колеса. О, чудо современных технологий! Велосипед современный – колесо крепится на ручку-зажим, решение найдено – необходимо снять колесо!
Быстро отстегиваю ручку, снимаю переднее колесо и... нога свободна! Уффф.
Развязка:
Девочка в порядке! Может стоять и ходить (обошлось ушибом/испугом).
Предлагаю разобрать велик и довезти их до дома, правда им придется минут 25-30 подождать, необходимо добежать до машины и приехать.
Мама, бесконечно благодарная, решила, что доберутся до дома сами. Кто я такой, чтобы спорить?
Итог:
Эта история – не про мой героизм, хотя, конечно, было приятно помочь. Она про то, что хобби – это не просто "отдых" или "ЗОЖ". Для меня это важный канал связи с реальным миром и людьми.
Социализация: Бег (или любое другое хобби вне дома) принудительно может сталкивать социумом, создавать поводы для неформальных, человеческих взаимодействий. Иногда очень неожиданных!
Эмпатия и Коммуникация: В офисе есть предпосылки для развития soft skill'ов. Удалёнка их может притупить. Такие ситуации учат включать эмпатию, быстро находить слова и сохранять голову холодной.
Решение проблем: Даже в таком ЧП в реальном мире сработал знакомый принцип: "Оценить -> Попробовать быстрое решение -> Проанализировать систему (крепление колеса) -> Найти решение (снять колесо)". Логика и анализ – мой главный инструмент в любой ситации.
Непрошенный совет it-шнику: Не замыкайтесь в коде и задачах, выходите в "офлайн" через хобби! Это не только здоровье, но и критически важная "прокачка" социальных навыков и источник неожиданных (иногда велосипедных) жизненных кейсов! 😉
А у вас были неожиданные встречи и ситуации благодаря хобби? Делитесь в комментах! 👇
#хоббипрограммиста #бег
Привет всем!✌️
Работая удаленно, я все чаще ловлю себя на мысли, что социальных контактов стало в разы меньше, чем в офисе. Нет регулярных кофе-брейков, обсуждений за обедом или просто болтовни у кулера. И это сложно назвать плюсом, мне, как ни крути, нужно общение, и если честно, этого не хватает.
Мой спасательные круг в этом случае – хобби, а именно бег. И дело не только в эндорфинах! Тренировки на улице регулярно подкидывают ситуации, где я волей-неволей взаимодействую с внешним миром (несколько историй в другом посте). И вот свежий пример.
Утро выходного дня☀️. Старт моей длительной пробежки (8-10 км) запланирован у беговой дорожки рядом с местный торговым центром. Добираюсь туда на машине (~15 мин), делаю разминку, стартую.
Через 3-4 км беговой тренировки: Вижу маму с дочкой (~8-10 лет) на велосипеде. Стоят посреди дорожки перед пешеходным переходом, стоят странно неподвижно. Подбегаю ближе – локальное ЧП! Мама сигналит взмахами рук, вид испуганный.
Я остановился, снял наушники. Проблема: Нога ребенка прочно застряла в переднем колесе велосипеда! Видимо, при попытке спешиться перед переходом, нога каким-то невероятным образом проскочила между спицами и заклинилась между колесом и рамой. Шанс – один на миллион, но как говорил Терри Пратчетт: "Один шанс на миллион, выпадает 9 раз из 10!".
Что смутило: девочке явно было страшно и больно, а мама все время повторяла: "Только не плачь и терпи". Имхо, это странно😃. И чтобы мне было проще взаимодействовать, я сказал: "Нормально плакать, я бы тоже плакал, если бы мне было больно, можешь не сдерживать слезу☺️".
После чего приступил к диагностике ситуации. Сначала подумал, что перелом/вывих (мне лично было страшно смотреть). К счастью, обошлось – нога просто зажата.
Попытка №1 (неудачная): Пытаюсь аккуратно вытянуть ногу через спицы. Бесполезно. Физика против меня.
Анализ: Осматриваю крепление колеса. О, чудо современных технологий! Велосипед современный – колесо крепится на ручку-зажим, решение найдено – необходимо снять колесо!
Быстро отстегиваю ручку, снимаю переднее колесо и... нога свободна! Уффф.
Развязка:
Девочка в порядке! Может стоять и ходить (обошлось ушибом/испугом).
Предлагаю разобрать велик и довезти их до дома, правда им придется минут 25-30 подождать, необходимо добежать до машины и приехать.
Мама, бесконечно благодарная, решила, что доберутся до дома сами. Кто я такой, чтобы спорить?
Итог:
Эта история – не про мой героизм, хотя, конечно, было приятно помочь. Она про то, что хобби – это не просто "отдых" или "ЗОЖ". Для меня это важный канал связи с реальным миром и людьми.
Социализация: Бег (или любое другое хобби вне дома) принудительно может сталкивать социумом, создавать поводы для неформальных, человеческих взаимодействий. Иногда очень неожиданных!
Эмпатия и Коммуникация: В офисе есть предпосылки для развития soft skill'ов. Удалёнка их может притупить. Такие ситуации учат включать эмпатию, быстро находить слова и сохранять голову холодной.
Решение проблем: Даже в таком ЧП в реальном мире сработал знакомый принцип: "Оценить -> Попробовать быстрое решение -> Проанализировать систему (крепление колеса) -> Найти решение (снять колесо)". Логика и анализ – мой главный инструмент в любой ситации.
Непрошенный совет it-шнику: Не замыкайтесь в коде и задачах, выходите в "офлайн" через хобби! Это не только здоровье, но и критически важная "прокачка" социальных навыков и источник неожиданных (иногда велосипедных) жизненных кейсов! 😉
А у вас были неожиданные встречи и ситуации благодаря хобби? Делитесь в комментах! 👇
#хоббипрограммиста #бег
❤7🔥3
Как нейросети расширяют границы возможного в материаловедении
Привет! 👋 В рубрике IT & Инсайты делюсь сутью крутых выступлений.
Лично меня особенно восхищают доклады на стыке наук, например, где химия и физика материалов встречаются с математическим моделированием, а ИИ помогает найти оптимальные решения. Именно за эти качества понравилось выступление Владимира Широбокова о машинном обучении (МО) в материаловедении.
Главная боль индустрии? Путь от открытия материала до коммерции может занимать 20 лет! Инвесторы не готовы столько ждать. МО может всё изменить, связывая мир структуры материалов с цифровым!
🔑 Ключевые тезисы доклада:
• Данные — фундамент: Нужны тонны данных (эксперимент, расчеты). Критическая проблема: почти нет данных о "неудачных" экспериментах в публикациях!
• Графы + Физика = Прорыв: Графовые нейросети (GNN) хорошо описывают материалы (атомы=узлы, связи=ребра), но не учитывает физические законы . Прорыв: Эквивариантные GNN встроили законы физики (инвариантность к поворотам/сдвигам), резко повысив точность предсказаний!
• Модель «Гном» (GNoME)!
• Самостоятельно генерирует новые, жизнеспособные кристаллические структуры!
• Часть предсказаний уже подтверждена в реальных лабораториях!
• Сверхбыстрая молекулярная динамика: МО-модели учатся имитировать сверхточные (но медленные) квантовые расчеты, делая моделирование на порядки быстрее без потери качества.
• Вызовы: Острая нехватка данных для ключевых свойств, сложность моделирования, интеграция расчетных и "грязных" экспериментальных данных.
• Инвестиции: Решать конкретные, дорогие проблемы промышленности (батареи, чипы, катализаторы и т.д.). Технология должна приносить измеримую прибыль.
📌 Смотрите доклад, чтобы прочувствовать этот синтез наук https://vkvideo.ru/video-164555658_456241616
🔥 А вам нравятся такие междисциплинарные доклады?
• Какие отрасли получат максимум от ИИ-материалов? (Банкинг? Электроника? Медицина?)
• Как бороться с нехваткой данных (особенно "негативных") в науке/ваших проектах?
• Кто должен патентовать материал, открытый ИИ? Искусственный интеллект или люди?
• Что важнее для прорыва: умные алгоритмы (типа «Гном») или лаборанты?😀
Делитесь мыслями! 👇
#ITинсайты #ИИ
Привет! 👋 В рубрике IT & Инсайты делюсь сутью крутых выступлений.
Лично меня особенно восхищают доклады на стыке наук, например, где химия и физика материалов встречаются с математическим моделированием, а ИИ помогает найти оптимальные решения. Именно за эти качества понравилось выступление Владимира Широбокова о машинном обучении (МО) в материаловедении.
Главная боль индустрии? Путь от открытия материала до коммерции может занимать 20 лет! Инвесторы не готовы столько ждать. МО может всё изменить, связывая мир структуры материалов с цифровым!
🔑 Ключевые тезисы доклада:
• Данные — фундамент: Нужны тонны данных (эксперимент, расчеты). Критическая проблема: почти нет данных о "неудачных" экспериментах в публикациях!
• Графы + Физика = Прорыв: Графовые нейросети (GNN) хорошо описывают материалы (атомы=узлы, связи=ребра), но не учитывает физические законы . Прорыв: Эквивариантные GNN встроили законы физики (инвариантность к поворотам/сдвигам), резко повысив точность предсказаний!
• Модель «Гном» (GNoME)!
• Самостоятельно генерирует новые, жизнеспособные кристаллические структуры!
• Часть предсказаний уже подтверждена в реальных лабораториях!
• Сверхбыстрая молекулярная динамика: МО-модели учатся имитировать сверхточные (но медленные) квантовые расчеты, делая моделирование на порядки быстрее без потери качества.
• Вызовы: Острая нехватка данных для ключевых свойств, сложность моделирования, интеграция расчетных и "грязных" экспериментальных данных.
• Инвестиции: Решать конкретные, дорогие проблемы промышленности (батареи, чипы, катализаторы и т.д.). Технология должна приносить измеримую прибыль.
МО — не просто инструмент, а революционный ускоритель для материаловедения! Оно ломает барьеры комбинаторики (спасибо «Гному»!), открывая путь к целенаправленному дизайну материалов. Но триумф требует качественных данных, физически обоснованных моделей и четкой фокусировки на индустриальных задачах. Будущее материалов — за симбиозом глубокой науки и передового ИИ.
📌 Смотрите доклад, чтобы прочувствовать этот синтез наук https://vkvideo.ru/video-164555658_456241616
🔥 А вам нравятся такие междисциплинарные доклады?
• Какие отрасли получат максимум от ИИ-материалов? (Банкинг? Электроника? Медицина?)
• Как бороться с нехваткой данных (особенно "негативных") в науке/ваших проектах?
• Кто должен патентовать материал, открытый ИИ? Искусственный интеллект или люди?
• Что важнее для прорыва: умные алгоритмы (типа «Гном») или лаборанты?😀
Делитесь мыслями! 👇
#ITинсайты #ИИ
VK Видео
Владимир Широбоков | Современное состояние машинного обучения в материаловедении: перспективы и проблемы
Спикер: Владимир Широбоков, ИТМО Data Fest 2025: https://ods.ai/events/datafest2025 Презентацию к докладу Вы можете скачать в треке секции ML in Science: https://ods.ai/tracks/df25-ml-in-science ______ Наши соц.сети: Telegram: https://t.me/datafest Вконтакте:…
👍2🔥1
Я уже третий день подряд просыпаюсь под звуки дождя о металлическую крышу и печальное тоскливое небо утра😭
Загадаю на завтрашнее утро - солнце. Теплое, яркое и согревающее. Хотя бы восьмибитное!!☀️ ☀️
Загадаю на завтрашнее утро - солнце. Теплое, яркое и согревающее. Хотя бы восьмибитное!!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3
Марат и его записки программиста
Как нейросети расширяют границы возможного в материаловедении Привет! 👋 В рубрике IT & Инсайты делюсь сутью крутых выступлений. Лично меня особенно восхищают доклады на стыке наук, например, где химия и физика материалов встречаются с математическим моделированием…
Надо признать, одна из причин, почему мне так понравилось это видео — оно вызвало яркое и тёплое чувство ностальгии. 🌿
Более 10 лет назад я учился в аспирантуре, и там существовала научная группа, которая занималась кванто-химическими расчётами. Я помню, как химики и физики запускали эти сложные симуляции — а потом, как в том анекдоте, не до конца понимали тонкости реализации алгоритма работы метода (по крайней мере, мне так казалось), но принимали результаты как данность 😁.
И вот сейчас, слушая доклад, по одной ниточке всплыло всё:
🔬 лабораторные будни
🌙 ночные расчёты
🎤 конференции
📐 споры у доски
💃 совместные тренировки и танцевальные репетиции в перерывах между экспериментами
☕️ бессонные ночи перед презентациями
🎓 взрывные студвесны
🕺 и эти безумные корпоративы, где даже суровые профессора вдруг становились частью танцпола
Это был образ жизни, сообщество, приключение и классная часть моего жизненного пути.
Уверен, у каждого есть своё место для ностальгических воспоминаний. Конечно, это не только аспирантура —
может быть, это первая работа, студенческая общага, музыкальная группа, спортивная команда…
Времена, от которых осталась не просто память,
а целое чувство, которое можно вызвать одной мелодией,
запахом старых книг на полке, или видом сложного графика с кривыми, которые «вдруг сошлись». 📈
—
Всем классных воспоминаний, которые оживляет тёплые и яркие события прошлого.💫
Более 10 лет назад я учился в аспирантуре, и там существовала научная группа, которая занималась кванто-химическими расчётами. Я помню, как химики и физики запускали эти сложные симуляции — а потом, как в том анекдоте, не до конца понимали тонкости реализации алгоритма работы метода (по крайней мере, мне так казалось), но принимали результаты как данность 😁.
И вот сейчас, слушая доклад, по одной ниточке всплыло всё:
🔬 лабораторные будни
🌙 ночные расчёты
🎤 конференции
📐 споры у доски
💃 совместные тренировки и танцевальные репетиции в перерывах между экспериментами
☕️ бессонные ночи перед презентациями
🎓 взрывные студвесны
🕺 и эти безумные корпоративы, где даже суровые профессора вдруг становились частью танцпола
Это был образ жизни, сообщество, приключение и классная часть моего жизненного пути.
Уверен, у каждого есть своё место для ностальгических воспоминаний. Конечно, это не только аспирантура —
может быть, это первая работа, студенческая общага, музыкальная группа, спортивная команда…
Времена, от которых осталась не просто память,
а целое чувство, которое можно вызвать одной мелодией,
запахом старых книг на полке, или видом сложного графика с кривыми, которые «вдруг сошлись». 📈
—
Всем классных воспоминаний, которые оживляет тёплые и яркие события прошлого.💫
❤4🔥2
📩 : «Работай работу и получай зарплату» — или как я перестал игнорировать EVP. Часть 1.
Раньше я считал, что EVP (Employer Value Proposition) — это HR-бла-бла:
А по факту — проект, таски, зарплата. Хреначь и получай. Вообще корректнее, я даже не знал, что такое EVP😁
Но на днях прошёл трёхчасовой воркшоп (капец как долго, через два часа чувствовал себя выжитым и уставшим) по разработке EVP в нашей компании (крупный аутсорс, 1.5k+ человек, основной клиент — крупный банк), и…
Оказалось, что это не про пиар. А про реальность.
Что вообще такое EVP?
Это ответ на вопрос:
Да, деньги важны. Но также важно понимать, что здесь есть рост, поддержка, возможность влиять, и ты чувствуешь, что тебя видят.
Хороший EVP — это когда ты можешь честно сказать другу:
Как проходил воркшоп?
🔹 Знакомство и погружение
Коротко, без воды: что такое EVP и зачем он нужен.
🔹 Генерация идей в командах
Обсуждали: что нас выделяет? Что важно для нас как сотрудников?
🔹 Колесо идей — и вот это было круто!
Рандомайзер выбирал:
одну из 6 тем EVP,
и формат (статья, подкаст, видео и т.д.)
И мы за 10 минут придумывали, как эту ценность можно раскрыть публично.
Например:
Тема: «Влияние на процессы»
Формат: подкаст
→ Серия интервью с теми, кто внедрил свои инициативы.
Было мощно.
И в процессе разговора я узнал кучу нового: как устроены грейды в аутсорсе, как работает внутренняя мобильность, какие сложности бывают у команд и как они их обходят.
🔹 Про Хабр и экспертность
Да, мы всерьёз обсуждали, как писать статьи от лица компании — не про вакансии, а про технологии, кейсы, R&D. Чтобы быть не просто подрядчиком, а экспертом в сообществе.
🔹 Про конференции
Как выступать чаще, делиться знаниями, быть на сцене — а не только за кулисами.
💚 Что понравилось?
— Познакомился с людьми из других направлений
Теперь могу напрямую обсуждать процессы — и уже после воркшопа обратился к одному из участников, чтобы подробнее узнать про Хайпо.
— Впервые услышал про Хайпо
Это пулл активистов, которые запускают митапы, подкасты, помогают новичкам.
Всё — на энтузиазме и внутренних койнах. 💬💥
🔜 Продолжение — во второй части.
Там — мой главный вывод: Почему хорошее остаётся незамеченным внутри компании.
—
А пока — вот вопрос к вам 😊
Если бы вам предложили пойти на воркшоп по EVP…
Вы бы сказали:
«О, интересно! Пойду!» 💡
Или сразу отметили:
«Ещё одно HR-мероприятие для того чтобы полить воду — конечно, пропущу, есть очень много важных тасок в спринте!!» ?
Пишите в комментариях — очень интересно, как другие смотрят на такие инициативы 👇
Буду читать с удовольствием! 🧵
#БудниПрограммиста
Раньше я считал, что EVP (Employer Value Proposition) — это HR-бла-бла:
«Мы ценим каждого», «у нас тёплая атмосфера», «мы как семья»…
А по факту — проект, таски, зарплата. Хреначь и получай. Вообще корректнее, я даже не знал, что такое EVP😁
Но на днях прошёл трёхчасовой воркшоп (капец как долго, через два часа чувствовал себя выжитым и уставшим) по разработке EVP в нашей компании (крупный аутсорс, 1.5k+ человек, основной клиент — крупный банк), и…
Оказалось, что это не про пиар. А про реальность.
Что вообще такое EVP?
Это ответ на вопрос:
Почему тебе стоит работать именно здесь?
Да, деньги важны. Но также важно понимать, что здесь есть рост, поддержка, возможность влиять, и ты чувствуешь, что тебя видят.
Хороший EVP — это когда ты можешь честно сказать другу:
«Приходи. У нас не просто проекты — у нас есть основание, возможности и команда».
Как проходил воркшоп?
🔹 Знакомство и погружение
Коротко, без воды: что такое EVP и зачем он нужен.
🔹 Генерация идей в командах
Обсуждали: что нас выделяет? Что важно для нас как сотрудников?
🔹 Колесо идей — и вот это было круто!
Рандомайзер выбирал:
одну из 6 тем EVP,
и формат (статья, подкаст, видео и т.д.)
И мы за 10 минут придумывали, как эту ценность можно раскрыть публично.
Например:
Тема: «Влияние на процессы»
Формат: подкаст
→ Серия интервью с теми, кто внедрил свои инициативы.
Было мощно.
И в процессе разговора я узнал кучу нового: как устроены грейды в аутсорсе, как работает внутренняя мобильность, какие сложности бывают у команд и как они их обходят.
🔹 Про Хабр и экспертность
Да, мы всерьёз обсуждали, как писать статьи от лица компании — не про вакансии, а про технологии, кейсы, R&D. Чтобы быть не просто подрядчиком, а экспертом в сообществе.
🔹 Про конференции
Как выступать чаще, делиться знаниями, быть на сцене — а не только за кулисами.
💚 Что понравилось?
— Познакомился с людьми из других направлений
Теперь могу напрямую обсуждать процессы — и уже после воркшопа обратился к одному из участников, чтобы подробнее узнать про Хайпо.
— Впервые услышал про Хайпо
Это пулл активистов, которые запускают митапы, подкасты, помогают новичкам.
Всё — на энтузиазме и внутренних койнах. 💬💥
🔜 Продолжение — во второй части.
Там — мой главный вывод: Почему хорошее остаётся незамеченным внутри компании.
—
А пока — вот вопрос к вам 😊
Если бы вам предложили пойти на воркшоп по EVP…
Вы бы сказали:
«О, интересно! Пойду!» 💡
Или сразу отметили:
«Ещё одно HR-мероприятие для того чтобы полить воду — конечно, пропущу, есть очень много важных тасок в спринте!!» ?
Пишите в комментариях — очень интересно, как другие смотрят на такие инициативы 👇
Буду читать с удовольствием! 🧵
#БудниПрограммиста
👍3
🎥 Сегодня вышло девятое видео посвященное Airflow!
А вы знали, что Airflow может ждать файл в S3 дольше, чем ваш друг ответит на сообщение? 😏
В этом видео:
🐳 Поднимаем своё локальное "облачко" — MinIO в Docker (да, можно и дома быть облачным инженером!)
🔌 Подключаем его к Airflow, как настоящих друзей
🎯 Тестируем S3KeySensor — и смотрим, что он делает, когда файла по пути всё ещё нет (spoiler: он очень-очень надеется)
Сколько раз он проверит? Когда сдастся? И будет ли нервничать, как я, когда жду доставку еды?
Идеально для тех, кто только втягивается в мир Data Pipelines.
Приятного просмотра и да пребудет с вами сила (и working DAG)! 😉
👉 Смотреть видео:
Vk: https://vkvideo.ru/video-231048746_456239025
Youtube: https://youtu.be/hwo6aOfMl9c
📖 Гайд (для тех, кто любит читать):
https://github.com/MaratNotes/marat_notes/blob/master/how_data_works-practice_cases/9_airflow_s3/README.md
—
Базовый курс Airflow плавно подходит к логическому завершению.
Следующим будет видео про S3Hook — и после него выпущу обобщающее видео по базовым знаниям Airflow.
А потом — вперёд в ETL-дикую природу! 🌿
Планирую развивать тему реальных ETL-пайплайнов с использованием:
📦 Apache Kafka — для потоковой передачи данных
📊 Marquez — чтобы отслеживать lineage и метаданные (никакой магии, только прозрачность)
🔗 Их интеграцию с Airflow для построения современного data orchestration
Будем строить практические кейсы: от генерации событий в Kafka до запуска DAG’а в Airflow и фиксации всего этого в Marquez.
Всё — с моими примерами, схемами и, конечно, кодом, который можно запустить локально.
Готовы к настоящему data-путешествию? Поехали! 🚀
#КакРаботаютДанные #airflow
А вы знали, что Airflow может ждать файл в S3 дольше, чем ваш друг ответит на сообщение? 😏
В этом видео:
🐳 Поднимаем своё локальное "облачко" — MinIO в Docker (да, можно и дома быть облачным инженером!)
🔌 Подключаем его к Airflow, как настоящих друзей
🎯 Тестируем S3KeySensor — и смотрим, что он делает, когда файла по пути всё ещё нет (spoiler: он очень-очень надеется)
Сколько раз он проверит? Когда сдастся? И будет ли нервничать, как я, когда жду доставку еды?
Идеально для тех, кто только втягивается в мир Data Pipelines.
Приятного просмотра и да пребудет с вами сила (и working DAG)! 😉
👉 Смотреть видео:
Vk: https://vkvideo.ru/video-231048746_456239025
Youtube: https://youtu.be/hwo6aOfMl9c
📖 Гайд (для тех, кто любит читать):
https://github.com/MaratNotes/marat_notes/blob/master/how_data_works-practice_cases/9_airflow_s3/README.md
—
Базовый курс Airflow плавно подходит к логическому завершению.
Следующим будет видео про S3Hook — и после него выпущу обобщающее видео по базовым знаниям Airflow.
А потом — вперёд в ETL-дикую природу! 🌿
Планирую развивать тему реальных ETL-пайплайнов с использованием:
📦 Apache Kafka — для потоковой передачи данных
📊 Marquez — чтобы отслеживать lineage и метаданные (никакой магии, только прозрачность)
🔗 Их интеграцию с Airflow для построения современного data orchestration
Будем строить практические кейсы: от генерации событий в Kafka до запуска DAG’а в Airflow и фиксации всего этого в Marquez.
Всё — с моими примерами, схемами и, конечно, кодом, который можно запустить локально.
Готовы к настоящему data-путешествию? Поехали! 🚀
#КакРаботаютДанные #airflow
👍8🔥1
📩 : «Работай работу и получай зарплату» — или как я перестал игнорировать EVP. Часть 2.
В первой части я рассказывал, как прошёл воркшоп по EVP: узнал про Хайпо, колесо идей, подробности и личный опыт одного из сотрудников при прохождении кейса с "внутренней мобильностью"…
И в целом — впечатлился.
Но самый главный вывод появился после воркшопа:
👉 Кампания не доносит хорошее до сотрудников.
🔊 Проблема: нет обратной связи внутри
На встрече стало очевидно:
Многие из нас просто не в курсе того, что уже есть.
Например:
● У нас есть корпоративный блог и Telegram-канал, но об этом знают единицы.
● Новости с блога не приходят ни в почту, ни в уведомления — чтобы прочитать, нужно самому искать.
● Нет понятного гайда:
→ как расти в грейдах 📈
→ как подаваться на внутреннюю мобильность 🔄
→ какие есть треки развития 🧭
● Мало рассказывают о реальных проектах, достижениях, сложностях и решениях — хотя это ценно и для команд, и для найма.
Мы не видим полной картины.
А значит — не чувствуем связи.
И не делимся этим с другими.
✅ А ведь многое работает отлично
На самом деле — многое устроено очень классно:
🧑🏫 Система кураторства — одна из лучших, что я видел. Классно когда есть человек, к которому можно обратиться по любым вопросам.
⚡️ Решение рабочих вопросов — от отпуска до конфликтов — происходит быстро и без бюрократии.
🗣 Есть механизмы, чтобы быть услышанным и чувствовать себя частью коллектива — различные онлайн проекты (рассказы про хобби и увлечения, онлайн квесты и ЧГК), it-кофе - это когда раз в неделю есть возможность со случайным человеком из коллектива обсудить любые вопросы, от работы до свободного времяпровождения, большие вечеринки для сотрудников, работающих удаленно (в сентябре запланировано это мероприятие в Уфе, так примерно раз в 2-3 месяца прозодит в разных городах России😉☺️)
Но о хорошем знают не все.
А значит — не ценят, не вовлекаются, не рекомендуют.
💡 Вывод: культура — это не только то, что есть. Это то, о чем ты умеешь рассказать.
EVP — это не просто набор ценностей.
Это история, которую ты рассказываешь своим сотрудникам.
И если она доходит до них — появляется доверие, вовлечённость, гордость.
А если нет — даже самое крутое предложение остаётся "где-то там".
📣 Что можно улучшить?
📨 Рассылки о блоге и инициативах — прямо в почту и в телегу.
📚 Гайды по карьерному росту и мобильности — простые, понятные, доступные.
🎙 Истории от сотрудников — не только про проекты, но и про сложности, решения, личный рост.
🔁 Обратная связь от команд — чтобы понимать, что работает, а что — нет.
✅ Итог
Ушёл с воркшопа с мыслью:
Потому что культура — это не только то, что у тебя есть.
Это то, что ты умеешь показать коллективу и рассказать об этом. 💬
P.S. А в вашей компании как?
Есть ли обратная связь от руководства кампании о планах на будущее?
Есть ли коммуникация между командами об используемых подходах, возникших проблемах и сложностях и пути их исправления и обхода?
Знаете ли вы, где искать новости, как расти, куда податься?
Делитесь в комментариях — будет интересно сравнить! 👇
#БудниПрограммиста
В первой части я рассказывал, как прошёл воркшоп по EVP: узнал про Хайпо, колесо идей, подробности и личный опыт одного из сотрудников при прохождении кейса с "внутренней мобильностью"…
И в целом — впечатлился.
Но самый главный вывод появился после воркшопа:
👉 Кампания не доносит хорошее до сотрудников.
🔊 Проблема: нет обратной связи внутри
На встрече стало очевидно:
Многие из нас просто не в курсе того, что уже есть.
Например:
● У нас есть корпоративный блог и Telegram-канал, но об этом знают единицы.
● Новости с блога не приходят ни в почту, ни в уведомления — чтобы прочитать, нужно самому искать.
● Нет понятного гайда:
→ как расти в грейдах 📈
→ как подаваться на внутреннюю мобильность 🔄
→ какие есть треки развития 🧭
● Мало рассказывают о реальных проектах, достижениях, сложностях и решениях — хотя это ценно и для команд, и для найма.
Мы не видим полной картины.
А значит — не чувствуем связи.
И не делимся этим с другими.
✅ А ведь многое работает отлично
На самом деле — многое устроено очень классно:
🧑🏫 Система кураторства — одна из лучших, что я видел. Классно когда есть человек, к которому можно обратиться по любым вопросам.
⚡️ Решение рабочих вопросов — от отпуска до конфликтов — происходит быстро и без бюрократии.
🗣 Есть механизмы, чтобы быть услышанным и чувствовать себя частью коллектива — различные онлайн проекты (рассказы про хобби и увлечения, онлайн квесты и ЧГК), it-кофе - это когда раз в неделю есть возможность со случайным человеком из коллектива обсудить любые вопросы, от работы до свободного времяпровождения, большие вечеринки для сотрудников, работающих удаленно (в сентябре запланировано это мероприятие в Уфе, так примерно раз в 2-3 месяца прозодит в разных городах России😉☺️)
Но о хорошем знают не все.
А значит — не ценят, не вовлекаются, не рекомендуют.
💡 Вывод: культура — это не только то, что есть. Это то, о чем ты умеешь рассказать.
EVP — это не просто набор ценностей.
Это история, которую ты рассказываешь своим сотрудникам.
И если она доходит до них — появляется доверие, вовлечённость, гордость.
А если нет — даже самое крутое предложение остаётся "где-то там".
📣 Что можно улучшить?
📨 Рассылки о блоге и инициативах — прямо в почту и в телегу.
📚 Гайды по карьерному росту и мобильности — простые, понятные, доступные.
🎙 Истории от сотрудников — не только про проекты, но и про сложности, решения, личный рост.
🔁 Обратная связь от команд — чтобы понимать, что работает, а что — нет.
✅ Итог
Ушёл с воркшопа с мыслью:
«У нас реально есть чем гордиться.
Осталось только лучше об этом рассказывать.»
Потому что культура — это не только то, что у тебя есть.
Это то, что ты умеешь показать коллективу и рассказать об этом. 💬
P.S. А в вашей компании как?
Есть ли обратная связь от руководства кампании о планах на будущее?
Есть ли коммуникация между командами об используемых подходах, возникших проблемах и сложностях и пути их исправления и обхода?
Знаете ли вы, где искать новости, как расти, куда податься?
Делитесь в комментариях — будет интересно сравнить! 👇
#БудниПрограммиста
Telegram
Марат и его записки программиста
📩 : «Работай работу и получай зарплату» — или как я перестал игнорировать EVP. Часть 1.
Раньше я считал, что EVP (Employer Value Proposition) — это HR-бла-бла:
«Мы ценим каждого», «у нас тёплая атмосфера», «мы как семья»…
А по факту — проект, таски, зарплата.…
Раньше я считал, что EVP (Employer Value Proposition) — это HR-бла-бла:
«Мы ценим каждого», «у нас тёплая атмосфера», «мы как семья»…
А по факту — проект, таски, зарплата.…
👍2