Как C++/Python-разработчик решил освоить Java через практику: сделал систему парсинга и логирования для Dropwizard.

Процесс:
1️⃣ Генерация: Код создал DeepSeek-R1 (именно финальный код, периодически менял их, так как начинали буксовать),
2️⃣ Ревью: Отдал на проверку Qwen-Coder — как независимому эксперту.

Вердикт Qwen-Coder:

«Чистая, модульная, расширяемая система. Легко интегрируется, грамотное структурирование, архитектура позволяет гибко добавлять фичи. 👏»

Реальность за кадром:
✅ В сумме часов 20 работы: сборка, отладка и шлифовка нюансов (Java для меня — новый язык),
✅ Результат — рабочая и элегантная система.

Итог:
Когда ИИ хвалит ИИ, а ты знаешь, сколько человеческого труда скрыто за этим кодом — это не трепет. Это понимание. 🔥

Такие инструменты — не магия, а мощные ускорители работы.

#ИИ #БудниПрограммиста

Монолит vs микросервисы: мифы, реальность и третий путь.

Привет! 👋 Это новый пост из рубрики IT & Инсайты — делюсь кратким обзором полезных и интересных для меня докладов и видео из тематики IT и смежной к ней.

Сегодня — выступление Григория Петрова — "Сложность, убивающая микросервисы".

В его практике клиенты часто просят перевести их Python-монолит на "модные" микросервисы на Go, думая, что это автоматически сделает систему проще. Петров доказывает: это опасное заблуждение!

🔑 Ключевые тезисы:

📉 Критика на подъеме
Крупные игроки (Amazon Prime Video!) отказываются от микросервисов.
Команды Instagram (12 чел.) и WhatsApp (50 чел.) — не примеры, а предостережения. Они не тянут микросервисный "зоопарк".

🧠 Главный враг — когнитивная сложность
Наш мозг осознаёт код через "смыслы", а рабочая память — крайне ограничена (~4 "смысла" одновременно).
В монолитах фреймворки дают общие "кубики Лего" для понимания.
В микросервисах этих "кубиков" нет — каждая компания изобретает свою девплатформу (он приводит в пример Backstage в Spotify), которую новичкам погружаться годы (насчет скорости погружения - не уверен, но, в целом с тенденцией долгого погружения - согласен, и во многом связана также со следующим пунктом😁).

💥 Практические кошмары:
Технологический зоопарк — каждый сервис — свой стек, CI/CD, настройки.
Сложный мониторинг (Observability) — отладка распределённой системы = ад.
Жёсткость — архитектурные ошибки и техдолг караются мгновенно.
Медлительность — фичи требуют согласований с кучей команд.

✅ Когда микросервисы ОК?

1️⃣ Система масштабная и критичная.
2️⃣Есть ресурсы на процессы, культуру и инфраструктуру.
3️⃣Вы готовы к долгому онбордингу и постоянной синхронизации.

🔁 Альтернативы:
"Цитадель" — мощный монолит в центре + микросервисы по краям.
"Умный" монолит — чёткие границы, асинхронность, интеграция. Современные серверы справятся!

💡 Основная мысль:
Микросервисы — это не "проще", а дорогой и сложный инструмент для узкого круга задач.

❗️Слепая гонка за трендом (следует признать, что тренду лет 8-10☺️) без учета когнитивной нагрузки, инфраструктурных издержек и отсутствия стандартов — путь к провалу.


📌 Рекомендую посмотреть видео, особенно если интересны темы: нейрофизиологическая подоплёка программирования и построение и архитектура систем.

🔗 https://vkvideo.ru/video-65336816_456239594

💬 Пишите в комментариях:

• Сталкивались ли вы с "микросервисным адом"? Какой самый сложный момент?

• Что эффективнее по вашему мнению: умный монолит, "Цитадель" или чистые микросервисы? Или хаос наше всё😃

• Как решается проблема когнитивной нагрузки в Ваших проектах или в Вашем опыте?

• Согласны с Петровым, что микросервисы — это "сложность, которая убивает" для многих проектов?

Делитесь кейсами, спорите, дополняйте! Опыт сообщества бесценен. 👇

#ITинсайты

🎥 Очередное видео, посвященное Airflow, вышло!

И да, длительность видео 30 минут вместо стандартных 10–15 😅

Напомню, в прошлую субботу видео не было. Вместо этого выложил текстовый гайд по настройке взаимосвязи с БД в Apache Airflow.

Я наверстал упущенное и сегодня вышло развернутое видео☺️

В этом выпуске:
🔹 Как настроить подключение к БД в Airflow (PostgreSQL в Docker → Airflow в WSL)
🔹 Работа с SQLExecuteQueryOperator: от простого SELECT до выполнения .sql-файлов
🔹 Как проверить соединение через DBeaver — визуально и без ошибок
🔹 Практический кейс по реализации dag'а для соединения с БД

Видео идеально дополняет текстовый гайд , который я публиковал на прошлой неделе — теперь можно смотреть, слушать и повторять.

👉 Смотреть видео:
Vk: https://vkvideo.ru/video-231048746_456239024

Youtube: https://youtu.be/CS0ej3A-P5k

📖 Гайд (для тех, кто любит читать): https://github.com/MaratNotes/marat_notes/blob/master/how_data_works-practice_cases/8_airflow_postgres_operator/README.md

Спасибо, что остаётесь на связи, даже когда видео задерживается 💙
В следующую субботу — снова будет полезный гайд по Airflow (и, обещаю, вовремя 😉)

#КакРаботаютДанные #airflow

Как я на пробежке ногу из велосипеда вынимал😁🏃‍♂️

Привет всем!✌️

Работая удаленно, я все чаще ловлю себя на мысли, что социальных контактов стало в разы меньше, чем в офисе. Нет регулярных кофе-брейков, обсуждений за обедом или просто болтовни у кулера. И это сложно назвать плюсом, мне, как ни крути, нужно общение, и если честно, этого не хватает.

Мой спасательные круг в этом случае – хобби, а именно бег. И дело не только в эндорфинах! Тренировки на улице регулярно подкидывают ситуации, где я волей-неволей взаимодействую с внешним миром (несколько историй в другом посте). И вот свежий пример.

Утро выходного дня☀️. Старт моей длительной пробежки (8-10 км) запланирован у беговой дорожки рядом с местный торговым центром. Добираюсь туда на машине (~15 мин), делаю разминку, стартую.

Через 3-4 км беговой тренировки: Вижу маму с дочкой (~8-10 лет) на велосипеде. Стоят посреди дорожки перед пешеходным переходом, стоят странно неподвижно. Подбегаю ближе – локальное ЧП! Мама сигналит взмахами рук, вид испуганный.

Я остановился, снял наушники. Проблема: Нога ребенка прочно застряла в переднем колесе велосипеда! Видимо, при попытке спешиться перед переходом, нога каким-то невероятным образом проскочила между спицами и заклинилась между колесом и рамой. Шанс – один на миллион, но как говорил Терри Пратчетт: "Один шанс на миллион, выпадает 9 раз из 10!".

Что смутило: девочке явно было страшно и больно, а мама все время повторяла: "Только не плачь и терпи". Имхо, это странно😃. И чтобы мне было проще взаимодействовать, я сказал: "Нормально плакать, я бы тоже плакал, если бы мне было больно, можешь не сдерживать слезу☺️".

После чего приступил к диагностике ситуации. Сначала подумал, что перелом/вывих (мне лично было страшно смотреть). К счастью, обошлось – нога просто зажата.

Попытка №1 (неудачная): Пытаюсь аккуратно вытянуть ногу через спицы. Бесполезно. Физика против меня.

Анализ: Осматриваю крепление колеса. О, чудо современных технологий! Велосипед современный – колесо крепится на ручку-зажим, решение найдено – необходимо снять колесо!

Быстро отстегиваю ручку, снимаю переднее колесо и... нога свободна! Уффф.

Развязка:

Девочка в порядке! Может стоять и ходить (обошлось ушибом/испугом).

Предлагаю разобрать велик и довезти их до дома, правда им придется минут 25-30 подождать, необходимо добежать до машины и приехать.

Мама, бесконечно благодарная, решила, что доберутся до дома сами. Кто я такой, чтобы спорить?

Итог:

Эта история – не про мой героизм, хотя, конечно, было приятно помочь. Она про то, что хобби – это не просто "отдых" или "ЗОЖ". Для меня это важный канал связи с реальным миром и людьми.

Социализация: Бег (или любое другое хобби вне дома) принудительно может сталкивать социумом, создавать поводы для неформальных, человеческих взаимодействий. Иногда очень неожиданных!

Эмпатия и Коммуникация: В офисе есть предпосылки для развития soft skill'ов. Удалёнка их может притупить. Такие ситуации учат включать эмпатию, быстро находить слова и сохранять голову холодной.

Решение проблем: Даже в таком ЧП в реальном мире сработал знакомый принцип: "Оценить -> Попробовать быстрое решение -> Проанализировать систему (крепление колеса) -> Найти решение (снять колесо)". Логика и анализ – мой главный инструмент в любой ситации.

Непрошенный совет it-шнику: Не замыкайтесь в коде и задачах, выходите в "офлайн" через хобби! Это не только здоровье, но и критически важная "прокачка" социальных навыков и источник неожиданных (иногда велосипедных) жизненных кейсов! 😉

А у вас были неожиданные встречи и ситуации благодаря хобби? Делитесь в комментах! 👇

#хоббипрограммиста #бег

Как нейросети расширяют границы возможного в материаловедении

Привет! 👋 В рубрике IT & Инсайты делюсь сутью крутых выступлений.

Лично меня особенно восхищают доклады на стыке наук, например, где химия и физика материалов встречаются с математическим моделированием, а ИИ помогает найти оптимальные решения. Именно за эти качества понравилось выступление Владимира Широбокова о машинном обучении (МО) в материаловедении.

Главная боль индустрии? Путь от открытия материала до коммерции может занимать 20 лет! Инвесторы не готовы столько ждать. МО может всё изменить, связывая мир структуры материалов с цифровым!

🔑 Ключевые тезисы доклада:

• Данные — фундамент: Нужны тонны данных (эксперимент, расчеты). Критическая проблема: почти нет данных о "неудачных" экспериментах в публикациях!

• Графы + Физика = Прорыв: Графовые нейросети (GNN) хорошо описывают материалы (атомы=узлы, связи=ребра), но не учитывает физические законы . Прорыв: Эквивариантные GNN встроили законы физики (инвариантность к поворотам/сдвигам), резко повысив точность предсказаний!

• Модель «Гном» (GNoME)!
• Самостоятельно генерирует новые, жизнеспособные кристаллические структуры!
• Часть предсказаний уже подтверждена в реальных лабораториях!

• Сверхбыстрая молекулярная динамика: МО-модели учатся имитировать сверхточные (но медленные) квантовые расчеты, делая моделирование на порядки быстрее без потери качества.

• Вызовы: Острая нехватка данных для ключевых свойств, сложность моделирования, интеграция расчетных и "грязных" экспериментальных данных.

• Инвестиции: Решать конкретные, дорогие проблемы промышленности (батареи, чипы, катализаторы и т.д.). Технология должна приносить измеримую прибыль.

МО — не просто инструмент, а революционный ускоритель для материаловедения! Оно ломает барьеры комбинаторики (спасибо «Гному»!), открывая путь к целенаправленному дизайну материалов. Но триумф требует качественных данных, физически обоснованных моделей и четкой фокусировки на индустриальных задачах. Будущее материалов — за симбиозом глубокой науки и передового ИИ.

📌 Смотрите доклад, чтобы прочувствовать этот синтез наук https://vkvideo.ru/video-164555658_456241616



🔥 А вам нравятся такие междисциплинарные доклады?

• Какие отрасли получат максимум от ИИ-материалов? (Банкинг? Электроника? Медицина?)

• Как бороться с нехваткой данных (особенно "негативных") в науке/ваших проектах?

• Кто должен патентовать материал, открытый ИИ? Искусственный интеллект или люди?

• Что важнее для прорыва: умные алгоритмы (типа «Гном») или лаборанты?😀

Делитесь мыслями! 👇

#ITинсайты #ИИ

Надо признать, одна из причин, почему мне так понравилось это видео — оно вызвало яркое и тёплое чувство ностальгии. 🌿

Более 10 лет назад я учился в аспирантуре, и там существовала научная группа, которая занималась кванто-химическими расчётами. Я помню, как химики и физики запускали эти сложные симуляции — а потом, как в том анекдоте, не до конца понимали тонкости реализации алгоритма работы метода (по крайней мере, мне так казалось), но принимали результаты как данность 😁.

И вот сейчас, слушая доклад, по одной ниточке всплыло всё:
🔬 лабораторные будни
🌙 ночные расчёты
🎤 конференции
📐 споры у доски
💃 совместные тренировки и танцевальные репетиции в перерывах между экспериментами
☕️ бессонные ночи перед презентациями
🎓 взрывные студвесны
🕺 и эти безумные корпоративы, где даже суровые профессора вдруг становились частью танцпола

Это был образ жизни, сообщество, приключение и классная часть моего жизненного пути.

Уверен, у каждого есть своё место для ностальгических воспоминаний. Конечно, это не только аспирантура —
может быть, это первая работа, студенческая общага, музыкальная группа, спортивная команда…

Времена, от которых осталась не просто память,
а целое чувство, которое можно вызвать одной мелодией,
запахом старых книг на полке, или видом сложного графика с кривыми, которые «вдруг сошлись». 📈

—

Всем классных воспоминаний, которые оживляет тёплые и яркие события прошлого.💫

📩 : «Работай работу и получай зарплату» — или как я перестал игнорировать EVP. Часть 1.

Раньше я считал, что EVP (Employer Value Proposition) — это HR-бла-бла:

«Мы ценим каждого», «у нас тёплая атмосфера», «мы как семья»…

А по факту — проект, таски, зарплата. Хреначь и получай. Вообще корректнее, я даже не знал, что такое EVP😁

Но на днях прошёл трёхчасовой воркшоп (капец как долго, через два часа чувствовал себя выжитым и уставшим) по разработке EVP в нашей компании (крупный аутсорс, 1.5k+ человек, основной клиент — крупный банк), и…
Оказалось, что это не про пиар. А про реальность.

Что вообще такое EVP?
Это ответ на вопрос:

Почему тебе стоит работать именно здесь?

Да, деньги важны. Но также важно понимать, что здесь есть рост, поддержка, возможность влиять, и ты чувствуешь, что тебя видят.

Хороший EVP — это когда ты можешь честно сказать другу:

«Приходи. У нас не просто проекты — у нас есть основание, возможности и команда».

Как проходил воркшоп?

🔹 Знакомство и погружение
Коротко, без воды: что такое EVP и зачем он нужен.

🔹 Генерация идей в командах
Обсуждали: что нас выделяет? Что важно для нас как сотрудников?

🔹 Колесо идей — и вот это было круто!
Рандомайзер выбирал:

одну из 6 тем EVP,
и формат (статья, подкаст, видео и т.д.)
И мы за 10 минут придумывали, как эту ценность можно раскрыть публично.

Например:

Тема: «Влияние на процессы»
Формат: подкаст
→ Серия интервью с теми, кто внедрил свои инициативы.

Было мощно.
И в процессе разговора я узнал кучу нового: как устроены грейды в аутсорсе, как работает внутренняя мобильность, какие сложности бывают у команд и как они их обходят.

🔹 Про Хабр и экспертность
Да, мы всерьёз обсуждали, как писать статьи от лица компании — не про вакансии, а про технологии, кейсы, R&D. Чтобы быть не просто подрядчиком, а экспертом в сообществе.

🔹 Про конференции
Как выступать чаще, делиться знаниями, быть на сцене — а не только за кулисами.

💚 Что понравилось?
— Познакомился с людьми из других направлений
Теперь могу напрямую обсуждать процессы — и уже после воркшопа обратился к одному из участников, чтобы подробнее узнать про Хайпо.

— Впервые услышал про Хайпо
Это пулл активистов, которые запускают митапы, подкасты, помогают новичкам.
Всё — на энтузиазме и внутренних койнах. 💬💥

🔜 Продолжение — во второй части.
Там — мой главный вывод: Почему хорошее остаётся незамеченным внутри компании.

—

А пока — вот вопрос к вам 😊
Если бы вам предложили пойти на воркшоп по EVP…
Вы бы сказали:

«О, интересно! Пойду!» 💡

Или сразу отметили:

«Ещё одно HR-мероприятие для того чтобы полить воду — конечно, пропущу, есть очень много важных тасок в спринте!!» ?

Пишите в комментариях — очень интересно, как другие смотрят на такие инициативы 👇
Буду читать с удовольствием! 🧵

#БудниПрограммиста

🎥 Сегодня вышло девятое видео посвященное Airflow!

А вы знали, что Airflow может ждать файл в S3 дольше, чем ваш друг ответит на сообщение? 😏

В этом видео:
🐳 Поднимаем своё локальное "облачко" — MinIO в Docker (да, можно и дома быть облачным инженером!)
🔌 Подключаем его к Airflow, как настоящих друзей
🎯 Тестируем S3KeySensor — и смотрим, что он делает, когда файла по пути всё ещё нет (spoiler: он очень-очень надеется)

Сколько раз он проверит? Когда сдастся? И будет ли нервничать, как я, когда жду доставку еды?

Идеально для тех, кто только втягивается в мир Data Pipelines.

Приятного просмотра и да пребудет с вами сила (и working DAG)! 😉

👉 Смотреть видео:
Vk: https://vkvideo.ru/video-231048746_456239025

Youtube: https://youtu.be/hwo6aOfMl9c

📖 Гайд (для тех, кто любит читать):
https://github.com/MaratNotes/marat_notes/blob/master/how_data_works-practice_cases/9_airflow_s3/README.md

—

Базовый курс Airflow плавно подходит к логическому завершению.
Следующим будет видео про S3Hook — и после него выпущу обобщающее видео по базовым знаниям Airflow.

А потом — вперёд в ETL-дикую природу! 🌿
Планирую развивать тему реальных ETL-пайплайнов с использованием:

📦 Apache Kafka — для потоковой передачи данных
📊 Marquez — чтобы отслеживать lineage и метаданные (никакой магии, только прозрачность)
🔗 Их интеграцию с Airflow для построения современного data orchestration

Будем строить практические кейсы: от генерации событий в Kafka до запуска DAG’а в Airflow и фиксации всего этого в Marquez.
Всё — с моими примерами, схемами и, конечно, кодом, который можно запустить локально.

Готовы к настоящему data-путешествию? Поехали! 🚀

#КакРаботаютДанные #airflow

📩 : «Работай работу и получай зарплату» — или как я перестал игнорировать EVP. Часть 2.

В первой части я рассказывал, как прошёл воркшоп по EVP: узнал про Хайпо, колесо идей, подробности и личный опыт одного из сотрудников при прохождении кейса с "внутренней мобильностью"…
И в целом — впечатлился.

Но самый главный вывод появился после воркшопа:

👉 Кампания не доносит хорошее до сотрудников.

🔊 Проблема: нет обратной связи внутри
На встрече стало очевидно:
Многие из нас просто не в курсе того, что уже есть.

Например:

● У нас есть корпоративный блог и Telegram-канал, но об этом знают единицы.
● Новости с блога не приходят ни в почту, ни в уведомления — чтобы прочитать, нужно самому искать.
● Нет понятного гайда:
→ как расти в грейдах 📈
→ как подаваться на внутреннюю мобильность 🔄
→ какие есть треки развития 🧭
● Мало рассказывают о реальных проектах, достижениях, сложностях и решениях — хотя это ценно и для команд, и для найма.

Мы не видим полной картины.
А значит — не чувствуем связи.
И не делимся этим с другими.

✅ А ведь многое работает отлично
На самом деле — многое устроено очень классно:

🧑‍🏫 Система кураторства — одна из лучших, что я видел. Классно когда есть человек, к которому можно обратиться по любым вопросам.
⚡️ Решение рабочих вопросов — от отпуска до конфликтов — происходит быстро и без бюрократии.
🗣 Есть механизмы, чтобы быть услышанным и чувствовать себя частью коллектива — различные онлайн проекты (рассказы про хобби и увлечения, онлайн квесты и ЧГК), it-кофе - это когда раз в неделю есть возможность со случайным человеком из коллектива обсудить любые вопросы, от работы до свободного времяпровождения, большие вечеринки для сотрудников, работающих удаленно (в сентябре запланировано это мероприятие в Уфе, так примерно раз в 2-3 месяца прозодит в разных городах России😉☺️)

Но о хорошем знают не все.
А значит — не ценят, не вовлекаются, не рекомендуют.

💡 Вывод: культура — это не только то, что есть. Это то, о чем ты умеешь рассказать.
EVP — это не просто набор ценностей.
Это история, которую ты рассказываешь своим сотрудникам.
И если она доходит до них — появляется доверие, вовлечённость, гордость.

А если нет — даже самое крутое предложение остаётся "где-то там".

📣 Что можно улучшить?
📨 Рассылки о блоге и инициативах — прямо в почту и в телегу.
📚 Гайды по карьерному росту и мобильности — простые, понятные, доступные.
🎙 Истории от сотрудников — не только про проекты, но и про сложности, решения, личный рост.
🔁 Обратная связь от команд — чтобы понимать, что работает, а что — нет.
✅ Итог

Ушёл с воркшопа с мыслью:

«У нас реально есть чем гордиться.
Осталось только лучше об этом рассказывать.»

Потому что культура — это не только то, что у тебя есть.
Это то, что ты умеешь показать коллективу и рассказать об этом. 💬

P.S. А в вашей компании как?
Есть ли обратная связь от руководства кампании о планах на будущее?
Есть ли коммуникация между командами об используемых подходах, возникших проблемах и сложностях и пути их исправления и обхода?
Знаете ли вы, где искать новости, как расти, куда податься?

Делитесь в комментариях — будет интересно сравнить! 👇

#БудниПрограммиста

Когда Enter решает за меня ⌨️💥

Пишу на днях письмо в корпоративной почте.
В голове — Telegram и Qwen: Shift+Enter = перенос строки.
В реальности почтового клиента — Ctrl+Enter = отправить.

Нажимаю по привычке, просто чтобы перейти на новую строку…
Письмо улетает.
‼️Недописанное.
С заметками: «важно обсудить», «напомнить про сроки», «вообще хз, надо подумать».

Коллеги читают — и видит не ответ, а мои мысли вслух.
Как будто заглянули в мой личный дневник.
Было очень неприятно и неловко за себя☺️

Сильно раздражает, что во многих приложениях разные сочетания на одни и те же действия?!?!

Вообще не понимаю, как в ситуации, когда
космические корабли бороздят просторы Вселенной,
мы до сих пор не можем договориться,
что делает одна клавиша!!!

—

Если ты тоже когда-то отправлял коллегам черновик с пометкой «тут дописать», а может и с матерным слэнгом — ставь ❤️

📩 P.S. к EVP: беговые приятности

На днях писал про EVP и как важно, чтобы сотрудники чувствовали связь с компанией.
И тут как по команде — ещё один живой пример.

🏃‍♂️ Всё лето у нас идёт Благотворительный забег.
Суть простая: бегаешь, загружаешь километры, а компания за каждый км кидает 50₽ в общую копилку.

В этом активности участвуют почти 200 сотрудников — и это здорово! Теперь я знаю, что несколько коллег из Уфы тоже регулярно загружает свои тренировки — будет о чём поговорить на местном корпоративе 😁


🌤 За лето мы вместе собрали более 400 000 рублей! Я считаю крутой результат!

🎁 И да, ещё важный момент — за участие каждую неделю разыгрывают мерч.

И на этой неделе повезло мне 🎉

Не знаю, насколько это EVP, но приятно точно☺️☺️

P.S. Кстати, в целом про обсуждение EVP внутри кампании, где я работаю, можно прочитать здесь

#ХоббиПрограммиста

🎂Это десятое видео из серии про Airflow — и оно особенное.

Мы подводим черту под циклом базовых знаний, и делаем то, ради чего всё затевалось:
ETL-пайплайн, где всё работает вместе.

В этом видео:

🔹 Генерируем данные о клиентах за последние 5 дней
🔹 Загружаем их в PostgreSQL — через DBeaver, как настоящие аналитики
🔹 Настраиваем DAG, который ежедневно выгружает данные за день
🔹 Сохраняем в CSV во временный файл
🔹 И, наконец, отправляем каждый файл в MinIO — наше локальное S3-хранилище

Это оркестрация:
PostgreSQL → Airflow → tempfile → MinIO → порядок в данных😇

Объединим знания:

● PostgresHook и S3Hook — для манипуляции с данными
● XCom — для передачи пути к файлу между задачами
● Динамические даты: {{ ds }}, catchup, start_date без хардкода
● И как всё это работает по расписанию и учитывается при запросах к базе

Это видео — финальная точка в основах Airflow.
Здесь мы соединили всё, что проходили:
подключения, операторы, XCom, DAG-зависимости, работу с БД и S3.

А впереди — новые горизонты:
Airflow + Kafka, отслеживание lineage, инкрементальные загрузки, CI/CD для DAG’ов и многое другое.

Спасибо, что были со мной в этом цикле.
Теперь вы не просто смотрите на DAG — вы его строите.

🎥 Смотреть видео:
▶️ VK: https://vkvideo.ru/video-231048746_456239026
▶️ YouTube: https://youtu.be/sCd0s9ha_Vc

P.S. А вы заметили, что я сменил микрофон?
Теперь в записи нет звука моего дыхания — только чистый звук и жужжание DAG’ов.☺️

Приятного просмотра — а завтра попробуйте сломать этот DAG. Уверен, он выдержит!

#КакРаботаютДанные #Airflow

📚 Начал читать: «Думай медленно… Решай быстро»

Поэтому время от времени здесь будут появляться мои размышления по зацепившим меня фактам.

Это книга посвящена феномену, почему мы - люди, часто выбираем иррациональные решения — и делаем это с полной уверенностью, что поступаем правильно.

🧠 Вот один из примеров

Игорь очень застенчив и нелюдим, всегда готов помочь, но слабо интересуется окружающей действительностью. Он тихий и аккуратный, любит порядок и систематичность, очень внимателен к деталям».

Вопрос: Кем, скорее всего, работает Игорь?
🔹 Библиотекарем?
🔹 Или трактористом?

Подумайте одну секунду: где?

«Ну конечно, библиотекарем! Он же идеально подходит под этот образ!»
— это то самое быстрое, интуитивное мышление, которое мгновенно рисует ассоциации:

порядок → библиотека → библиотекарь

А образ тракториста, вообще, не вяжется с описанием.

Но вот в чём подвох.

Сколько вообще библиотекарей-мужчин?
А сколько — трактористов?

❗️Трактористов в разы больше. Это массовая профессия.

Даже если 90% библиотекарей выглядят как Игорь, а только 10% трактористов — абсолютное большинство людей, похожих на Тома, всё равно будут трактористами, просто потому что их намного больше в популяции.

👉 Статистически вероятнее, что Игорь — тракторист, даже если он выглядит как библиотекарь.

💡 Что это значит?

Мы склонны оценивать вероятность по схожести, а не по статистике и эта мысль ведёт нас в ловушку.
Мы игнорируем контекст, масштабы, частоту встречи явления в природе.

💬 А вот как это произошло со мной — но наоборот.

Пару лет назад я вёл дополнительные курсы в университете по вечерам.
И один раз на проходной меня не пускал охранник.

Я говорю:

«Я преподаватель, посмотрите в списке».

А он смотрит на меня и упрямо:

«Да ладно, ты студент. Что ты мне тут втираешь? Иди в общагу, бери пропуск».

Не помню, в итоге он глянул в списки или мне пришлось звонить в деканат😁

Почему он так думал?

Потому что я не выглядел как "стереотипный преподаватель":
🔸 Нет пиджака.
🔸 Нет уставшего вида после многих лет работы в системе.
🔸 И, главное — максимально осветлённые волосы, как у фронтмена инди-группы, а не преподавателя университета:D

👉 Для охранника я репрезентативен стереотипу студента, а не препода.

Он не проверял данные.
Он оценивал по внешности.
И подменил вопрос:
❓ «Есть ли он в списке?» → на ❓ «Похож ли он на препода?»

📌 Вывод дня: наш мозг легко подменяет вопрос «Насколько это вероятно?» вопросом «Насколько это похоже на мой стереотип?».

Эта книга — сплошное «кайф, так вот почему я делаю некорректные выводы!»

Время от времени, буду делиться интересными наблюдениями из этой книги☺️☺️.

#ОшибкиМышления #Книги

Всех с 1 сентября! 🎒📚

Сегодня — День знаний, тот самый день, когда айтишники вспоминают, что у них в детстве был расписанный дневник, а не таски в Jira.

В честь этого дня хочу рассказать о книге, которая сильно повлияла на моё развитие как IT-специалиста:
Стивен Скиена — «Алгоритмы: руководство по разработке».

Через мои руки и голову прошло немало книг по алгоритмам. Но именно эта одна из самых любимых. Почему?

Книга разделена на две большие части:

🔹 Часть 1: Практическая разработка алгоритмов
В первой части каждая глава начинается с краткого, но ёмкого введения в тему: структуры данных, сортировки, обход графов и т.д. Но самое крутое — дальше идёт реальная история из практики: как клиент пришёл к автору, как они обсуждали задачу, уточняли детали, выбирали подход и в итоге приходили к решению (или не приходили — есть и неудачные кейсы). В книге представлен живой процесс мышления программиста, это реально радует.

🔹 Часть 2: Каталог алгоритмических задач
Во второй части — каталог задач — автор учит задавать правильные вопросы:

● Понимаю ли я задачу?
● Что именно требуется на выходе?
● Каков типичный размер входных данных?
● Какие ограничения по времени и памяти?

Это часть в целом классная тренировка мышления. Есть разбор подходов, ссылки на готовые реализации, библиотеки, ресурсы, размышления какой подход когда выбрать. Очень полезно, когда нужно быстро найти рабочее решение или понять, куда копать.

Почему рекомендую?
Прочтение этой книги может научить размышлять и анализировать, а не только писать код. Вы сможете выйти за рамки «решить задачу» и научиться ставить правильные вопросы и находить решение — а это, пожалуй, самое важное в профессии.

💡 Must-have для любого программиста, который хочет развить умения размышления над задачей и поиска решения вместе с уточнением требований.

А какая книга повлияла на ваш путь в IT или считаете важной для прочтения?

Делитесь в комментариях — соберём крутую подборку вместе 🧵👇

#РазвитиеПрограммиста #Книги

🌞 Когда на улице солнечно — начинаю день с велотренировки.

Вместо пробежки — лёгкий выезд: тот же заряд бодрости, но без избыточной нагрузки. Особенно круто, когда солнце греет, а в наушниках разбирают, как работает RAG или как построить инфраструктуру, чтобы микросервисы падали реже.

Велосипед = мягкий старт, меньше стресса, больше энергии.
Попробуйте — даже 30 минут могут задать тон всему дню. 🚴‍♂️💡

Всем — лёгкого кода, стабильных деплоев и классного рабочего дня!
(И пусть PR проходит без многочисленных правок 😄)

AI-инфраструктура без иллюзий или почему генеративный ИИ — это новый радий в стакане воды

Сегодня — не про сложность, убивающую микросервисы, и не про схожесть отделов банка со средневековой Чехией, а про то, как ИИ приходит в бизнес. И почему почти все начинают с научной фантастики в реальной жизни, а заканчивают… инфраструктурой.

Видео: «AI-инфраструктура без иллюзий» — Игорь Зарубинский и Михаил Тутаев на True Tech Day 2025.

👉 В этом докладе — один из самых честных разговоров об ИИ, который я слышал за последнее время.
Без рекламного шоу. Без слайдов с «10x ростом эффективности». Только реальные вызовы, провалы и архитектура, которую приходится строить самим.

🔍 О чём говорят?

▪️Почему 50% ИИ-пилотов (а по их личному мнению и все 80%) не доходят до продакшна?
▪️Что такое Lake House — и почему это новая основа для данных в эпоху LLM?
▪️Как устроена цепочка данные → модели → API — и где чаще всего всё ломается?

💡 Что особенно цепляет:
🔹 Говорят не маркетологи, а практики, которые внедряют ИИ в реальные системы.
🔹 Есть реальные кейсы провалов — и, что важнее, выводы из них.

Например, Klarna неудачно заменила команду поддержки на ИИ — результат оказался хуже.
Но компания не отказалась от ИИ, а перешла к модели co-pilots: нейросеть теперь помогает человеку-оператору корректно ответить.

🔹 Обсуждают российскую инфраструктуру, GPU, MVS и будущее data-платформ.
🔹 Поднимают тему: когда ИИ — это решение, а когда — просто новый источник технического долга.
🔹 Понравилась мысль что генеративный ИИ — это новый рэп радий.

"Напомним: в начале XX века радий считался чудо-элементом.
Из него делали косметику, игрушки, лекарства, часы…
Люди не понимали рисков — и использовали везде.
В итоге — ушёл из быта, но остался в медицине, где его применение оказалось по-настоящему ценным. "

🔹 Сейчас с ИИ — похожая история.
Его используют везде, не понимая до конца, чем это может обернуться.
Но эксперименты, честность о неудачах и готовность учиться — вот как мы найдём настоящее, эффективное применение.

🧠 Главный вывод:

ИИ — это не волшебная таблетка. Это система.
Это не «подключил Llama — и заработало». Это:

● Сбор и очистка данных,
● Векторизация,
● Безопасность,
● Мониторинг,
● Готовность учиться на ошибках.

Тот, кто думает, что можно просто вставить ИИ и ждать шикарные результаты — получит убытки.

Тот, кто строит архитектуру — получит преимущество.

🔧 И вот как может выглядеть такая архитектура — по шагам:

✅ Сбор, хранение и управление данными
Без данных — нет модели. Lake House здесь не роскошь, а необходимость.
✅ Очистка и подготовка
Мусор на входе = мусор на выходе. 80% работы — до обучения.
✅ Обучение и fine-tune моделей
Off-the-shelf LLM (предобученная модель) — это база, но под задачу бизнеса модель нужно дообучить.
✅ Векторизация и RAG
Превращаем знания компании в векторы, чтобы ИИ отвечал по нашим данным.
✅ Инференс и масштабируемость
Как модель будет работать под нагрузкой? GPU, latency, cost — всё важно.
✅ MLOps и CI/CD
Обновления моделей без простоев, тестирование, rollback. Как у нормальных инженеров😁.
✅ Интеграция с API
Модель в изоляции — никому не нужна. Она должна жить в продукте.
✅ Безопасность и контроль
Данные, доступ, аудит, промпты. Особенно — если это B2B или госсектор.
✅ ИИ-агенты и автоматизация
От чат-бота к агенту, который сам принимает решения, планирует действия, взаимодействует с системами.

Это не путь из 9 шагов — это непрерывный цикл.
И пропуск любого этапа — прямая дорога к провалу пилота.

👉 https://vkvideo.ru/video-38818370_456239292

💬 А как вы относитесь к стремительному, почти реактивному росту LLM в нашей жизни?
Они уже пишут стихи и письма, генерируют код и песни, безупречно рисуют… Ожидали ли Вы что мы так быстро окажемся в раннем киберпанке?

Делитесь в комментариях — интересно собрать разные точки зрения.

🔔 Это выпуск #6 рубрики «IT & Инсайты» — разборы, которые помогают понимать современные технологии и как они создаются — глубже.

#ITИнсайты

Последние дни были тревожными.

Появилась задача — развернуть решение на дев-сервере. Планировал спокойно выкатить 8 сентября, в понедельник.

Один коллега вбросил мысль, что реализация должна сразу соответствовать куче избыточных требований. И в этот момент я включил режим «сгорания»: мысленно сижу за ноутом в выходные, пилю с Qwen, как с соавтором, и нервно проверяю работоспособность версии.

На созвоне с тимлидом:

«Выкатывай как есть, рабочее же решение. В процессе будем тестировать и допиливать»

И — бац — паника рассеялась.

Почему я иногда забываю, что другие люди тоже адекватны😁

Идеала не существует, а только монотонная и последовательная работа, как я писал во вчерашнем посте.

Благодарю мир за адекватность! Выходные будут кайфовыми🔥

#БудниПрограммиста