Марат и его записки программиста
287 subscribers
82 photos
1 video
63 links
Коротко о сложном: Инжиниринг данных, бэкенд, ИИ и личный опыт.
Автор: Марат, 15 лет в разработке
Vk: https://vkvideo.ru/@club231048746
GitHub: https://github.com/MaratNotes/marat_notes
Download Telegram
IT в ФинТехе. Как всё начиналось: боли, релизы и средневековая Чехия. Часть 1

Привет! 👋 Это новый выпуск из рубрики IT & Инсайты — здесь я делюсь разбором интересных и полезных материалов из мира технологий, управления и цифровой трансформации.

Сегодня — обзор свежего эпизода подкаста «Техно.Логично» с Алексеем Ульенковым, руководителем ИТ Розницы и МСБ, и Александром Черушниковым, ИТ-куратором платформ Розницы.

Речь — о непростом, но вдохновляющем пути ИТ-трансформации в Газпромбанке: как команда перешла от зависимости от вендоров и громоздких процессов к гибким продуктовым командам, частым релизам и инженерной культуре качества.

Что особено запомнилось:
1️⃣ Как менялись процессы в ИТ: от «чёрного ящика» к прозрачности

Один кейс из прошлого выглядел так:
👉 код отправляли внешнему вендору (например, Oracle),
👉 а «на местах» — собственные инженеры вручную разбирали, что изменилось,
👉 искали логику в кодовой базе,
👉 анализировали, какие параметры нужно подкрутить,
👉 и только потом формулировали, что именно надо исправить или донастроить.

💡 Представьте: вы не контролируете код, не видите, как он работает, и ждёте ответа от вендора — как от оракула (в прямом и переносном смысле 😉).
Процесс — медленный, хрупкий, с высоким риском ошибок и простоев.

2️⃣DevOps и эволюция процессов в финтехе:

Как менялась культура доставки изменений в продакшн:

🔹 Сначала — большие, но точечные релизы:
развивали 1–2 решения, тестировали, выпускали релизы раз в месяц.
→ Просто, но медленно и с задержками.

🔹 Потом — «большие релизы»:
один запуск на десятки систем, тестирование — неделями, стеки изменений — огромные.
→ Кажется, что «всё под контролем», но на деле — ложное чувство безопасности.
Один "крупный" баг = всё откатываем.

🔹 Сейчас — частые и маленькие релизы:
каждая команда выкатывает, когда продукт готов.
Автоматизация, мониторинг, обратная связь — в реальном времени.

🚨 Ключевой инсайт:
«Чем чаще мы ставим — тем реже падаем.»
(и когда падаем — быстро встаём)


💡 В начале было сопротивление: «Так не принято», «Слишком рискованно».
Но результат доказал эффективность: меньше стресса, выше стабильность, быстрее изменение уходит к клиенту.

Плюс — очень понятное и короткое объяснение, зачем нужны DORA-метрики и как они помогают оценить реальную эффективность команды.

📌 Всё это — не теория, а реальная жизнь.
Истории, которые узнают многие, кто работает в корпоративном ИТ.

💬 А у Вас в команде были похожие кейсы?
— Когда код был «чёрным ящиком»?
— Или когда «большой релиз» внезапно рушил всё?

Делитесь в комментариях — интересно сравнить контексты!

📌 И да — вы наверняка задаётесь вопросом:

«При чём тут, вообще, средневековая Чехия?»


🔎 Ответ — во второй части. 😉 Поведую о том, как участники подкаста изменили культуру в кампании, внедрили DevOps и перестроили подход к разработке.


🎧 Подкаст рекомендую послушать по ссылке:
👉 https://vkvideo.ru/video-145457488_456239856


#ITИнсайты
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍2
📩 P.S. к EVP: беговые приятности

На днях писал про EVP и как важно, чтобы сотрудники чувствовали связь с компанией.
И тут как по команде — ещё один живой пример.

🏃‍♂️ Всё лето у нас идёт Благотворительный забег.
Суть простая: бегаешь, загружаешь километры, а компания за каждый км кидает 50₽ в общую копилку.

В этом активности участвуют почти 200 сотрудников — и это здорово! Теперь я знаю, что несколько коллег из Уфы тоже регулярно загружает свои тренировки — будет о чём поговорить на местном корпоративе 😁


🌤 За лето мы вместе собрали более 400 000 рублей! Я считаю крутой результат!

🎁 И да, ещё важный момент — за участие каждую неделю разыгрывают мерч.

И на этой неделе повезло мне 🎉

Не знаю, насколько это EVP, но приятно точно☺️☺️

P.S. Кстати, в целом про обсуждение EVP внутри кампании, где я работаю, можно прочитать здесь

#ХоббиПрограммиста
👍1🔥1
IT в ФинТехе. Как всё начиналось: боли, релизы и средневековая Чехия. Часть 2 (если вы пропустили первую часть)

🎧 В этом выпуске — как команда изменила культуру, перестроила структуру и внедрила DevOps не ради моды, а ради результата.

3️⃣Будущее профессии: как нейросети меняют IT-культуру

Звучало провокационно, но логично:

Топовый разработчик с нейросетью в руках — почти в 100 раз эффективнее джуна.


💡 Не потому что он «умнее»:

🔹 он знает, как ставить задачи нейросети,
🔹 умеет проверять и дорабатывать результат,
🔹 понимает архитектуру, бизнес-контекст и последствия изменений,
🔹 и, главное — несёт ответственность за код.

Нейросети работают с кодом как с языком, генерируют модули, рефакторят, находят уязвимости.
Они не заменяют специалиста, а усиливают его.
А будущее — за теми, кто умеет работать в паре с ИИ, а не за теми, кто пишет больше строк.

4️⃣ Как развивалось IT в Газпромбанке: с чего начиналась трансформация

Одна из самых интересных частей — личная история одного из героев: как он, уже состоявшийся ИТ-специалист с внешним опытом, пришёл в Газпромбанк и начал менять культуру разработки изнутри.

🔹 Всё началось с аудита текущих процессов.
И что он увидел?

Разбалансированный ролевой состав:
— много архитекторов, тестировщиков, аналитиков и менеджеров,
— но катастрофически не хватало разработчиков — тех, кто пишет код и отвечает за его качество.

Культура «всё должно быть большим»:
— гигантские релизы,
— многонедельное тестирование,
— документы толщиной с книгу,
— и ощущение, что «если долго готовились — значит, всё будет хорошо».

Тестирование ради тестирования:
полигоны весом в десятки терабайт, сценарии, которые никто не понимал, и результаты, которые не ловили реальные баги.

💬 И тут прозвучало легендарное сравнение:

«Это как средневековая Чехия — куча мелких княжеств, каждое живёт по своим правилам, договорились — работает, не договорились — стоят процессы».


🔹 То есть:
— нет единой платформы,
— нет общих стандартов,
— нет культуры непрерывной доставки,
— но много договорённостей, ритуалов и иерархии.

📌 Именно с таких «неудобных правд» начинается настоящая трансформация — не с красивых презентаций, а с честного анализа.

А дальше — путь:

от вендорной зависимости → к внутренней разработке,
от гигантских релизов → к частым выкаткам,
от ручного управления → к автоматизации и DevOps.

💡 Главный урок:
Невозможно построить современное IT поверх устаревшей культуры.
Сначала — люди, структура, мышление. Потом — технологии.

Итог
Ценность этого подкаста для меня, что герои:
— поднимают вопрос о сопротивлении и с чем сталкивались при внедрении новых практик,
— не скрывают неудач,
— и показывают, как новая ИТ-культура строится по кирпичику.

🎧 Рекомендую к прослушиванию всем, кто в корпоративном IT, DevOps, управлении командами или цифровой трансформации.

👉 https://vkvideo.ru/video-145457488_456239856
💬 Делитесь впечатлениями — что запомнилось вам?

#ITИнсайты
Please open Telegram to view this post
VIEW IN TELEGRAM
5
🎂Это десятое видео из серии про Airflow — и оно особенное.

Мы подводим черту под циклом базовых знаний, и делаем то, ради чего всё затевалось:
ETL-пайплайн, где всё работает вместе.

В этом видео:

🔹 Генерируем данные о клиентах за последние 5 дней
🔹 Загружаем их в PostgreSQL — через DBeaver, как настоящие аналитики
🔹 Настраиваем DAG, который ежедневно выгружает данные за день
🔹 Сохраняем в CSV во временный файл
🔹 И, наконец, отправляем каждый файл в MinIO — наше локальное S3-хранилище

Это оркестрация:
PostgreSQL → Airflow → tempfile → MinIO → порядок в данных😇

Объединим знания:

● PostgresHook и S3Hook — для манипуляции с данными
● XCom — для передачи пути к файлу между задачами
● Динамические даты: {{ ds }}, catchup, start_date без хардкода
● И как всё это работает по расписанию и учитывается при запросах к базе

Это видео — финальная точка в основах Airflow.
Здесь мы соединили всё, что проходили:
подключения, операторы, XCom, DAG-зависимости, работу с БД и S3.

А впереди — новые горизонты:
Airflow + Kafka, отслеживание lineage, инкрементальные загрузки, CI/CD для DAG’ов и многое другое.

Спасибо, что были со мной в этом цикле.
Теперь вы не просто смотрите на DAG — вы его строите.

🎥 Смотреть видео:
▶️ VK: https://vkvideo.ru/video-231048746_456239026
▶️ YouTube: https://youtu.be/sCd0s9ha_Vc

P.S. А вы заметили, что я сменил микрофон?
Теперь в записи нет звука моего дыхания — только чистый звук и жужжание DAG’ов.☺️

Приятного просмотра — а завтра попробуйте сломать этот DAG. Уверен, он выдержит!

#КакРаботаютДанные #Airflow
🔥21
📚 Начал читать: «Думай медленно… Решай быстро»

Поэтому время от времени здесь будут появляться мои размышления по зацепившим меня фактам.

Это книга посвящена феномену, почему мы - люди, часто выбираем иррациональные решения — и делаем это с полной уверенностью, что поступаем правильно.

🧠 Вот один из примеров

Игорь очень застенчив и нелюдим, всегда готов помочь, но слабо интересуется окружающей действительностью. Он тихий и аккуратный, любит порядок и систематичность, очень внимателен к деталям».

Вопрос: Кем, скорее всего, работает Игорь?
🔹 Библиотекарем?
🔹 Или трактористом?


Подумайте одну секунду: где?

«Ну конечно, библиотекарем! Он же идеально подходит под этот образ!»
— это то самое быстрое, интуитивное мышление, которое мгновенно рисует ассоциации:

порядок → библиотека → библиотекарь

А образ тракториста, вообще, не вяжется с описанием.

Но вот в чём подвох.

Сколько вообще библиотекарей-мужчин?
А сколько — трактористов?

❗️Трактористов в разы больше. Это массовая профессия.

Даже если 90% библиотекарей выглядят как Игорь, а только 10% трактористов — абсолютное большинство людей, похожих на Тома, всё равно будут трактористами, просто потому что их намного больше в популяции.

👉 Статистически вероятнее, что Игорь — тракторист, даже если он выглядит как библиотекарь.

💡 Что это значит?

Мы склонны оценивать вероятность по схожести, а не по статистике и эта мысль ведёт нас в ловушку.
Мы игнорируем контекст, масштабы, частоту встречи явления в природе.

💬 А вот как это произошло со мной — но наоборот.

Пару лет назад я вёл дополнительные курсы в университете по вечерам.
И один раз на проходной меня не пускал охранник.

Я говорю:
«Я преподаватель, посмотрите в списке».


А он смотрит на меня и упрямо:
«Да ладно, ты студент. Что ты мне тут втираешь? Иди в общагу, бери пропуск».


Не помню, в итоге он глянул в списки или мне пришлось звонить в деканат😁

Почему он так думал?

Потому что я не выглядел как "стереотипный преподаватель":
🔸 Нет пиджака.
🔸 Нет уставшего вида после многих лет работы в системе.
🔸 И, главное — максимально осветлённые волосы, как у фронтмена инди-группы, а не преподавателя университета:D

👉 Для охранника я репрезентативен стереотипу студента, а не препода.

Он не проверял данные.
Он оценивал по внешности.
И подменил вопрос:
«Есть ли он в списке?» → на «Похож ли он на препода?»

📌 Вывод дня: наш мозг легко подменяет вопрос «Насколько это вероятно?» вопросом «Насколько это похоже на мой стереотип?».

Эта книга — сплошное «кайф, так вот почему я делаю некорректные выводы!»

Время от времени, буду делиться интересными наблюдениями из этой книги☺️☺️.

#ОшибкиМышления #Книги
2👍2
Всех с 1 сентября! 🎒📚

Сегодня — День знаний, тот самый день, когда айтишники вспоминают, что у них в детстве был расписанный дневник, а не таски в Jira.

В честь этого дня хочу рассказать о книге, которая сильно повлияла на моё развитие как IT-специалиста:
Стивен Скиена — «Алгоритмы: руководство по разработке».

Через мои руки и голову прошло немало книг по алгоритмам. Но именно эта одна из самых любимых. Почему?

Книга разделена на две большие части:

🔹 Часть 1: Практическая разработка алгоритмов
В первой части каждая глава начинается с краткого, но ёмкого введения в тему: структуры данных, сортировки, обход графов и т.д. Но самое крутое — дальше идёт реальная история из практики: как клиент пришёл к автору, как они обсуждали задачу, уточняли детали, выбирали подход и в итоге приходили к решению (или не приходили — есть и неудачные кейсы). В книге представлен живой процесс мышления программиста, это реально радует.

🔹 Часть 2: Каталог алгоритмических задач
Во второй части — каталог задач — автор учит задавать правильные вопросы:

● Понимаю ли я задачу?
Что именно требуется на выходе?
Каков типичный размер входных данных?
Какие ограничения по времени и памяти?


Это часть в целом классная тренировка мышления. Есть разбор подходов, ссылки на готовые реализации, библиотеки, ресурсы, размышления какой подход когда выбрать. Очень полезно, когда нужно быстро найти рабочее решение или понять, куда копать.

Почему рекомендую?
Прочтение этой книги может научить размышлять и анализировать, а не только писать код. Вы сможете выйти за рамки «решить задачу» и научиться ставить правильные вопросы и находить решение — а это, пожалуй, самое важное в профессии.

💡 Must-have для любого программиста, который хочет развить умения размышления над задачей и поиска решения вместе с уточнением требований.

А какая книга повлияла на ваш путь в IT или считаете важной для прочтения?

Делитесь в комментариях — соберём крутую подборку вместе 🧵👇

#РазвитиеПрограммиста #Книги
1👍1
🌞 Когда на улице солнечно — начинаю день с велотренировки.

Вместо пробежки — лёгкий выезд: тот же заряд бодрости, но без избыточной нагрузки. Особенно круто, когда солнце греет, а в наушниках разбирают, как работает RAG или как построить инфраструктуру, чтобы микросервисы падали реже.

Велосипед = мягкий старт, меньше стресса, больше энергии.
Попробуйте — даже 30 минут могут задать тон всему дню. 🚴‍♂️💡

Всем — лёгкого кода, стабильных деплоев и классного рабочего дня!
(И пусть PR проходит без многочисленных правок 😄)
👍8
AI-инфраструктура без иллюзий или почему генеративный ИИ — это новый радий в стакане воды

Сегодня — не про сложность, убивающую микросервисы, и не про схожесть отделов банка со средневековой Чехией, а про то, как ИИ приходит в бизнес. И почему почти все начинают с научной фантастики в реальной жизни, а заканчивают… инфраструктурой.

Видео: «AI-инфраструктура без иллюзий» — Игорь Зарубинский и Михаил Тутаев на True Tech Day 2025.

👉 В этом докладе — один из самых честных разговоров об ИИ, который я слышал за последнее время.
Без рекламного шоу. Без слайдов с «10x ростом эффективности». Только реальные вызовы, провалы и архитектура, которую приходится строить самим.

🔍 О чём говорят?

▪️Почему 50% ИИ-пилотов (а по их личному мнению и все 80%) не доходят до продакшна?
▪️Что такое Lake House — и почему это новая основа для данных в эпоху LLM?
▪️Как устроена цепочка данные → модели → API — и где чаще всего всё ломается?

💡 Что особенно цепляет:
🔹 Говорят не маркетологи, а практики, которые внедряют ИИ в реальные системы.
🔹 Есть реальные кейсы провалов — и, что важнее, выводы из них.
Например, Klarna неудачно заменила команду поддержки на ИИ — результат оказался хуже.
Но компания не отказалась от ИИ, а перешла к модели co-pilots: нейросеть теперь помогает человеку-оператору корректно ответить.

🔹 Обсуждают российскую инфраструктуру, GPU, MVS и будущее data-платформ.
🔹 Поднимают тему: когда ИИ — это решение, а когда — просто новый источник технического долга.
🔹 Понравилась мысль что генеративный ИИ — это новый рэп радий.
"Напомним: в начале XX века радий считался чудо-элементом.
Из него делали косметику, игрушки, лекарства, часы…
Люди не понимали рисков — и использовали везде.
В итоге — ушёл из быта, но остался в медицине, где его применение оказалось по-настоящему ценным. "

🔹 Сейчас с ИИ — похожая история.
Его используют везде, не понимая до конца, чем это может обернуться.
Но эксперименты, честность о неудачах и готовность учиться — вот как мы найдём настоящее, эффективное применение.

🧠 Главный вывод:

ИИ — это не волшебная таблетка. Это система.
Это не «подключил Llama — и заработало». Это:

● Сбор и очистка данных,
● Векторизация,
● Безопасность,
● Мониторинг,
● Готовность учиться на ошибках.

Тот, кто думает, что можно просто вставить ИИ и ждать шикарные результаты — получит убытки.

Тот, кто строит архитектуру — получит преимущество.

🔧 И вот как может выглядеть такая архитектура — по шагам:

Сбор, хранение и управление данными
Без данных — нет модели. Lake House здесь не роскошь, а необходимость.
Очистка и подготовка
Мусор на входе = мусор на выходе. 80% работы — до обучения.
Обучение и fine-tune моделей
Off-the-shelf LLM (предобученная модель) — это база, но под задачу бизнеса модель нужно дообучить.
Векторизация и RAG
Превращаем знания компании в векторы, чтобы ИИ отвечал по нашим данным.
Инференс и масштабируемость
Как модель будет работать под нагрузкой? GPU, latency, cost — всё важно.
MLOps и CI/CD
Обновления моделей без простоев, тестирование, rollback. Как у нормальных инженеров😁.
Интеграция с API
Модель в изоляции — никому не нужна. Она должна жить в продукте.
Безопасность и контроль
Данные, доступ, аудит, промпты. Особенно — если это B2B или госсектор.
ИИ-агенты и автоматизация
От чат-бота к агенту, который сам принимает решения, планирует действия, взаимодействует с системами.

Это не путь из 9 шагов — это непрерывный цикл.
И пропуск любого этапа — прямая дорога к провалу пилота.

👉 https://vkvideo.ru/video-38818370_456239292

💬 А как вы относитесь к стремительному, почти реактивному росту LLM в нашей жизни?
Они уже пишут стихи и письма, генерируют код и песни, безупречно рисуют… Ожидали ли Вы что мы так быстро окажемся в раннем киберпанке?

Делитесь в комментариях — интересно собрать разные точки зрения.

🔔 Это выпуск #6 рубрики «IT & Инсайты» — разборы, которые помогают понимать современные технологии и как они создаются — глубже.

#ITИнсайты
👍2
🧱 Я перестал ждать всплеска эмоций. Теперь я просто делаю

Раньше мне было сложно выполнять рутинную работу.
Казалось, что вот-вот нужно во что-то включиться — и всё изменится: продуктивность взлетит, идеи хлынут, всё пойдёт как по маслу.

Но ничего не менялось.
Только тревожное чувство: «Я должен делать больше».
И в то же время — усталость от действий, которые не приносят результата.
И ком, который рос: технический и моральный долг, вопросы к самому себе.

Со временем пришло понимание:
Рутинная работа — это не про вдохновение.
Она требует другого подхода.
Не всплеска энергии, а устойчивости.
Не гениального решения, а монотонного следующего шага.

Мне лично помогла техника Pomodoro:
25 минут — фокус на задаче, таймер включен.
И в эти 25 минут я не герой, не гений, я просто — работник.

Именно так я пишу код.
Именно так расписываю задачу по шагам, чтобы разобраться в незнакомой области.
Именно так научился не бояться скучных, но нужных дел.
Маленькие шаги превращаются в большой результат.

Например:

❇️Отключаешь уведомления → Больше фокуса. Меньше утечек энергии.
❇️Коммитишь и пушишь код каждый день → Через пару месяцев проект обретает осмысленность и видна чёткая история прогресса.
❇️Вводишь процесс мерджреквеста и ревью в команде → Через полгода — меньше хаоса, через год — рост продуктивности.
❇️Стабилизируешь сон, находишь баланс между тренировками и отдыхом, начинаешь считать и контролировать калории → Через 3–6 месяцев чувствуешь себя заряженным энергией.
❇️Учишь новое и постепенно применяешь → Навык закрепляется, а не исчезает в «я потом».

Да, это сложно — делать снова и снова,
когда уже не интересно,
когда хочется бросить,
когда «всё и так понятно».

Если сейчас тебе тяжело или скучно,
но ты знаешь, что это движет тебя вперёд —
продолжай.

Терпения.
И — вперёд!🏃‍♂️‍➡️➡️
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3👍1
Последние дни были тревожными.

Появилась задача — развернуть решение на дев-сервере. Планировал спокойно выкатить 8 сентября, в понедельник.

Один коллега вбросил мысль, что реализация должна сразу соответствовать куче избыточных требований. И в этот момент я включил режим «сгорания»: мысленно сижу за ноутом в выходные, пилю с Qwen, как с соавтором, и нервно проверяю работоспособность версии.

На созвоне с тимлидом:

«Выкатывай как есть, рабочее же решение. В процессе будем тестировать и допиливать»

И — бац — паника рассеялась.

Почему я иногда забываю, что другие люди тоже адекватны😁

Идеала не существует, а только монотонная и последовательная работа, как я писал во вчерашнем посте.

Благодарю мир за адекватность! Выходные будут кайфовыми🔥

#БудниПрограммиста
2👍2
Выкладываю это видео уже после 23:00, но в субботу — значит, в дедлайн уложился🔥

Это 11 видео — и в нём я покажу как полностью уйти от WSL и зависимостей.
Запустим вместе Airflow в Docker — один файл, одна команда, и Airflow, PostgreSQL, MinIO — всё в одном стеке.

Показываю:

❇️Как настроить WSL в Windows
❇️Как устроен docker-compose.yml построчно
❇️Как запустить Airflow в Docker
❇️Где и как задаются логин/пароль для Airflow
❇️Как добавить свой DAG и увидеть его в UI

Это идеальный способ быстро поднять окружение для обучения, тестов или CI.

Приятного просмотра — и пусть ваш docker-compose up будет зелёным в трее! 🐳

🎥 Смотреть видео:
▶️ VK: https://vkvideo.ru/video-231048746_456239028
▶️ Youtube: https://youtu.be/x1KlJJzHU-o?si=0NN-uWJUosu4MW2H

P.S. Как Вам новая обложка к видео?☺️

#КакРаботаютДанные #Airflow
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥1
Мониторинг ML-систем: как не проспать падение прода
Привет! 🚀
Сегодня в выпуске #ITИнсайты — еженедельная рубрика с разбором докладов, подкастов и практик из мира IT.

Сегодня разбираем доклад Владимира Кочеткова — «Мониторинг ML-систем в production». Неважно, запускаешь ты ML-модели или другой любой API — мониторинг критичен. Этот выпуск — про то, как ничего не пропустить.

О чём доклад?
Мониторинг ML-систем — не просто про метрики, а про то, как на самом деле следить за жизнью модели после запуска.

Почему это важно?
Рабочая система — это не разовый запуск и без мониторинга:

❗️не узнаешь, что сервис уже 3 часа "падает", а ты спишь.
❗️не заметишь дрейф данных,
❗️ пропустишь падение качества,


Жизненный цикл модели
Мониторинг — не опция, а обязательная часть цикла:

1️⃣Тестирование
2️⃣ Внедрение (MVP, альфа-тесты)
3️⃣Мониторинг в продакшне

Что мониторим?
Три кита:

Трафик — сколько запросов приходит?
Ошибки — по статус-кодам (500, 400 и т.д.), с мета-информацией.
Ресурсы — нагрузка на железо в пиковые моменты.

Главные угрозы в ML-системах

По качеству данных и модели:
🔹Аномалии данных: выбросы, битые форматы, пропуски — всё, что ломает предобработку.
🔹Дрейф данных (data drift): распределение входных признаков изменилось (например, пользователи стали младше).
🔹Дрейф концепции (concept drift): связь между признаками и целевой переменной сместилась ("старый" признак перестал быть значимым, например, рекомендация билетов в кино и театр в период пандемии).

👉Без эталонного датасета и анализа на свежих данных — вы слепы. Модель работает, но даёт мусор.

По инфраструктуре и сервису:
🔹Рост латентности: запросы начинают обрабатываться дольше.
🔹Ошибки 5xx/4xx: сбои на уровне API или бэкенда.
🔹Переполнение очередей: Kafka, RabbitMQ — задержки обработки.
🔹Недостаток ресурсов: не хватает CPU, памяти, GPU.
👉 Эти проблемы могут не затрагивать модель напрямую, но делают её бесполезной — сервис просто не отвечает.

Такой подход показывает, что мониторинг ML-систем — это не только про метрики модели, но и про здоровье всей цепочки: от данных до инфраструктуры.


📌 Ключевые выводы по докладу
Мониторинг — это про "когда и где", а не только "что".
Нужен единый интерфейс, а не Python-скрипты и логи в консоли.
Grafana — лучший выбор для внутренних систем.
WhyLabs — сильный в анализе моделей, но не для железа.

💡 Совет от меня☺️
Настройте шаблон логирования для всех систем. Пусть все метрики пишутся одинаково — так будет проще автоматизировать для построения графиков и метрик в Grafana.

🎧 Рекомендую к прослушиванию:
— ML-инженерам
— DevOps
— Тимлидам
— Тем, кто отвечает за стабильность сервисов

📺 Доклад: https://vkvideo.ru/video-164555658_456241612

💬 Делитесь в комментариях — какие инструменты используете вы для мониторинга?

#ITИнсайты
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Когда IT-шники поют Любэ и угадывают передачи Малышевой

Вчера посетил встречу с людьми, с которыми раньше практически не общался и почти не знал.
Мы из разных департаментов, работаем над разными продуктами — наши пути просто не пересекались.

Удалёнка такая штука: можно годами работать в одной компании и даже жить в одном городе — а о соседе по Уфе узнать только сейчас.

И вот он — сбор команды. Приглашение пришло в духе:

«Приходите, пообщаться и классно провести время. Будет кайф!»


Планировали 18 человек. Пришли 8. Реальность, как всегда, внесла коррективы:
«У кого-то совещание. Или выкладка на прод. Или осень настигла с ОРВИ.»

Нас было 8, но мы в тельняшках☺️

Собрались в классном лаунже — накрыли еду, настроение и квиз с элементами известных шоу 🎤💃

Пели и веселились.
Танцевали под ретро-биты (звучали Иванушки, Леприконсы, Любэ — честно, я не ожидал, что “А пара трупер” снова будет актуален в 2025).
Отгадывали картинки из фильмов… но с кошками. Это было смешно.

Через час разговаривали, как будто знакомы много лет.
Обсудили всё: от хобби до того, где в Уфе лучшее гусиное мясо и кто где видел молодёжные драки😁 (Споры ещё не закончены. Судьбу города пока не решили.)

Потом — вечерняя прогулка по Уфе.
Ночная тишина и прохлада, воздух, компания и ощущение: «О, мы реально существуем вне экранов!»

Завершили вечер в ресторане — заодно согрелись.
Только искренность, смех и пара историй, которые точно не попадут в корпоративный блог.

Удалёнка даёт свободу — можно работать хоть из бани (если там Wi-Fi).
Но такие встречи напоминают: за каждым ником в VkTeams — живой человек.
С чувством юмора, своими привычками и способностью петь, танцевать и радоваться жизни — даже если голос охрип.

P.S. Теперь знаю, что у нас в компании есть:
🔹Коллега, с которым мы провели детство в одном городе,
🔹Куратор, который может рассказать интересную историю про катание на горных лыжах,
🔹 HR, который узнаёт знакомые места из компьютерных игр.

Огромное спасибо команде HR, которая всё это организовала🔥🔥
Классно создали атмосферу, в которой легко раскрыться, посмеяться и почувствовать, что ты — часть чего-то большего.

Вопрос к подписчикам: Когда в последний раз вы видели своих коллег вживую? Делитесь историями совместных встреч и корпоративов — будем греться душевностью!

P.S. Следующий сбор хочу с караоке! Готовьтесь. Я тренирую Чайфов и Чиж'а!☺️
🔥31
Сегодня было почти видео про теоретический минимум по Kafka.
Но мой внутренний перфекционист внезапно проснулся…
и сказал:
— Подожди, а вот это слайд? Как будто непонятно устройство и логика работы.

И вот я, как настоящая жертва собственного "хочу хорошо", сижу и дополняю важные детали.
Презентация стала красивее, воды — меньше, конкретики — больше.
Суббота — намного короче.

Видео выйдет завтра.
Но зато я сам буду доволен им. А это уже класс.

Спасибо, что терпите мои творческие кризисы 💼
Вы лучшие☺️❤️!

А пока — быстро:
👉 Работали с брокерами сообщений?
🔥 — огонёк (Kafka, RabbitMQ или что-то другое)
👏 — если не пользовались

P.S. Если вы задерживаете дедлайны, потому что «ещё чуть-чуть допилю»… то знайте, я такой же))
🔥6👏2
Да, миссия выполнена!

В сегодняшнем видео разбираем Apache Kafka с нуля:

Что такое Producer и Consumer
Зачем нужен Topic и Partition
Как работает Offset
Почему Kafka — это не просто очередь, а журнал событий

А в следующем видео — как Airflow будет реагировать на события из Kafka. Не по таймеру, а по факту события.

Приятного просмотра — и пусть ваши consumer’ы читают с правильным offset’ом 🐳

🎥 Vk: https://vkvideo.ru/video-231048746_456239029
🎥 YouTube: https://youtu.be/YGXFYbT0H7E?si=hDYWLKdjm4-oWYCG

#КакРаботаютДанные #Kafka
🔥6
Снятся ли хакатоны электроовцам?🐑

В последние несколько недель принимал участие в разработке задания для хакатона по теме разработки в банкинге — типичный кейс: обработка операций, логирование, аналитика в реальном времени…

И ловлю себя на мысли:

Я автоматически увеличиваю объём задания, потому что при решении будет использоваться LLM.

На пару минут даже офигел.

🔹 Больше не требуется проектировать задачу для человека.
🔹 Теперь нужно ставить задачу для человека + ИИ.

LLM меняют не только процесс решения, меняется сама логика постановки задачи.

На секунду стало неприятно и внутренне неудобно:
— А что нас ждёт, если за последние лет 5-7 такой скачок?
— Когда мы перестанем понимать, что внутри кода?

Обдумав, вспомнил:

Технологии всегда пугали. Потому что они двигают нас вперёд.
Именно этот дискомфорт — признак того, что развитие продолжается.

Когда-то преследованию подвергались книгопечатание, потом радио, телевидение и интернет. А теперь это классика☺️

Сейчас очередь искусственного интеллекта.
Интересно жить в эпоху ожившего киберпанка.

Но даже в примере с хакатоном, киберпанк добавляет следующие вопросы:

🔸 Как проверить понимание, а не навык генерации?
🔸 Как пройти по грани обдумывания, а не копипаста?
🔸 Как создать задачу, где ИИ — помощник, а не замена?

Это одновременно напрягает и мотивирует. Мир развивается.
Скорость прогресса иногда пугает.
Но чаще — безумно интересно☺️.

📌 А вы в рабочих процессах используете ИИ?
— Если да — поделитесь, как.
— Если нет — поясните, почему.

Делитесь в комментариях 👇

#БудниПрограммиста
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
ИИ в команде: опыт внедрения

В прошлом посте я делился мыслями о том, как LLM меняют саму логику постановки задач — например, на хакатонах. Сегодня — продолжение этой темы, но уже из практики: что происходит, когда ИИ встраивается в повседневную разработку.

На этот раз — разбор доклада разработчика из K2 Cloud, где массово внедряют аналоги GitHub Copilot.
Выделил основные части и краткое МЕМО по ним.

Зачем нужен Copilot?
+25% к производительности за $10/мес с пользователя — мощный экономический аргумент. (это, конечно, по словам разработчиков Copilot b и их метрикам, и скорее всего можно смело делить на 2:D)
Менеджеры охотно поддерживают внедрение, тогда как разработчики сначала скептически относились к технологии. (я лично, всеми руками за!)

Проблемы безопасности
🔹Компания не может использовать SaaS-решения вроде GitHub Copilot из-за политик информационной безопасности. Поэтому фокус — на open-source аналогах, которые можно развернуть локально.

Среди open-source вариантов был выбран ContinueDev, так как имел большее количество скачиваний среди open-source конкурентов (2 млн против ~100 тыс. у других).

⚙️ Как это работает?
● Система собирает контекст: текущий файл, соседние, недавно открытые.
● Отправляет запрос модели (например, Llama или Villa).
● Получает подсказку по шаблону fill-in-the-middle.
● Выводится прямо в IDE.

ContinueDev добавляет ещё чат и "агентов", которые могут выполнять действия — но они пока слабо используются.

Что показала аналитика?
❇️За месяц — 185 тыс. запросов на автодополнение.
❇️Чатом почти не пользовались: контекст часто терялся, ответы были слишком общими.
❇️При задержке >10 сек — подсказки исчезали, что сильно раздражало.
❇️Оптимальная скорость для работы при автоподсказке — 2–3 секунды.

Выбор и обучение модели
● В момент сбора статистики использовали Qwen2.5 Code (в видео есть подробное обоснование).
● Полное дообучение требует 124 ГБ VRAM — дорого.
● Широкое распространение получили методы LoRA/QLoRa, которые обучают только небольшую часть весов, экономя ресурсы. (информативно было это послушать)

В итоге отказались от дообучения: ждут выхода Qwen3 Code, который должен быть ещё лучше (и пройспойлерю, так оно и оказалось😁)

Copilot vs Open Source

GitHub Copilot явно впереди: больше контекста, ранжирование подсказок, обучение на принятом коде.
Open-source решения пока уступают в удобстве, индексации кодовой базы и стабильности.

Также интересно было узнать, что качество работы зависит от IDE разработки, так как VsCode лучше оптимизирован для работы с ИИ-плагинами. Так как для локальной разработки я сам юзаю VsCode удивился, узнав, что на данный момент это лидер рынка в этом сегменте☺️👍

Выводы
Понравилось видео. Был удивлен что в целом есть противники внедрения, как по мне - это ускоряет разработку и даёт возможность глубже понять архитектуру. Так как в кампании, где я работаю, такого инструмента пока нет, смотрел с небольшой завистью😄

Удивило, что редко пользовались чатом, скорее всего из-за несовершенства модели 2.5 Coder, так как 3 версия эти задачи классно решает. Сам лично считаю чат классной возможностью расширить свои знания.

🔗Полное видео доклада: https://www.youtube.com/watch?v=3IjRw3f8RDo

💬 P.S.
Сам постоянно пользуюсь LLM в качестве быстрого погружения в тему, настройке различных инструментов (например, на днях быстро поправил настройки keycloak для конкретного клиента) и уточнения по логам ошибок.

Как вы используете ИИ в повседневной жизни и работе?
— Если да — чем и как?
— Если нет — что мешает?


#ITИнсайты
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥1
🚀 Новое видео: Airflow и Kafka — интеграция для надежной обработки данных!

Приветствую! Подготовил для вас практический гайд по интеграции двух мощных инструментов — Apache Airflow и Apache Kafka.

📌 Что вас ждет в этом видео:

● Настройка Kafka в Docker-окружении с правильной конфигурацией

● Создание Producer DAG для генерации и отправки событий в Kafka

● Consumer DAG для чтения и обработки сообщений с гарантированной доставкой

● Практическая демонстрация работы всей системы

🎥Ссылки на видео:
Vk: https://vkvideo.ru/video-231048746_456239030
Youtube: https://youtu.be/fAhoNLrSzGo?si=jLkbDa2Sz2DRSIFE

Все материалы и код уже ждут вас в репозитории. Не пропустите разбор важнейших аспектов работы с Kafka и Airflow!

Github: https://github.com/MaratNotes/marat_notes/tree/master/how_data_works-practice_cases/13_kafka_airflow


P.S. В комментариях жду ваши вопросы по теме! Какие аспекты работы с Kafka и Airflow вам бы хотелось разобрать подробнее?

#КакРаботаютДанные
👍6🔥1
Парадокс судей: как бутерброд решает судьбы людей
Всем салют! 👋 Сегодня хочу рассказать о когнитивном искажении из «Думай медленно, решай быстро», которое меня впечатлило и немного шокировало - Парадокс судей.

Суть парадокса
В книге упоминается исследование, где анализировались решения судей по ходатайствам об условно-досрочном освобождении (УДО):

🔹 Вероятность положительного решения (разрешить УДО) была высокой в начале рабочего дня — около 65%.
🔹 Затем она постепенно снижалась почти до 0% к обеду.
🔹 После перерыва на еду вероятность снова резко возрастала до исходного уровня.

То есть судьба человека зависела… от того, успел ли судья поесть и отдохнуть😳.

Почему это парадокс?
Как хочется в идеальном мир: судебные решения должны основываться на фактах, законах и обстоятельствах дела, а не на том, голоден ли судья или устал. Но на практике: эмоциональное и физическое состояние человека оказывает огромное влияние на его решения. В данном случае, усталые и голодные судьи склоняются к более легкому решению по умолчанию и отказывают в УДО.

Личный опыт
Читая про этот парадокс, вспомнил, как на заре карьеры работал в маленьком коллективе на 4-5 человек, и директор все самые важные переговоры с заказчиками назначал аккурат после их обеда😁. Теперь я понимаю, что он, сам того не зная, использовал знание о «парадоксе судьи». И, видимо, это работало, так как договоры заключались!

Lifehack. Как использовать это знание (без нарушения УК😉)

Важные решения, «архитектурные», моральные выборы — буду принимать утром или после полноценного отдыха. Реализовать важную часть логики в конце рабочего дня — плохая идея, шанс на баг вырастает.

Если мне нужно «продать» сложную идею начальнику или коллегам, буду стараться назначать встречу на время, когда они с большей вероятностью будут в ресурсе (не перед обедом и не в пятницу вечером). Это повышает шанс на положительное решение.

💭 Финал

Получается, справедливость — понятие не только юридическое, но и биохимическое. Осознание этого парадокса не делает мир несправедливее. Можно осознать дополнительный факт, который стоит учитывать👍.

📌 А Вы замечали, что Ваши решения зависят от времени суток, голода или усталости?

#ОшибкиМышления #Книги
3
Утренний апгрейд: с бега на велосипед

По утрам, до начала рабочего дня, я стараюсь проводить лёгкую тренировку (low pulse cardio) — чтобы привести мысли в порядок и разогнать активность перед погружением в код, DAG’и и обсуждения.

🔄 Смена стека
Раньше это был бег.
Но этот требует дополнительного времени: добраться до места тренировки (около 15 минут в одну сторону), размяться, пробежать, вернуться, принять душ…
В общем, долго по логистике.

Перешел на велосипед. Тот самый, что годами стоял на техобслуживании — задача по его ремонту висела в трекере с меткой low priority. Спас друг: сделал за меня часть ресерча и нашел в соседней деревне молодого парня (лет 16, красавчик, что ищет способы заработка и привнесения доли упорядоченности и счастья в мир👍), который за адекватные деньги провел полный апгрейд: заменил амортизаторы, настроил передачи, поставил новые ниппели…
Теперь велосипед работает как новый. Полностью доволен.

🚴Новый маршрут
Собственно, к истории. Обычно я езжу по трассе — привычный маршрут, предсказуемый, но скучноватый. И, честно, горок там слишком много — утомляют даже в лёгком темпе.

Вчера решил разнообразить — поехал к реке.
Маршрут проходит через маленькую деревню, где построены премиальные дома — так что добавляется лёгкий элемент экскурсии: “О, особняк в стиле готики… А тут цветник прям на дороге - красиво!"

И вот, на одной из улиц, посреди дороги лежали две собаки. Сначала подумал: “Что за мешок такой странной формы?” Потом понял — собаки. Одна — большая, черная, спокойная. Вторая — помельче, размером с кокер-спаниеля. Подумал: «Прикольно, лежат себе». Проезжаю мимо — большая даже ухом не повела, а вот маленькая... Видимо, испугалась и решила, что лучшая защита — это нападение. Сделала резкий выпад и цапнула за икру! 😅

Боль была символической. Я даже не остановился — подумал: “Ну, мелочь, ничего страшного”.

📈Итоги инциндента
Вообще назад планировал поехать поэтому же маршруту, но решил: "На фиг надо!". Cделал круг и вернулся по другой улице.
Далее зашел в магазин купить творог, колу и шоколадку (баланс белков и глюкозы!). И только там заметил, что штанина мокрая. Оказалось, даже самый «легкий укус» способен кровоточить. А к обеду на этом месте расцвел такой синяк, что можно было проводить презентацию на тему «Недооцененные риски периферийных маршрутов».

💡Мораль
Даже самый гладкий апгрейд и смена стека😁 (с бега на велосипед) не защитят от внезапных багов в продакшене в виде местной собаки для тестирования нагрузки. Хорошо, что зачастую можно найти запасной маршрут!

💬 А у вас были похожие неожиданные случаи во время тренировок или прогулок? Делитесь в комментах!

#ХоббиПрограммиста
🔥3