A Field Guide to Reliability Engineering at Zalando • Heinrich Hartmann • GOTO 2024 - Part II (Рубрика #Management)

Продолжая рассказ про выступление Heinrich Hartmann, Head of Reliability Engineering at Zalando SE, хотелось бы рассказать про остальные подходы и принципы, что практикуют ребята

9) Многие отчеты по инфре вшиты в платформу и командам не требуется их собирать руками. K8s, redis, jvm и другие дашборды существуют из коробки, также есть гайдлайны для создания хороших отчетов. Автор рассказывает про RED, 4 Golden Signals, которые они отслеживают
10) Дальше автор рассказыват про observability, которая позволяет отвечать на сложные вопросы относительно вашей системы. Ребята используют OpenTelemetry для стандартизации сигналов приложений, а также у них есть distributing tracing. Подробнее про observability рекомендую глянуть 2 выступления, про которые я раньше рассказывал:
- What Is This OpenTelemetry Thing? • Martin Thwaites • GOTO 2024
- Observability in an Asynchronous World • James Eastham • GOTO 2024
11) В Zalando ребята используют SLO (service level objectives) для работы с reliability и это позволяет
- Понять какую надежность получают пользователи
- Управлять инженерными инвестициями в надежность
- Оценивать влияяние инцидентов
- Тюнить правила алертинга в сторону повышения их качества
У ребят есть отчеты, которые ревьювяться менеджментом относительно соблюдения SLO разными бизнес-операциями.
В общем, это выливается в очередное правило: Rule of operations #4: SLIs quantify the reliabilty of a user experience
12) У ребят выстроен процесс работы с инцидентами и даже есть пятое правило: Rule of operations #5: Past failures lead the way towards future reliability. По-факту, ребята пишут и ревьювят постмортемы, докапываются до root causes, а также ставят и главное выполяют задаки для того, чтобы эти проблемы не повторялись.
13) Напоследок автор оставляет рассказ о том, а как выглядит управление всем этим хозяйством и фоормулирует правило Rule of operations #6: You get what you inspect. По-факту, он рассказывает про еженедельные встречи с директорами и ревью отчетов о надежности

Финализирует автор тем, что приводит все принципы в одном списке (под каждым пунктом которого я тоже готов подписаться)
1. Obsess about user experience
2. Engineering for reliability involves people as much as involves technology
3. Alert on user experience ("symptoms") not on server experience
4. SLIs quantify the reliabilty of a user experience
5. Past failures lead the way towards future reliability
6. Past failures lead the way towards future reliability

В общем, это очень хороший доклад про подход к надежности в технологической компании Zalando.

P.S.
У автора доклада есть отличный личный блог, где есть еще куча интересного материала.

#SRE #Architecture #DistributedSystems #Software #Observability

AI in software engineering at Google: Progress and the path ahead (Рубрика #AI)

Этим летом вышел отличный пост от ребят из Google про их подход к использованию AI в инжиниринге. Основные моменты этой статьи следующие
1) Автор статьи работает в команде, что отвечает за среды разработки ПО, в которых инженеры Google проводят большую часть своего времени, включая inner loop (IDE, code review , code search), а также поверхности outer loop (например, управление ошибками , планирование).
2) Ребята отмечают, что использование AI сейчас повсеместно и влияет на developer productivity и satisfaction, а также измеряется при помощи логов
3) У ребят есть три руководящих принципа, которые они используют при внедрении AI в инженерные продукты

- Prioritize by technical feasibility and impact: Work on ideas wherein both technical feasibility has already been established and high (measureable) impact on engineers’ workflows is expected.
- Learn quickly, to improve UX and model quality: Focus on iterating quickly and extracting lessons learned, while safeguarding developer productivity and happiness. User experience is just as important as model quality.
- Measure effectiveness: As our goal is to increase productivity and satisfaction metrics, we need to extensively monitor these metrics.

Производительность разработки была хорошо описана в статьях
- "Developer Productivity for Humans, Part 7: Software Quality" - я разбирал эту статью раньше
- "Measuring Developer Goals" - я разбирал эту статью раньше
4) Схема применения LLM к софту выглядит примерно так:
- Инженеры используют AI инструменты
- Дальше логи взаимодействия используются для тюнинга фичей под реальные потребности инженеров
- Исторические логи используются для тренировки AI моделей и дальше мы возвращаемся к началу
5) Интересно, что предложения AI ассистента для написания кода поднялись до 37%, а по количеству созданного кода к 50% (по количеству символов). Подробнее про то, для чего применяются LLM в инженерных активностях можно почитать предыдущий пост "Large sequence models for software development activities"

Продолжение обзора в следующем посте.

#Software #AI #ML #Engineering #Processes #DevEx

AI in software engineering at Google: Progress and the path ahead - Part II (Рубрика #AI)

Заканчивая рассказ про использование ИИ в разработке, хочется рассказать о том, чего они добились и какие следующие шаги они видят

6) В итоге, ребята в Google научились следующему
- Они достигли наибольшего эффекта с UX, который естественным образом вписывается в рабочие процессы пользователей . Во всех приведенных выше примерах пользователю предлагается предложение, которое переводит его на следующий шаг в рабочем процессе с помощью одной вкладки или щелчка. Эксперименты, требующие от пользователя помнить о необходимости активировать функцию, не масштабировались.
- Они наблюдают, что с предложениями на основе ИИ автор кода все больше становится рецензентом , и важно найти баланс между стоимостью ревью и добавленной ценностью этого предложения. Обычно это вопрос компромисса с помощью целевых acceptance rates.
- Быстрые итерации с онлайн a/b экспериментами являются ключевыми, поскольку офлайн-метрики часто являются лишь грубыми показателями ценности для пользователя. За счет вывода AI-инструментов во внутренний тулинг авторы получают огромную выгоду от возможности легко запускать и итерировать, измерять данные об использовании и напрямую спрашивать пользователей об их опыте с помощью UX-исследований.
- Полученные высококачественные данные имеют решающее значение для повышения качества моделей.
7) Воронка взаимодействия выглядит примерно так
- Event of SWE acting in tooling
- Trigger for ML prediction
- Confident ML Prediction
- Generated ML Prediction
- Discovery of ML Suggestion
- Applied (это целевой действие)
8 ) Авторы отмечают, что автодополнение кода на основе ML дало мощный буст в разработке софта. Конечно эти модели можно улучшать и дальше, но авторы видят перспективы в расширении помощи на тестирование, понимание и поддержку кода, а также они видят два тренда
- Взаимодействие человека и компьютера перешло на естественный язык как на общепринятую модальность, то есть происходит переход к использованию языка в качестве интерфейса для задач разработки программного обеспечения, а также шлюза для удовлетворения информационных потребностей разработчиков программного обеспечения, и все это интегрировано в IDE.
- Автоматизация более масштабных задач на основе ML (от диагностики проблемы до ее исправления) начала показывать первые признаки осуществимости. Эти возможности обусловлены инновациями в использовании агентов и инструментов , которые позволяют создавать системы, использующие один или несколько LLM в качестве компонента для выполнения более крупной задачи.
Авторы предлагают объединиться для создания бенчмарков для оценки этих возможностей следующего поколения. Они упоминают как примеры
- SWEBench - решение issues на Github
- Бенчи из Cognition AI - а Cognition AI запустили Devin (end-to-end software agent), который пытается решать e2e задачки

#Software #AI #ML #Engineering #Processes #DevEx

Woke, Inc. За фасадом корпоративной риторики о социальной справедливости (Woke, Inc.: Inside Corporate America's Social Justice Scam) (Рубрика #Mananagement)

Недавно я наткнулся на книги издательства Fortis Press, основанного в Ереване в 2023 году. Оно публикует переводы книг, посвящённых современным глобальным проблемам. Я купил несколько их книг и первой прочил интересную книгу Вивека Рамасвами, который был кандидатом в президенты США, а сейчас вместе с Илоном Маском, возглавляет новое Министерство эффективности правительства США (DOGE), созданное по инициативе Дональда Трампа. Основная цель этого ведомства — проведение масштабных реформ для сокращения бюрократии, оптимизации государственных расходов и реструктуризации федеральных агентств. Но за несколько лет до этого Вивек написал свою программную книгу с критикой современного подхода к капитализму, который он назвал stakeholder capitalism и противопоставил его shareholder capitalism, который был раньше. Суть в том, что сейчас капитализм пытается делать вид, что учитывает интересы всех стейкхолдеров, а на деле компании используют социальную справедливость и этические ценности для продвижения своих интересов, часто прикрывая этим сомнительные деловые практики.

Если говорить про книгу, то ее название отсылает к движению Woke — "проснувшийся", которое подразумевает нетерпимость к дискриминации и социальному неравенству. А если говорить про основные идеи книги, то они следующие
1) Критика woke-капитализма
Рамасвами утверждает, что корпорации используют «woke»-идеологию как инструмент маркетинга и защиты от критики. По его мнению, это позволяет им избегать ответственности за реальные проблемы, такие как эксплуатация труда или экологический ущерб. Например, он приводит случаи, когда компании вроде Unilever и Nike заявляют о своей социальной ответственности, но при этом игнорируют серьезные нарушения прав работников или продолжают эксплуатировать уязвимые группы населения.
2) Манипуляция потребителями
Рамасвами описывает феномен «woke-индустриального комплекса», где мораль смешивается с потреблением. Компании продают потребителям иллюзию участия в социальных изменениях через покупку их продуктов, что в итоге становится поверхностным решением глубоких проблем. Условно, купи наш гамбургер и он поможет в движении BLM или выпей наш лимонад и это поможет феминисткам
3) Критика ESG-повестки
Рамасвами ставит под сомнение эффективность ESG-инициатив, утверждая, что они часто являются формой «гринвошинга» (создания ложного впечатления экологической ответственности) и не решают фундаментальных проблем устойчивого развития.
4) Идеология woke как средство разделения общества
По мнению автора, woke-культура способствует поляризации общества, разделяя людей на демографические группы и усиливая чувство вины за привилегии у одних и обиды у других.
5) Отказ от смешивания бизнеса и политики
Рамасвами выступает за то, чтобы компании сосредоточились на своей основной задаче - максимизации прибыли - вместо того чтобы вовлекаться в политические и социальные вопросы. По-факту, он предлагает вернуться к старому доброму shareholder capitalism, где основная задача - это максимизация эффекта для акционеров, а учеты интереса стейкхолдеров оставить на правительство, НКО и так далее.

"Woke, Inc." — это не только критика современных корпоративных практик, но и призыв к переосмыслению роли бизнеса в обществе. Книга предлагает читателю скептический взгляд на популярные тренды и побуждает задуматься о том, как моральные ценности могут использоваться для прикрытия корыстных интересов.

#Management #Leadership #Thinking

Продолжение Woke, Inc. или подробнее про DOGE (Department of Government Efficiency) (Рубрика #Management)

В предыдущем посте я рассказывал про книгу Вивека Рамасвами "Woke, Inc.". А в этом посте хотел чуть подробнее поговорить про DOGE, консультативной комиссии, цель которой в сокращении бюрократии, снижении неэффективных расходов и упрощении работы федерального правительства. Руководить этой комиссией будут 2 человека
- Илон Маск - генеральный директор Tesla и SpaceX, известный своей поддержкой дерегуляции.
- Вивек Рамасвами - предприниматель и бывший кандидат в президенты, сторонник политики минимального вмешательства государства.

Основные цели комиссии следующие
- Сокращение федеральных расходов за счёт устранения дублирующих регуляций и агентств.
- Уменьшение численности федерального персонала, с предложением сократить его на 75%.
- Консолидацию федеральных агентств с более чем 400 до менее чем 100.
- Консультирование по вопросам дерегуляции для повышения эффективности и снижения затрат. Руководители комиссии говорят оценивают эффект в 2$ трлн долларов из федрезерва США.
- Реформа Diversity, Equity, and Inclusion (DEI): одной из ключевых целей является полное устранение расходов на инициативы в области разнообразия, равенства и инклюзии (DEI). Это включает ликвидацию соответствующих подразделений в таких ведомствах, как Министерство здравоохранения и Министерство обороны.
- Прозрачность работы DOGE: Все действия министерства будут освещаться онлайн для обеспечения максимальной прозрачности. Это позволит гражданам следить за ходом реформ в режиме реального времени.

DOGE будет работать до 4 июля 2026 года, что совпадает с 250-летием Соединённых Штатов. Трамп описал эту дату завершения как символическую для миссии быстрого достижения эффективности. Не так уж долго придется подождать, чтобы оценить насколько удастся задуманное этими джентельменами:)

Правда, есть ряд проблемок на пути к реализации задуманного
- DOGE не обладает прямыми регуляторными или исполнительными полномочиями, поэтому его роль ограничивается предоставлением рекомендаций.
- Предложения по сокращению программ социального обеспечения или дискреционных расходов могут столкнуться с серьёзным политическим сопротивлением.
- Юридические вызовы могут возникнуть при попытках обойти одобрение Конгресса для реализации некоторых мер дерегуляции.

Рамасвами сравнивает масштабность этих реформ с Манхэттенским проектом времен Второй мировой войны, подчеркивая их потенциальное влияние на всю страну. Он считает, что главной проблемой США является раздутая бюрократия, которая мешает эффективному управлению государством. Таким образом, DOGE под руководством Рамасвами и Маска нацелен на радикальное преобразование структуры управления США с упором на сокращение расходов, упрощение процессов и повышение прозрачности работы правительства.

#Management #Leadership #Thinking

От продуктов к JBTD или как поток изменений влияет на структуру компании (Рубрика #Management)

В прошлом году на YaTalks 2023 я уже рассказывал про то, как формировать структуру команд под запросы бизнеса. В конце этого лета я рассказывал о том, как выглядит схема управления Т-Банком сейчас. А в этой статье я хотел бы рассказать о том, а как она трансформировалась со временем и куда мы движемся сейчас. В своем описании я буду использовать концепцию матричного управления, но баланс матрицы будет постоянно меняться:)
В новой статье есть рассказ про три структуры
1) Функциональная организация - этот этап я назвал "горизонтальным"
2) Продуктовая организация - этот этап я назыал "вертикальным"
3) Организация, ориентированная на сценарии (JBTD) или сегменты - этот этап я назвал "диагональным"

#Management #Architecture #Software #Engineering

Research Insights Made Simple #7 - Interview with Pavel Lakosnikov about Architecture Governance (Рубрика #Architecture)

В этом выпуске подкаста про инсайты ко мне в гости пришел Павел Лакосников для того, чтобы поговорить про управление архитектурой в крупной компании:) Павел руководит юнитом architecture governance в Авито, распилил один монолит, а также любит метрики. Пришел в Авито 9 лет назад на позицию разработчика.

За время подкаста мы обсудили темы:
- Как Павел начал свою карьеру в IT
- Как дизайн игр связан с архитектурой
- Как от надежности приложений перейти к их архитектуре
- Как мерить надежность и архитектуру, какие метрики бывают
- Зачем нужны процессы и стандарты
- Как происходит эволюция процессов разработки
- В чем роль платформ при создании сложных систем
- Какие советы можно дать инженерам, что хотят прокачивать свои навыки

P.S.
Выпуск доступен в виде подкаста в podster.fm, а чуть позже будет и на Yandex Music.

#Architecture #Software #Evolution #Management #Governance #Management #Leadership

Database Internals Meetup #5: пять докладов на секции СУБД конференции ISPRAS Open (Рубрика #Architecture)

Две недели назад я был на конференции ИСП РАН, а точнее на митапе Database Internals #5, который проходил в рамках этой конференции. Мне очень понравились выступления и я рекомендую их посмотреть в записи, если уж есть такая возможность. А я расскажу про мысли Андрея Фомичева, которые он рассказывал по итогам разработки YDB на протяжении 10 лет и которые выглядели как keynote этого митапа.

1) Новая СУБД начинается с идеи
2) Необходимо срезать углы, чтобы проверить гипотезу и запуститься. Но по долгам придется платить
3) Иногда заложенная прочность и универсальность пригождаются
4) Новаторские идеи рано или поздно догоняют. И могут осложнить жизнь
5) Производительность - это всегда важно
6) Пользователи хотят all-in-one СУБД
7) СУБД - это не только технологии, но еще и команда, окружение и инвестиции
😍 Новая СУБД начинается с идеи, но идея должна быть амбициозной и на века

В процессе рассказа Андрей не только формулировал эти идеи из практики YDB, но и упоминал другие вещи, такие как статью "What Goes Around Comes Around... And Around... " от Michael Stonebraker и Andrew Pavlo про развитие баз данных за последние 20 лет. Я рассказывал про нее в трех частях: 1, 2 и 3. Также в докладе были мысли созвучные статье "Big Data is Dead", о котором я уже тоже рассказывал или рассказ про расширение стандартных баз данных на новые сценарии, такие как векторные данные - про этот сценарий и тип данных можно подробнее почитать в моем обзоре доклада "A Fun & Absurd Introduction to Vector Databases".

В общем, митап был крутой - тянул на уровень полноценной конфы ... а так он же и был частью конфы от ИСП РАН.

#Data #Architecture #Software #DistributedSystems #Database