Книжный куб
11.1K subscribers
2.66K photos
6 videos
3 files
1.96K links
Рекомендации интересных книг, статей и выступлений от Александра Поломодова (@apolomodov), технического директора и эксперта в архитектуре
Download Telegram
How high are OpenAI’s compute costs? Possibly a lot higher than we thought (Рубрика #AI)

Всегда интересно считать деньги в чужом кармане, но ещё интереснее, когда эти расчеты позволяют оценить сходимость текущей волны хайпа вокруг AI. Собственно, Financial Times так и сделало, написав статью по мотивам разбора Эда Зитрона, который собрал данные о счетах OpenAI в Azure. В статье FT авторы попытались оценить реальные расходы на inference и получить комментарии от обоих компаний: OpenAI и Microsoft.

Если описывать основные тезисы статьи, то
- Речь идет только про косты на inference, а стоимость тренировок LLM тут не учитывается. А значит это про операционные расходы на обработку запросов пользователей через UI и через API. А capex - это как раз про тренировки
- За 7 последних кварталов OpenAI мог потратить на inference в Azure более $12,4 млрд при оценке выручки около $6,8 млрд. Значит каждый заработанный доллар стоит примерно 2 доллара компании
- За первые 6 месяцев 2025 года inference якобы съел почти $5 млрд, при выручке порядка $4,3 млрд и ранее озвученном “общем” cash burn в $2,5 млрд за тот же период. Выходит, одна только работа моделей стоит дороже, чем официально признаётся весь кост.
- Сложность оценки обуславливается финансовыми взаимоотношения OpenAI с Microsoft, что напооминают рекурсию. OpenAI, по сообщениям, отдаёт до 20% выручки Microsoft, а Microsoft, в свою очередь, делится частью доходов Azure/Bing с OpenAI. Получается замкнутая схема, где деньги бегают по кругу, а стороннему наблюдателю остаётся только гадать, где там настоящая маржа.
- Microsoft и OpenAI числа жёстко не опровергают. FT показали им сглаженные оценки: ответ был в стиле “цифры не совсем точные”, но без альтернативных расчётов.
- Если просто экстраполировать тренд, то где-то к 2033 году суммарная выручка только начнёт покрывать одни inference‑расходы. А если учесть ещё и долю Microsoft - в каких‑то сценариях она их не покрывает вообще.

В итоге, в текущих условиях сходимость бизнес-модели под вопросом, а когда ситуация поменяется - пока не ясно.

#AI #Economics #Management #Future #ML
5🔥4👍1
9 лет в Т-Банке

Очередные 365 дней в компании прошли для меня увлекательно. Ровно год назад я рассказывал как все для меня начиналось в Т и что удалось сделать за 8 лет. Но планы из прошлого года реализовались не полностью - в этом году у нас происходили и происходят очередные трансформации, где с бизнес точки зрения мы перешли от отдельных продуктов к потребностям и сегментам, а технически мы идем в сторону деления на product и platform engineering (чем-то напоминает подход к инженерии в Uber). Эти интересные изменения должны помочь нашей компании взять новые вершины, ну а я попробую помочь всему этому в меру своего разумения.

#Management #SelfDevelopment #Engineering #Processes #Software
1👍24🔥118👏4
Netflix's Engineering Culture (Рубрика #Engineering)

Посмотрел подкаст про инженерную культуру Netflix, где Элизабет Стоун, технический директор компании, делилась своими мыслями (в Netflix 3.5к инженеров и это 25% сотрудников компании). Последние информацию про культуру Netflix я получал из интересной книги "No Rules Rules. Netflix and the Culture of Reinvention", но с тех пор утекло много времени и мне было интересно, а что изменилось с тех времен.

Главный принцип - свобода и ответственность остался все тем же: инженерам доверяют самостоятельное принятие решений без бюрократии, а взамен - полная ответственность за результат. Такая модель невозможна без сильной команды: Netflix стремится нанимать только лучших специалистов и ожидает выдающихся результатов от каждого. Благодаря этому решения принимаются на том уровне иерархии, где достаточно знаний и компетенций (уровне людей и их команд). Ошибки рассматриваются как возможность роста, а не причина для блейма. Проблемы обсуждаются открыто и это укрепляет систему и снижает риск повторения сбоев. В Netflix культивируется культура откровенности: ожидается прямота от каждого, а руководство демонстрирует максимальную прозрачность. Такая открытость формирует атмосферу доверия.

Если перечислять основные инженерные принципы, о которых упоминала Элизабет, то они такие
- Непрерывная обратная связь вместо performance review. Netflix отказался от ежегодных формальных оценок сотрудников. Вместо этого поощряется постоянный честный фидбэк и открытый диалог. Ежегодный опрос 360° служит лишь подстраховкой, выявляя проблемы, не всплывшие в ежедневном общении. Такой подход позволяет сразу корректировать курс, не дожидаясь формальных полугодовых аттестаций.
- Keeper Test. Руководители задают себе вопрос вида, "а стал бы я бороться, чтобы удержать этого сотрудника, если он решит уйти?". Если ответ "нет" - пора откровенно обсудить с подчиненным ситуацию. Это помогает держать высокую планку и вовремя расставаться с теми, кто не соответствует культуре.
- Автономия инженеров. Инженерам Netflix предоставлена широкая свобода действий: они самостоятельно принимают технические решения без многоуровневого согласования. Это ускоряет работу и повышает личную ответственность за результат. Даже в рискованных проектах (например, прямые эфиры) команды действуют автономно, полагаясь лишь на минимальные guardrails для снижения рисков.
- Обучение на ошибках. Каждая неудача - повод для анализа и улучшения. Ребята практикуют подход с blameless postmortems, плюс они были пионерами chaos engineering, создав инструмент Chaos Monkey
- Высокая планка найма. Netflix традиционно привлекает только опытных, сильных инженеров, предлагая им конкурентную оплату труда. От каждого нового сотрудника ждут, что он усилит команду и привнесет свежие идеи. Но Netflix отказалась от практики найма только senior и начала брать выпускников, что привело к появлению отдельных должностей для инженеров разного уровня (что сильно отличается от прошлого подхода компании). Но даже при таком найме они стараются практиковать практику, что каждый новичок должен поднимать планку, а не просто заполнять вакансию.

Если обобщать все выступлении, то в Netflix сильная инженерная культура, что строится на доверии, высоких стандартах и готовности учиться на ошибках. Не каждая команда может полностью отказаться от формальных процессов, но ключевые принципы - честный и быстрый фидбэк, автономия талантливых сотрудников, прозрачность лидеров и непримиримость к посредственности - универсальны.

#Culture #Management #Leadership #Processes #Engineering #Software
15🔥9👍8
State of Devops Russia 2025 (Рубрика #Devops)

Несколько дней назад были опубликованы результаты большого опроса про состояние DevOps в России. Наступили выходные, я его дочитал и решил написать тезисный разбор. Кстати, если этот разбор понравится, то можно его сравнить с глобальным DORA отчетом за 2025 год, о котром я уже писал. Но вернемся к этому опросу

- Производительность команд выросла: суммарная доля высокоэффективных команд (профили Elite и High) увеличилась на 6% по сравнению с прошлым годом, и ключевые показатели эффективности (частота релизов, скорость доставки, время восстановления, процент неудачных изменений) улучшились. Напомню, что в стандартном подходе все компании бьются на 4 кластера: low, medium, high, elite на основе 4 метрик DORA (deployment frequency, lead time for changes, change failure rate, mean time to restore).
- DevEx дает эффект: у высокоэффективных команд налажены быстрые и качественные циклы обратной связи, ниже когнитивная нагрузка и выше автономность инженеров (подробнее про модель DevEx я уже писал)
- Гибридная модель потребления: оркестраторы рабочих нагрузок не используют только ~15% опрошенных, остальные предпочитают c отрывом K8s (~51% разворачивают его on-prem, ~25% гибридно, еще 25% в облаке или нескольких). Данные треть хранит on-prem, треть гибридно, а треть в облаке.
- Повышение использования IDP: внутренние платформы разработки превращаются в обязательный атрибут крупных компаний с активной разработкой. Более 45% респондентов уже используют IDP для управления доступами и поиска необходимой информации. Главная цель развития внутренних платформ на 2025 год – максимальная автоматизация рутинных задач. Крупный бизнес рассматривает IDP как способ унификации процессов разработки и усиления контроля безопасности
- Информационная безопасность стала приоритетом: большинство команд теперь интегрируют её в процессы разработки (77% используют инструменты ИБ)
- Инструменты AI получили массовое распространение: ~71% опрошенных говорят, что применяют AI/ML в работе (чаще всего для генерации кода), при этом более половины уже отмечают рост продуктивности благодаря AI
- Продолжается импортозамещение: растёт использование российских OS и K8s-дистрибутивов вместо зарубежных аналогов
- Ситуация на рынке труда для devops инженеров изменилось: hh-индекс конкуренции (отношение резюме к вакансиям) вырос с 7,7 до 14,9 за год, то есть на одну позицию претендует больше инженеров

Исследование State of DevOps Russia 2025 проведено командой «Экспресс 42» (консалтинговое подразделение компании Flant) и стало пятым ежегодным отчётом о развитии DevOps в России. В опросе участвовало более 3300 специалистов из России и стран СНГ. Респонденты представляли широкий спектр отраслей и ролей в ИТ - среди них были как инженеры и DevOps-специалисты, так и руководители разных уровней из крупных, средних и небольших компаний. В общем, результаты можно с достаточной уверенностью считать репрезентативными для оценки текущего состояния DevOps практик.

#Processes #Management #Performance #Engineering #Software #SoftwareDevelopment
👍105🔥3
Postcriptum State of Devops Russia 2025 (Рубрика #Devops)

Отдельно поделюсь заключительной частью этого отчета, в которой приведена цитата Димы Гаевского, моего друга и коллеги, который у нас отвечает за развитие нашей внутренней платформы разработки.

Российский рынок ПО продолжает идти своим, местами парадоксальным путём: с одной стороны — жёсткое внешнее давление, с другой — необратимое взросление ИТ-ландшафта. В XL-сегменте тренд на интеграцию AI в производственные конвейеры только усилился. «Бигтехи» уже отстроили безопасные внутренние платформы, а теперь метят в AIOps и GenAI-копилотов, выжимая из DevOps максимум продуктивности. Но важно помнить, что даже крупнейшие игроки по-прежнему остаются «догоняющими» по
сравнению с США и Китаем — разрыв бюджетов и доступ к современным GPU остаются вопросом как минимум ближайших двух лет.

Средние и мелкие компании, пережившие кадровую турбулентность 2022 года, решали задачи автономно и почти поголовно выбрали проверенный OSS-стек — GitLab, Ansible, ELK, Kubernetes. Это был единственный рациональный путь на фоне дефицита зрелых российских предложений и высокой технологической неопределённости. Теперь же, когда регуляторика импортозамещения ужесточилась (реестр ПО, квоты в госзакупках, совместимость с «Альт»/Astra), к этому стеку постепенно добавляются отечественные надстройки — от SCA-плагинов с ГОСТ-крипто до репозиториев кода типа GitFlic.

Безопасность стала отдельным фронтом: массовый self-hosting GitLab без выстроенных процессов патч-менеджмента законсервировал множество уязвимостей. Компании начинают вкладываться в SBOM и DevSecOps, чтобы закрыть регуляторный и репутационный риск. Одновременно растёт популярность FinOps: стоимость GPU-кластеров растёт быстрее, чем ROI по экспериментальным AI-проектам, и советы директоров всё чаще спрашивают не «сколько мы натренируем моделей», а «сколько рублей мы сэкономим».

Аппаратные ограничения ощутимы: top-tier NVIDIA/AMD по-прежнему под экспортным контролем, китайские ASIC — решение рабочее, но ставит потолок производительности. Это подталкивает XL-компании к «федеративным» альянсам: банки и ритейл делятся дообученными LLM, промпредприятия — моделями предиктивного обслуживания; государство выступает ранним якорным заказчиком и субсидирует разработки, но объёмы субсидий пока несравнимы с глобальными CAPEX.

Прогноз на ближайшие годы — без паники, но и без иллюзий. Крупные продолжат апстримить AI-инновации и строить FinOps-офисы, страхуя TCO. SMB останутся на OSS-ядре, однако вынужденно потратятся на DevSecOps и аутсорс-SOC. Консолидация усилий пойдёт в двух плоскостях: горизонтальные коалиции гигантов для обмена моделями и вертикальная «надстройка» отечественных решений над универсальным OSS. В результате рынок получит не «западный стек против российского», а гибрид «OSS-база + локальные специализированные модули», что, пожалуй, и есть самый реалистичный сценарий 2025 – 2027 годов.


#Processes #Management #Performance #Engineering #Software #SoftwareDevelopment
👍106🔥4
[1/2] Китайская модель. Почему Китай отставал от Запада, а теперь его обгоняет (Рубрика #Economics)

С большим интересом прочитал книгу Владимира Попова, доктора экономических наук, профессора и специалиста по вопросам экономического развития и переходных экономик. Попов долгое время работал в ведущих научно-исследовательских центрах как в России, так и за рубежом. Он зарекомендовал себя как эксперт в области сравнительного экономического развития. Попов особенно прославился исследованиями причин успехов и неудач разных моделей развития - от «шоковой терапии» и постепенных реформ в постсоциалистических странах до феномена восточноазиатского экономического чуда. Его новая книга о «китайской модели» фактически стала итогом многолетнего изучения этой темы, опирающегося и на академические данные, и на личный опыт автора (Попов часто посещал Китай, свободно владеет несколькими языками, включая китайский).

Главная мысль книги - понять истоки и особенности феноменального рывка Китая и Восточной Азии в целом и оценить, насколько "китайская модель" развития конкурентоспособнее западной либеральной модели. Для этого Попов формулирует три ключевых вопроса, вокруг которых строится повествование
1️⃣ Почему Китай (и вслед за ним другие восточноазиатские страны, исторически опиравшиеся на китайскую цивилизационную модель) в XVIII–XIX веках существенно отстал в развитии - не только от стран Запада, но и от некоторых других развивающихся регионов? Что помешало Китаю в ту эпоху угнаться за Европой?
2️⃣ Как получилось, что с середины XX века именно Восточная Азия стала единственным крупным регионом, которому удалось стремительно сократить разрыв с Западом по уровню экономики? Иными словами, что особенного в политике и экономической стратегии Китая и его соседей (Япония, Корея, Тайвань и т.д.), раз они из аутсайдеров превратились в мировых лидеров?
3️⃣ Является ли нынешняя китайская социально-экономическая модель - основанная на приоритете общественных интересов над частными, на так называемых "азиатских ценностях" - более жизнеспособной и конкурентной, чем либеральная западная модель? И чем в перспективе завершится соперничество этих двух систем?

Ответы на эти вопросы автор дает в 6 частях, название которых позволяет оценить направление мысли автора

Часть I. «Почему Запад разбогател раньше Китая, и почему Китай теперь догоняет Запад?» - Историческая ретроспектива периода примерно с XVI по начало XX века, когда произошёл знаменитый "великое расхождение": Европа ушла вперёд, а Китай остался позади
Часть II. «Только социализм спасёт Китай? После революции 1949 года» – о периоде маоистского Китая. После основания КНР в 1949 году страна пошла по социалистическому пути. Здесь разбирается, каких успехов и ошибок достиг Китай во время правления Мао Цзэдуна
Часть III. «Только капитализм спасёт Китай? После 1979: почему Китай ускорился при переходе к рынку, а Россия замедлилась» - центральная часть книги, посвящённая реформам Дэн Сяопина и последующим десятилетиям быстрого роста. Здесь детально разбирается, как Китай внедрил элементы рынка в плановую экономику и добился скачка
Часть IV. «Только демократия спасёт Китай?» - отход Китая от экономики к политическим и институциональным аспектам (примерно современный период, рубеж XX–XXI вв.)
Часть V. «Только Китай спасёт капитализм? 20 лет вперед» - заключительный раздел, смотрящий в будущее. Здесь рассматривается глобальная перспектива: каким может стать мир в ближайшие десятилетия, если китайская модель продолжит набирать влияние.

В общем, книга получилась очень инетерсной и я читал ее в бумаге, чего и вам рекомендую.
А в следующем посте расскажу про шестиэтапную модель развития Китая по Попову и что можно из нее извлечь другим странам.

#Economics #Strategy #Processes #History #PopularScience
👍95🔥4👎1
[2/2] Китайская модель. Почему Китай отставал от Запада, а теперь его обгоняет (Рубрика #Economics)

Продолжая рассказ про китайскую модель развития, расскажу про шестиэтапную модель развития Китая по Попову

1️⃣ Политическая и социальная стабильность
Создание сильной центральной власти, единства страны и базового равенства (недопущение крайних форм неравенства) - то, что Китай реализовал после потрясений первой половины XX века, установив жесткую государственную систему и порядок

2️⃣ Мобилизация инвестиций
Обеспечение чрезвычайно высокой нормы накопления - государство изымает и концентрирует значительную часть прибылей в бюджете и направляет их на централизованные инвестиции в развитие. Исторически это происходило, например, через коллективизацию и госрегулирование при Мао, позволившие направить ресурсы на индустриализацию

3️⃣ Повышение эффективности экономики
Внедрение рыночных механизмов и стимулов технического прогресса, чтобы вложения начали давать отдачу. Этот этап - реформы Дэн Сяопина с конца 1970-х, когда сохраняется сильное государство, но допускается конкуренция, частное предпринимательство, иностранные инвестиции и т.д., что резко повысило продуктивность.

4️⃣ Экономический суверенитет
Защита внутреннего рынка и развитие собственных производств посредством импортозамещения и разумного протекционизма. Китай последовательно выращивал национальную промышленность - от стали и автомобилей до высоких технологий - ограждая её на ранних стадиях от уничтожающей конкуренции извне.

5️⃣ Выход на внешние рынки
Ориентация на экспорт и глобальную конкурентоспособность. Достигнув достаточного промышленного потенциала, Китай сделал ставку на захват внешних рынков - благодаря дешёвой рабочей силе и искусственно заниженному курсу юаня его товары стали сверхконкурентоспособны на мировом рынке, что привело к многолетнему экспорту-буму. Кстати, про это можно почитать историю компании Haier, которую упоминает Попов и книгу о которой я уже разбирал

6️⃣ Адаптивность политики и институтов
Постоянное приспособление системы под меняющиеся условия. Китайские власти гибко реагируют на новые вызовы - будь то мировые кризисы, торговые войны или внутренние социальные проблемы. Меняются приоритеты (например, сейчас больший упор на внутреннее потребление и инновации), усиливается или ослабляется госрегулирование в разных сферах по мере необходимости. Эта адаптивность позволяет модели не застаиваться.

Странам, что хотят повторить китайскую модель развития, нужно искать свой баланс между государственным управлением и рыночными механизмами, опираясь на сильные институты, инвестируя в развитие и действуя стратегически. Именно такой комплексный, этапный подход к развитию, по мнению Попова, может стать рецептом успеха и для других стран.

#Economics #Strategy #Processes #History #PopularScience
8🔥5👍4
[1/2] Про Netflix - Бизнес-планы и оргструктура (Рубрика #Business)

После просмотра подкаста с Элизабет Стоун, техническим директором Netflix, мне стало интересно, а как они в общем поживают, куда смотрит бизнес, как выглядит оргструктура и как выглядит инженерная культура и как дела с архитектурой. В первом посте мы обсудим все кроме архитектуры.

Netflix делает ставку на следующие направления

1️⃣ Основной бизнес стриминга
- Здесь увеличиваются инвестиции в оригинальный контент, развиваются инструменты для кинопроизводства
- Совершенствуется персонализация сервиса и монетизируется совмстное использование (платный шеринг)
- Успешно движется пилотирование прямых трансляций
- Идут работы по приросту подписчиков, например, за счет тарифных планов с рекламой

2️⃣ Рекламный бизнес
- Изначально компания быстро вышла на рынок рекламы вместе с Microsoft
- Спустя полтора года после запуска тарифов с рекламой Netflix объявил о создании собственной ad-tech платформы
- Цель - самостоятельно контролировать рекламные технологии, чтобы предлагать брендам более таргетированные и персонализированные объявления для ~270 млн пользователей.

3️⃣ Рынок видеоигр и облачного гейминга

- Начиная с 2021 года Netflix включил мобильные игры в подписку
- В 2024 году Netflix назначил президента по играм Алена Таскана, экс-руководителя студии Epic Games, чьей целью было сделать так, чтобы "играть на Netflix было так же легко, как стримить кино в пятницу вечером"
- В 2025 году Netflix зашла на рынок облачного гейминга и стартовала интеграции игр непосредственно в приложение Netflix на ТВ: пользователь выбирает игру на экране телевизора, а смартфон используется в роли контроллера. Таким образом, Netflix устранняет лишние препятствия для казуальных игроков
- За первые 10 месяцев 2025 года уже есть результаты - количество загрузок игр выросло на 17% (до ~74,8 млн) по сравнению с аналогичным периодом 2024 года.

Если говорить про оргструктуру, то технологическое подразделение играет стратегическую роль. В январе 2023 года сооснователь Рид Хастингс отошёл от оперативного управления, и руководство перешло к двум со-CEO: Тед Сарандос отвечает за контентное направление, а Грег Питерс - за продуктово-техническое. Грег Питерс ранее многие годы возглавлял development и продуктовую организацию Netflix, и с его повышением до co-CEO технологическая повестка получила ещё более высокий приоритет на уровне высшего менеджмента. В конце 2023 года Netflix обновил высший технический состав
- Появилась позиция CTO и на пост главного технического директора назначили Элизабет Стоун (про подкаст с которой я рассказывал раньше). Стоун пришла в Netflix в 2020 году и руководила командой Data & Insights (департамент продуктовой аналитики и науки о данных). Наверное, это назначение подчёркивает, что компания видит свое будущее в тесном симбиозе технологий и анализа данных
- Параллельно должность Chief Product Officer (CPO) заняла Юнис Ким, отвечающая за пользовательский продукт (интерфейсы, рекомендации, игровой UX и т.д.)

По словам Грега Питерса, эти два лидера “будут возглавлять чрезвычайно важную часть нашего сервиса” - то есть всю техническую платформу и пользовательский опыт, улучшая возможности поиска и открытия контента (фильмов, сериалов и игр) для аудитории. Таким образом, на уровне топ-менеджмента создан тандем, в котором технологии и продукт находятся в фокусе развития Netflix.

Если же говорить про инженерную культуру, то ее отлично описала Элизабет в уже упоминавшемся подкасте. А в следующем посте я расскажу про инфраструктуру и архитектуру Netflix (по-крайней мере про то, о чем они рассказывали публично за последние 10-15 лет).

#Culture #Management #Leadership #Processes #Engineering #Software
👍87🔥5
[2/2] Про Netflix - Инфраструктура, архитектура и AI (Рубрика #Engineering)

Продолжая рассказ про Netflix, надо рассказать про технические основы компании.

Netflix целиком работает в облаке и использует передовую распределённую архитектуру. Все серверные системы Netflix развернуты на AWS - компания завершила полный переход в облако Amazon в 2016 году и с тех пор не владеет собственными дата-центрами. Сегодня инфраструктура Netflix насчитывает сотни и тысячи микросервисов, работающих в нескольких регионах AWS и обслуживающих более 230+ млн аккаунтов по всему миру. Приложения разделены по функциональным сервисам (от профиля пользователя и системы рекомендаций до системы платежей или каталога видео), которые общаются друг с другом через API. Такой переход на микросервисную архитектуру был начат ещё в 2009–2012 годах, когда Netflix разрезал свою монолитную систему на отдельные сервисы для повышения масштабируемости

Netflix построил целый набор внутренних платформенных решений поверх AWS, чтобы упростить жизнь своим разработчикам. Среди них
- Собственная система оркестрации Titus (внутренний проект, потом open source). Titus интегрирован с AWS (управляет EC2-инстансами), позволяя инженерам деплоить свои сервисы в контейнерах без необходимости вручную оперировать виртуальными машинами.
- Собственная система CD Spinnaker (внутренний проект, потом open source). Она работает поверх Titus и автоматизирует развёртывание микросервисов сразу по всем регионам (мульти-регионные деплойменты)
- Собственный API Gateway Zuul (внутренний проект, потом open source). В обновлённой версии Zuul 2 он построен на неблокирующей Netty и выдерживает огромные объемы соединений, выступая первым рубежом масштабирования
- Собственный circuit breaker Hystrix (внутренний проект, потом open source). Интересно, что внутри Netflix от него потом отказались
- Практика chaous engineering и инструменты Chaos Monkey, Simian Army: Latency Monkey, Chaos Kong и др.

Архитектура данных Netflix распределена и масштабируема
- Apache Cassandra используется для высоконагруженных онлайн-хранилищ, где огромные объемы и требуется горизонтальное масштабирование
- Поверх различных хранилищ Netflix реализовал абстрактный слой KV Storage, унифицирующий доступ для разработчиков и инкапсулирующий детали репликации данных
- Для кеширования часто запрашиваемых данных (профили, списки рекомендаций и пр.) в нескольких датацентрах применяется собственный сервис EVCache (поверх memcached)
- Потоковые данные обрабатываются через стриминговую платформу Mantis (внутренний проект, потом open source). Платформа способна в реальном времени фильтровать и агрегировать миллионы событий
- Для пакетных задач big data используется комбинация решений: Keystone - стриминг поверх Kafka, и Genie - оркестратор задач в Hadoop/Spark кластерах (последний релиз в open source был 3 года назад)
- В 2020-х Netflix открыла исходники Conductor - своего оркестратора бизнес-воркфлоу для микросервисов
- В 2024 году выложила в open-source и новую версию оркестратора data/ML-пайплайнов Maestro.

Хотя вычислительные сервисы Netflix работают в AWS, для доставки видео-трафика компания построила собственную CDN-сеть Netflix Open Connect. Эта инфраструктура решает задачу стриминга гигантских объёмов данных (сотни Tbps) с оптимальным качеством. Open Connect представляет собой флот физических caching-апплиансев, которые Netflix устанавливает в узлах интернет-провайдеров по всему миру

Если говорить про AI/ML, то
- Опыт пользователя персонализирован, рекомендации, обложки фильмов
- При помощи AI/ML оптимизируется инфраструктура сервисов, чтобы снизить косты
- AI используется для производства контента, а также, например, для создания трейлеров

В итоге, видно почему Netflix считается технологической компанией.

#Culture #Management #Leadership #Processes #Engineering #Software
👍105🔥5
Стратсессия в Ереване (Рубрика #Strategy)

Улетел на 3 дня в Ереван, чтобы с коллегами поговорить про результаты и стратегию отдела, что занимается на всю компанию продуктовой аналитикой, a/b экспериментами, расчетом метрик и т.д. Это очень важные темы, которые позволяют крупной комапнии оптимизировать свои продукты и процессы опираясь на данные, а не на мнения самых высокооплачиваемых людей (HiPPO, Highest Paid Person's Opinion). Именно поэтому нашу систему для экспериментов мы назвали HiPPO:) Кстати, с Андреем Цыбиным, руководителем отдела мы уже записывали серию подкаста "Code of Leadership", где мы обсуждали часть про продуктовую аналитику (систему Statist), а вскоре запишем новую серию про a/b платформу. Но вообще, наша a/b платформа основывается методологически на книге Доверительное a/b тестирование (Trustworthy Online Controlled Experiments), что написали - Ron Kohavi (Fellow & VP @ Microsoft), Diane Tang (Fellow @ Google), Ya Xu (head of DS @ LinkedIn).

В начале стратсессии я рассказал про важность работы с данными и получения инсайтов на примере Netflix - они в 2023 году на появившуюся позицию CTO назначил руководителя блока Data & Insight. Этим руководителем была Элизабет Стоун (про подкаст с которой я рассказывал раньше). Собственно, для нашей компании с большим количеством зрелых продуктов, экосистемных эффектов, разным подходам при работе с сегментами, эти подходы важны не меньше, чем тому же Netflix. Ну и во время стратсессии мы планируем провести сессию event storming, которая позволяет пошарить понимание процессов работы над экспериментами, статистикой и так далее. Это позволит нам понять как дальше улучшать user experience наших коллег при работе в этом домене.

P.S.
Последний раз в Ереване я был 2 года назад, когда на открытии нашего офиса рассказывал про RnD в крупных компаниях. С тех пор я заметил, что парк машин обновился и в такси приезжают новенькие BYD:)

#Culture #Management #Leadership #Processes #Engineering #Software #Metrics #Strategy
15🔥7👍3
10x engineer - Midlife crisis (Рубрика #Humor)

Вышел свежий скетч про кризис среднего возраста легендарного 10x инженера, где юмор построен на иронии и сарказме в отношении стереотипов и типичных ситуаций из жизни разработчика, который считается гиперпродуктивным, но при этом ведет себя эксцентрично. Мы видим примеры абсурдности технологического мира, гиперболизации умственных способностей, чрезмерного цинизма и отчуждение героя от обычных людей (он зовет их NPC - неигровыми персонажами). Вот несколько примеров шуток

- Look at all these NPCs sinking their souls into whatever cloud has the brightest gradient. They don't even know. I'm really big intelligent. I see what's going on.
- NPCs using free products, thinking it's freedom, giving up their brain, their liberty, seeking connection. They don’t even know there’s a zero day in their connection.
- Everyone's just mind control, you know, AI is coming. They don't even know.
- Look at all these NPCs sitting there walking, getting controlled. We're not NPC. I'm not NPC. You and me, brother.
- Sometimes they realize the force behind everything is nothing but people. Simple people. A human conversation can give you hope.


Один из популярных комментариев под видео звучит так "The new season of Mr. Robot looks different, but I'll take it" и действительно послевкусие от видео похоже на сериал Mr. Robot, чей первый сезон вышел 10 лет назад.

#Software #Engineering #Humor #Productivity
1😁6👍3🔥2
EventStorming (Рубрика #Architecture)

Сегодня провел день в роли фасиллитатора сессии event storming, которая была посвящена домену a/b экспериментов. Это было занимательно и утомительно:) Этот подход придумал Alberto Brandolini для того, чтобы пошарить знания между экспертами доменной области и разработчиками максимально эффективно.

Сама техника представляет из себя воркшоп из следущего набора шагов (часто глубина проработки может быть не такой детальной)
- Unstructured exploration — на этом шаге в режиме брейншторма все участники группы самостоятельно накидывают на доску domain events
- Timelines — сгенерированные на предыдущем шаге domain events выстраиваются в хронологическом порядке, начиная с happy path
- Commands — на этом шаге добавляются commands, которые описывают что именно триггерит событие или поток событий. У части команд есть actor, который и запускает выполнение команды
- Policies — на этом шаге идет разбор команд, которые не имеют actor. У таких команд есть policy, когда запускается такая команда, обычно она завязана на наступление какого-то другого domain event
- External systems — на этом шаге модель расширяется внешними системами, которые не являются частью домена, что разбирается, но которые участвуют в процессе, например, исполняют command или получают нотификации о domain events
- Aggregates — когда все команды и события на месте, участники могут начать задумываться об оптимизации и выделении aggregates, которые получают команды и генерируют события
- Bounded contexts — на последнем шаге время посмотреть на всю картину. Группы тесно связанных aggregates являются естественными кандидатами на определение границ для bounded contexts

На приложенных фотографиях
1. Кусочек получившейся сегодня схемы - ребята отлично поработали, собрали timeline сложного процесса, выделили actors и проработали разделение на bounded contexts
2. Примерная поэтапная схема проведения воркшопа

P.S.
У автора подхода есть книга, которая уже много лет написана на 70%. Я ее даже как-то читал:)
Есть куча выступлений с описанием подхода:
- с конференции GOTO в 2018
- с конференции DDD Europe в 2019
- с конференции USI Events в 2021

#DDD #Architecture #Processes #EventStorming
1👍168🔥6
«Экономика не выживет»? Тревожный звонок для России / Олег Вьюгин о налогах, рубле и ипотеке (Рубрика #Economics)

Иногда я смотрю нашу передачу "Деньги не спят", в которой ведущие с гостями обсуждают экономические темы очень динамично и наглядно. А конкретно этот выпуск был интересен тем, что в нем обсуждались текущее состояние и перспективы российской экономики на 2025-2026 годы. Для разбора этой темы в гости к Рине Ахмадулиной пришел Олег Вьюгин - заслуженный экономист, профессор ВШЭ, бывший первый замглавы Минфина и ЦБ РФ, экс-председатель наблюдательного совета Мосбиржи. Они говорили больше часа и успели обсудить множество тем, среди которых основными были следующие

📉🧾 Налоговое давление и стагнация
В экономике сохраняется высокая налоговая нагрузка, признаки стагнации и риска недобора налогов, несмотря на их повышение, бюджет "затянут"​

📈🏭 Высокая ставка и проблемы бизнеса
Ключевая ставка остаётся высокой, её снижение в ближайшие месяцы маловероятно, что увеличивает проблемы предприятий, провоцируя рост проблемных кредитов.​

🏦💰 ФНБ и бюджет
Средства ФНБ не планируют тратить для покрытия дефицита бюджета - рассчитывают на альтернативные источники дохода, но в случае серьёзного недобора возможен пересмотр.​

💹🇷🇺 Состояние рубля
Крепкий рубль - результат снижения импорта и устойчивого экспорта; курс стабилен и его искусственное ослабление не планируется.​

🤑🏦 Банковский сектор
Банки - главные бенефициары инфляции и высокой ставки, однако их доходы сократятся при замедлении инфляции. Дополнительные налоги на банки не рассматриваются, чтобы не создавать дополнительных рисков для системы.​

🏭⚠️ Отрасли под риском
Под ударом - угольная промышленность, металлургия, автопром. Устойчивы - премиум-недвижимость, ритейл. IT и медицина также теряют льготы, развитие затруднено.​

💵📊 Долговой рынок и инвестиции
Банки переводят заёмщиков на облигационный рынок, инвесторам стоит быть осторожнее, особенно в уязвимых отраслях. Большие портфели - в недвижимости, облигациях, немножко - в акциях, золоте.

🏡🔑 Перспективы ипотеки и недвижимости
Рынок недвижимости устойчив, цены в Москве растут за счёт сокращения объёмов новостроек и управления ценами.​

#Economics #Management
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍6👎6🔥42👀2
Отличный рассказ про опыт Т-Банка о внедрении AI в процессы разработки. Для любителей можно почитать карточки, а подробности есть в статье Коли Бушкова
👍3
Forwarded from Код Желтый
⚡️ Как мы внедряем ИИ в SDLC и зачем это нужно

За последний год мы систематически внедрили ИИ-инструменты во все этапы жизненного цикла разработки и активно делимся нашим опытом, проблемами и их решениями. Например, недавно рассказывали про то, как измерять продуктивность инженеров. А вчера открыли запись на early access к нашему ИИ‑агенту для разработчиков.

Сегодня делимся, как ИИ уже помогает нам в разработке, какие технологии используем и каких результатов достигли.

↗️ Основные сценарии — в карточках, а больше деталей — в статье на Хабре.

#AI4SDLC
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
9👍2🔥1