Diagrams AI Can, and Cannot, Generate (Рубрика #Architecture)

Недавно добрался до осенней статьи из 2024 года про рисование архитектурных диаграмм при помощи AI. Автор рассмотрел три сценария использования и привел в конце три проблемы, которые мешают AI рисовать диаграммы как бог. Вот три сценария
1) Генерация generic диаграмм на заданную тему - я не совсем понял зачем такие диаграммы нужны автору кроме как иллюстрационные примеры, но AI справляется с их рисованием, правда, поиск по картинкам в Google справляется еще лучше
2) Whiteboarding with AI - когда мы рисуем планиремую систему, для которой мы хотим придумать решение и рассмотреть возможные проблемы. В принципе, адаптируя промпты с божьей помощью и крепким словом можно получить что-то удобоваримое, но иногда проще взять условный DSL языка типа Plantuml и ручками дописать что именно нужно подправить:) Но тут AI в принципе неплохо может помогать. Про разные подходы к рисованию можно почитать книгу "Creating Software with Modern Diagramming Techniques", про которую я уже рассказывал
3) System diagramming with AI - здесь суть в том, чтобы восстановить архитектурную диаграмму из кода проекта. Здесь часто сложно получить что-то осмысленное, так как кода может быть много, что в нем важно не ясно, а еще AI может нагаллюцинировать что-то чего нет. В общем, если проект не супер-простой, то сложно получить что-то вменяемое. И автор статьи описывает ключевые проблемы, среди которых выделяются три
- Мало тренировочных данных в виде проекты с кодовой базой + диаграммы, что их описывают не в generic виде, а детализированно
- Проблемы с анализом кода, где есть разные языки и технологии, есть разделение кода и конфигураций, а также общая каша из зависимостей между компонентами на статических диаграммах (deployment diagrams, диаграммы компонентов), а также каша в динамических диаграммах (sequence, activity) из-за количества бранчей с альтернативной логикой
- Проблема с сутью и фокусом на главном - создание хороших диаграмм в том, чтобы выделить главное, а для этого надо понимать цель системы и основные ее части. А это не всегда отражено в коде. Возможно, это можно скармливать в виде дополнительного контекста AI агенту - про что-то близкое к этому идет речь в whitepaper "From Requirements to Architecture: An AI-Based Journey to Semi-Automatically Generate Software Architecture", о которой я рассказывал раньше

В общем, чуда не произошло, серебрянная пуля пока не появилась, работаем дальше и готовим роботов, что облечат жизнь кожанным мешкам:)

#AI #Engineering #ML #Software #Architecture

China built hundreds of AI data centers to catch the AI boom. Now many stand unused (Рубрика #AI)

Интересная статья про перепроизводство датацентров в Китае от MIT Technology Review. Суть в том, что
1) Китайский технологический сектор столкнулся с серьезным кризисом избыточных мощностей - до 80% недавно построенных вычислительных ресурсов для искусственного интеллекта остаются неиспользованными. Масштабная инициатива по строительству инфраструктуры для ИИ, поддержанная как государством, так и частными инвесторами, сегодня переживает драматический спад.
2) Масштаб кризиса велик - за 2023-2024 годы в Китае анонсировали более 500 новых проектов дата-центров, из которых по меньшей мере 150 завершенных объектов сейчас отчаянно ищут клиентов. Государство вложило $6,1 млрд в строительство крупных вычислительных кластеров, а частные компании добавили еще $28 млрд.
3) Кризис вызван несколькими ключевыми факторами:
- Технологический переворот. Появление открытой модели DeepSeek R1, сравнимой по возможностям с ChatGPT, но требующей значительно меньше ресурсов для обучения, радикально изменило рыночный спрос. Фокус сместился с масштабного обучения моделей на инференс
Стратегические просчеты, где многие дата-центры построены:
- Компаниями без достаточного опыта в ИИ-инфраструктуре
- В удаленных регионах для экономии на электроэнергии и земле, хотя современные ИИ-задачи требуют близости к технологическим хабам для минимизации задержек
- С переоценкой долгосрочного спроса на вычислительные мощности
4) Кризис привел к экономическим последствиям - цены на аренду оборудования обрушились: кластеры из восьми GPU Nvidia H100 сейчас сдаются за 75 000 юаней ($10 333) в месяц, хотя ранее достигали 180 000 юаней.
5) Такое развитие ситуации скорее всего приведет к следующим эффектам
- Государственное вмешательство: Правительство Китая, вероятно, будет вынуждено вмешаться для стабилизации ситуации.
- Консолидация рынка: Ожидается волна слияний и поглощений среди операторов дата-центров, так как мелкие игроки не смогут выдержать финансовое давление.
- Переориентация инфраструктуры: Существующие объекты будут адаптированы под новые рыночные реалии - от массивных тренировочных кластеров к распределенным системам для инференса.
- Экологические вызовы: Даже при нынешнем уровне загрузки дата-центров растет их воздействие на окружающую среду.

Эта новость показывает, что масштабные китайские инвестиции в быстро развивающиеся технологии сопровождаются большими рисками и не всегда карта ложится как надо:) Интересно, что раньше я уже рассказывал про книги, в которых преимущественно описывались успехи Китая и его компаний
- Книга "Tech Titans of China (Мир в тени дракона)" - общий обзор венчурной истории Китая с начала 2000х по двадцатые
- Книга "Attention Factory: The Story of TikTok and China's ByteDance (TikTok. Фабрика Внимания. История взлета)" - история подъема ByteDance
- Книга "Smart Business: What Alibaba's Success Reveals about the Future of Strategy" ("Как Alibaba использует искусственный интеллект") - интересная книга зэна Мина, ключевого стратега Alibaba Group (2006–2017), бывшего главы штаба Джека М. Мой обзор в двух частях: 1 и 2
- Книга "Alibaba: The House That Jack Ma Built" ("Alibaba. История мирового восхождения от первого лица") - интересный рассказ о восхождении Alibaba в нескольких частях: 1, 2 и 3
- Книга "Цифровая трансформация Китая" ("The Digital Economy") от Ма Хуатэна, основателя компании Tencent - я думал, что в книге будет чаще Tencent и Wechat, но оказалось, что нет, но я все равно про нее написал
- Книга "Baidu" ("Artifical Intelligence Revolution. How AI Will Change our Society, Economy, and Culture") - книга 2017 года про Baidu от Робина Ли, CEO и председателя совета директоров. Тема интересная, перевод г..но
- Книга "Haier purpose. The real story of China's first global super company" ("Эволюция Haier") - интересная книга про эволюцию этого технологического гиганта из Китая

#Management #Processes #Leadership #BusinessStory #Engineering #Software #Engineering

Техлид и развитие в Individual Contributor: Как превратить код в карьеру (Рубрика #Career)

5 июня буду участвовать в конференции Techlead Conf X как участник круглого стола "Техлид и развитие в Individual Contributor: Как превратить код в карьеру". Речь пойдет о том, а кто такой техлид в разных компаниях, какую пользу он может приносить компании, какие навыки и подходы необходимы техлиду и так далее. Интересно, что я уже достаточно много рассказывал про эту тему, приводя в пример западные компании, а также то, как это устроено у нас в Т-Банке. Но в этой дискуссии мы обсудим росссийское IT и насколько ветка для инвидидуальных контрибьюторов (IC) выского грейда распространена у нас. Приходите на конференцию послушать, если вам интересна эта тема, так как в дискуссии будет топовый состав джентельменов
- Александр Ложечкин, Райффайзен Банк
- Глеб Михеев, Сбер
- Максим Вишневский, Mindbox
- и ваш покорный слуга из Т-Банка

P.S.
Если ждать 5 июня для вас долго, то можете почитать и посмотреть материалы по этой теме, что я публиковал раньше
- Code of Leadership #6 Staff+ инженеры, архитектура и SDLC
- Варианты роста инженера, если он уже Senior на Tinkoff Meetup 2023
- Как нанимать технических руководителей на Teamlead Conf 2023
- Книга Will Larson "Staff Engineer" и мои обзоры этой книги в двух частях: 1 и 2
- Архитектура в масштабе на ArchDays 2020
- System Design Interview на ArchDays 2021
- Как подготовиться и пройти System Design Interview на ArchDays 2022

#Management #Software #Processes #Project #ProductManagement #Engineering #Processes #Leadership #Staff #Architecture #Career

[1/3] Resolving Code Review Comments with Machine Learning (Рубрика #AI)

Этот whitepaper от Google Research, впервые опубликованный в 2023 году и представленный на Международной конференции по инженерии программного обеспечения (ICSE) в апреле 2024 года. Исследование посвящено AI-фикации процесса код ревью. Суть в том, что исследователи сделали систему, что способна понимать комментарии рецензентов на естественном языке и предлагать соответствующие изменения в коде. Авторы описывают, как Google успешно внедрил эту технологию в свой рабочий процесс разработки, что привело к значительной экономии времени и повышению производительности. Мне этот paper понравился своим подходом - авторы не просто впиливали AI куда-то в процесс разработки, а делали это в продуктовом стиле, меняя как саму модель, так и сам UX процесса код ревью. Суть самой статьи можно описать так

- Проблематика: Ревью кода - это важный процесс особенно в Google, но он занимает много времени. Разработчики тратят в среднем около часа на каждое изменение кода после ревью.
- Решение: AI-система читает комментарии рецензентов и автоматически предлагает изменения кода для исправления проблем.
- Как это работает: Система обучена на прошлых code reviews; она анализирует контекст кода, понимает комментарий рецензента и генерирует подходящие изменения. Это решение прошло несколько итераций от асинхронной генерации исправлений до генерации предложенного фикса на лету, пока ревьювер пишет свой комментарий. Финальный вариант предполагает, что ревьювер может согласиться с предложенным моделькой исправлением, а может пореджектить его.
- Эффект: Реализованное решение в итоге привело к тому, что авторы изменений принимают автоматически предложенное моделью в 7.5% случаев. Это экономит сотни тысяч часов работы разработчиков ежегодно.
- Гибкость: Система справляется как с простыми изменениями, так и со сложными. Отдельно авторы отмечают, что ревьюверы начали подстраивать свои комментарии к коду так, чтобы система генерировала лучшие подсказки для автора кода.
- Обратная связь: Пользовательская обратная связь помогла улучшить систему со временем за счет фильтрации некорректных предсказаний.
- Польза для разработчиков: Система позволяет сосредоточиться на более творческих аспектах разработки вместо рутины.

Автор подход был примерно следующим
- Авторы воспринимали эту задачу как стандартную text-to-text ML задачу, для использования которой взяли традиционный трансформер на базе T5X Framework
- Авторы взяли реальные code review и сделали inline комментариев из ревью в код в виде комментов, а таргетом было уметь предсказывать предлагаемый diff patch, который реально был предложен для решения этого комментария из ревью
- Тренировали он модель для код ревью и других задач в области software engineering и использовали для этого DIDACT фреймворк. Тренировочный корпус состоял из 3 миллиардов примеров, из которых 60 миллионов были примерами с code review. В pre-training использовались достаточно свободный набор code review примеров, включая автоматические комментарии, комментарии для всего набора изменений, а также целых файлов. Для fine-tuning использовали code-review примеры, где комментарии писали только люди. Тюнили метрику standard cross-entropy loss, типичную для таких моделе
- На этапе inference модель использовали так, чтобы выдать желаемый precision - каждое предсказание сопровождалось вероятностью и большая вероятность означала большую уверенность модели в предсказании
- Для валидации модели использовался набор данных, что не использовался при тренировках
- Отдельно авторы выставляли threshhold для предсказаний, то есть предлагаемые изменения показываются пользователям только тогда, когда модель уверена в своем предсказании и удовлетворяет дополнительным эвристикам.

Продолжение в следующем посте, где я расскажу как это решение было встроено в процесс ревью.

#Software #AI #Engineering #Process #DevEx

System Design: пережить интервью (Acing the System Design Interview) (Рубрика #SystemDesign)

Недавно вышла новая книга в издательстве Питер на тему System Design Interview. Тема для меня интересная и я много о ней рассказывал, в последний раз на Highload++. И вот вышла новая книга, которую можно прочитать и сравнить с той же "классикой" от Алекса Ксю. Вот я думаю, а стоит ли ее читать и устроил для этого опрос. Проголосуйте и я дальше уже решу, а стоит ли книга подробного разбора.

#Software #Architecture #DistributedSystems #SystemDesign #Engineering

[2/3] Resolving Code Review Comments with Machine Learning (Рубрика #AI)

Продолжая рассказ про whitepaper от Google опишу чуть подробнее эволюция системы
V1) Начиналось все с генерации suggests изменений после отправки комментариев код ревьюверами
V2) Инструмент развился до предложения изменений кода ревьюверам во время написания комментариев
V2 + IDE integration) На основе обратной связи пользователей команда внедрила лучшую интеграцию с IDE, включая просмотр конфликтующих изменений (3-way-merges)

В итоге, текущий процесс работы этой фичи и воронку
- Ревьювер пишет коммент - на лету моделька генерирует код для фикса
- Ревьювер может принять этот код или нет, если принимает, то дальше автору MR прилетает комментарий с этим auto suggest, если отклоняет, то просто комментарий
- Дальше автор кода при ревью может жмякнуть кнопку автопринятия

Цель всей работы и метрика для оптимизации была сформулирована так

A primary goal for any assistance tool is to increase productivity. One metric we use to gauge the positive impact of our assistant on productivity is acceptance rate, the fraction of all code-review comments that are resolved by the assistant; this measures, out of all (non-automated) comments left by human reviewers, what fraction received an ML-suggested edit that the author accepted and applied directly to their changelist.

Стата по каждому этапу выглядит сильно интереснее, чем просто 7.5% автоприемов suggest от всех комментариев.

Stage -- (%) of total -- (%) of previous step
Incoming comments -- 100.0% -- 100.0%
Confident predictions -- 49.0% -- 49.0%
Accepted by reviewer -- 33.1% -- 63.6%
Previewed by authora -- 10.7% -- 34.5%
Applied by author -- 7.5% -- 69.5%

Ну и шаг превью в этой стате не так значим как в первом варианте того, как они сделали эту фичу, там под табличкой такая аннотация идет

The concept of author preview is less significant in V2. The author automatically sees a small preview and can “click-to-view” full suggested edits. This full view either shows the “Apply“ button or informs about an edit that requires a three-way merge. Almost all not-applied previews in V2 denote an edit that required a three-way merge to be applied.

Качественный фидбек по этой фиче звучал так

Early feedback about the assistant in internal message boards is enthusiastic, including characterizations such as “sorcery!”, “magic!”, “impressive”. Although the new version V2, in which suggested edits are presented as the reviewer is typing a comment, has only been deployed to 100% of the population for a relatively limited time, we have received delighted reports demonstrating that just the location and the initial sentiment of the reviewer’s comment can lead to helpful suggested edits, for both parties involved.

Помимо результатов авторы статьи описали как они тюнили качество системы через тюнинг модели и тюнинг данных
- Model tuning включал: fine-tuning DIDACTR модели, size tuning количества параметров в модели, уменьшение precision, тюнинг hyperparameters, тюнинг под языки программирования и финально preview для ревьюверов, что позволило еще нише сделать отсечку по precision
- Data tuning включал: оффлайн датасет для оценки ограничили только single comment изменениях, тренировка на "done" комментариях, тренировка на синтетических задачках

В общем, получился интересный whitepaper с описанием подхода ребят в Google и интересными практическими результатами. В последнем посте прилинкованы интересные картинки из этой статьи.

#Software #AI #Engineering #Process #DevEx

ByteDance как фабрика приложений поверх платформы Volcano Engine (Рубрика #BusinessStory)

Раньше я уже рассказывал про фабрику внимания от ByteDance, что создали агрегатор новостей Toutiao, а потом сервис коротких видео Douyin, что на международном рынке стал называться TikTok. Но если поближе познакомиться с компанией из первых рук, то кажутся интересными следующие моменты
1) Залипательная рекомендательная система - про это говорят все, но не я не мог это упомянуть
2) Привлечение пользователей через предустановки на телефоны, когда это еще не было мейнстримом в Китае (стремительный рост в 2014 год зачастую был обусловлен этим)
3) Ориентация компании на фабрику приложений, когда вместо создания Super App типа Wechat от Tencent компания обкатывает новые идеи через создание отдельных приложений. Собственно, Douyin был одним из трех видео-приложений, что были запущены +/- одновременно. В это приложение верили меньше, чем в 2 предыдущих, но оно победило
4) Собственно в год делают порядка 10 новых приложений, но до запуска доходят единицы. В такие приложения налиывают трафик и дальше каждые полгода они проходят гейты, где надо продемонстрировать результаты. Если результатов нет, то приложение закрывают, часть сотрудников отправляют на улицу, а часть ротируют внутри компании. Если результаты хорошие, то добавляют ресурсов.
5) В итоге, компания захватывает внимание пользователей своими приложениями, а дальше монетизирует через рекламу и долю с продаж в e-comm. Кстати, у Douyin 766mln DAU в Китае, а если смотреть уникальных пользователей в Китае, то там будет все 900+ mln DAU и вот какие основные приложения у ребят (заметьте сколько приложений для создателей контента)
# Приложение DAU(M) Область применения
1 Douyin 766 Short Video Platform
2 Toutiao 254 News & Information
3 Xigua Video 178 Video Sharing
4 Hongguo - Micro-Dramas & Streaming
5 Huoshan Video - Short Video Platform
6 Ulike - Beauty Camera & Photo Editing
7 Hypic - Photo Editing
8 Doubao - AI Chatbot
9 CapCut - Video Editing Tool

6) Приложения BytaDance работают на своем публичном облаке Volcano Engine, что входит в группу компаний (облако было запущено в 2021 году). Чем-то это напоминает появление Tech компаний у крупных игроков (а вот мы у себя всю группу компаний назвали Т‑Технологии). Собственно, облако доступно публично, но максимальная уровень помощи и доработок доступна вертикалям, что отвечают за отдельные приложения - они имеют отдельный бюджет и отдельные IT-команды, но могут обращаться за помощью к ByteDance Tech Volcano Engine. Кстати, по ощущениям это облако скорее не публичное, а частично публичное - для компаний внутри группы и партнеров:)

7) Компания набирает лучшие инженерные кадры, выплачивая им зарплаты выше рынка - это позволяет поддерживать высокий уровень инженерной культуры и ориентации на результат (с учетом расформирования команд, закрывшихся приложений, а также частичных сокращений в них). В 2024 году в компании выручка была порядка 1.3 mln $ на сотрудника (146 bln $ / 110k сотрудников). Если ориентироваться на оценку количества инженеров в ByteDance в 12k WAU на основании статьи "BitsAI-CR: Automated Code Review via LLM in Practice", то получим, что на инженера выручка порядка 12 mln $. Вот что значит иметь фабрику приложений, аудиторию под миллиард пользователей, монетизироваться на рекламе и комиссии с продаж, а также использовать свою облачную плафторму и свой процессинг:) Оценка компании порядка $315 bln, если ориентироваться на недавню buyback программу.

#Management #Leadership #BusinessStory #Engineering #AI #Software

MERA митап по бенчмаркам (Рубрика #AI)

15 апреля в 17.00 MERA и Альянс в сфере ИИ приглашают в офис Т-Банка на митап по бенчмаркам во всех их формах и проявлениях.

Хедлайнеры программы — сами авторы бенчмарка MERA, де-факто стандарта для автоматического тестирования русскоязычных LLM, и создатели российской LLM Arena, главной платформы для сравнения моделей в реальном времени. 

Организаторы митапа обещают поговорить о том:
- как устроены бенчмарки для текстовых и мультимодальных моделей;
- что учитывать при проверке LLM на качество написания кода;
как сравнивать друг с другом специализированные ML-модели.

После докладов участники митапа смогут расспросить спикеров о планах по развитию проектов и предложить свои ответы на открытые вопросы, которых в области бенчмарков становится больше с каждым днем.

Количество мест ограничено, трансляции не будет, записи скорее всего тоже. В общем, регистрируйтесь.

Референсные визиты в компании и мысли о стратегии (Рубрика #Management)

За последнюю неделю я понял всю прелесть референсных визитов в другие компании. Такие экскурсии бывают разными - иногда тебе проводят экскурсии и рассказывают разные истории
- С фокусом на конкретном продукте
- Чисто маркетинговые
- Глобальные, где этапы развития компании пересекаются с цифровыми изменениями на уровне государства
- Стратегическими, где стратегия компании описывается как некоторый путь внутри своей отрасли

Из таких визитов я понял, что мне нравятся именно стратегические доклады, когда спикер может четко рассказать про
- Эволюцию компании и этапы, что она прошла по пути до текущего момента
- Текущую картину мира: Что делаем и зачем? Что не делаем и почему? Чем отличаемся от конкурентов и почему им сложно повторить бизнес-модель?
- Какие планы на будущее: Куда сфокусированы усилия? Почему ставка именно на них?
- Каким образом будут имплементироваться эти планы: Как в компании относятся к инновациям? Как проверяют гипотезы? Как выглядит оргструктура и разделение зон ответственности, между бизнес-вертикалями, продуктом и IT, cash cows и инвестиционными проектами?
Конечно, можно еще добавить кучу интересных тем для обсуждений, но как говорил Антуан де Сент Экзюпери

Совершенство достигнуто не тогда, когда нечего добавить, а тогда, когда нечего убрать

В итоге, если я слышу выступление, уложенное в такую рамку, то понимаю, что у компании есть стратегия и сотрудники понимают ее и могуть доступно объяснить. А это как мне думается и является ключом к успеху стратегии.

Отдельно отмечу, что референсные визиты позволяют
- Своими глазами увидеть происходящее в компании: в HQ, производственных помещениях (правда, покажут только публичную часть)
- Получить информацию из первых рук: в референсных визитах спикеру часто можно задавать дополнительные вопросы для уточнения деталий (правда, не на все из которых они отвечают)
- Провести сравнение: своей компании и той, в которую ты пришел с визитом (правда, тут надо быть осторожным и помнить про анекдот "Ну так и вы тоже говорите...")

В любом случае, после такого референсного визита очень приятно сесть вечером спокойно с Perplexity и Chatgpt и дальше сделать кроссвалидацию информации, позадавать уточняющие вопросы, собрать нужную статистику для проверки гипотез и так далее. А на выходе получить в своей голове понимание того, как устроена компания и что полезного из этого можно извлечь:)

#Management #Processes #Leadership #BusinessStory #Engineering #Software