12-Factor Agents: Patterns of reliable LLM applications (Рубрика #AI)

С интересом посмотрел выступление и дальше изучил GitHub про 12 factor app для агентов. С этой темой выступал Dexter Horthy - опытный инженер и основатель компании HumanLayer (стартап в Y Combinatir). Ключевая идея Декстера в том, что вместо одного большого агента стоит делать небольшие сфокусированные агенты - это похоже на ситуацию с монолитом и микросервисами. Декстер считает, что агенты - это просто софт, то есть если вы умеете в swith и while, то вы можете создавать агентов. Но для их создания лучше использовать не фреймворки, что позволяют получить 70 - 80% качества, а дальше требуется проводить реверс инжиниринг фреймворков, чтобы подтюнить агентов до оставшихся 20%. Автор предлагает набор из 12 факторов, что похожи на 12 факторов от Heroku, ставших потом частью принципов создания cloud native приложений. Ну а теперь пожалуй можно рассказать и про все 12 факторов

1. Natural Language to Tool Calls. Один из самых распространенных шаблонов в построении агентов - это преобразование естественного языка в структурированные вызовы инструментов. Это мощный шаблон, который позволяет вам создавать агентов, которые могут рассуждать о задачах и выполнять их.
2. Own your prompts. Не стоит передавать управление промптами на сторону фреймворка
3. Own your context window. LLM - это функции без состояния, которые превращают входы в выходы. Чтобы получить лучшие выходы, нужно дать им лучшие входы.
4. Tools are just structured outputs. Инструменты не должны быть сложными. По своей сути, они просто структурированный вывод из вашего LLM, который запускает детерминированный код.
5. Unify execution state and business state. Даже за пределами мира AI многие инфраструктурные системы пытаются отделить "состояние выполнения" от "бизнес-состояния". Для приложений ИИ это может включать сложные абстракции для отслеживания таких вещей, как текущий шаг, следующий шаг, статус ожидания, количество повторных попыток и т. д. Такое разделение создает сложность, которая может быть полезной, но может быть излишней для вашего варианта использования.
6. Launch/Pause/Resume with simple APIs. Агенты - это всего лишь программы, и у нас есть определенные ожидания относительно того, как их запускать, опрашивать, возобновлять и останавливать.
7. Contact humans with tool calls. Интеграция взаимодействия с людьми через инструменты (для принятия решений или доп информации)
8. Own your control flow. Владение control flow позволяет добавлять probes, тесты и многое другое
9. Compact Errors into Context Window. Обработка ошибок через контекстное окно без слепого добавления stack traces ошибок
10: Small, Focused Agents. Создание маленьких agents с 3-10 шагами вместо монолитных решений.
11. Trigger from anywhere, meet users where they are. Агенты должны быть доступны из разных входных точек: slack, email, API, ...
12. Make your agent a stateless reducer. Агентов стоит проектировать как stateless функции для лучшей масштабируемости

Если подводить итоги выступления, то
1. Фреймворки и строительные блоки для агентов. Декстер не выступает против фреймворков, но предлагает использовать 12 факторов для того, чтобы делать более мощных и надежных агентов (возможно фреймворки потом будут поддерживать эти 12 факторов)
2. Инкрементальный подход. Самый быстрый путь для создателей агентов для получения качественного AI софта - брать маленькие, модульные концепты и включать их в существующий продукт.
3. Инженерная составляющая. Даже если LLM станут экспоненциально мощнее, core engineering техники останутся ценными для создания более надежного, масштабируемого и поддерживаемого Gen AI софта.
4. Взаимодействие людей и AI. По мнению автора, будущие агенты не должны быть полностью автономными - важно найти способы для агентов сотрудничать с людьми.

#AI #ML #Software #Architecture #Processes #DevEx #Devops #Agents

Интервью Вячеслава Цыганова Ведомостям: «Сейчас из каждого набора данных можно делать новый бизнес» (Рубрика #Management)

Недавно мой руководитель Вячеслав Цыганов дал большое интервью "Ведомостям на популярную тему о возможностях искусственного интеллекта и трансформации IT-ландшафта в России. Если подбивать основные тезисы, то можно выделить следующие ключевые моменты

1. AI-first подход
- Стратегия AI-Banking с 2019 года - зарегистрирован товарный знак AI-Bank
- "Вселенная ассистентов" - 6 персональных ИИ-помощников в продакшене
- 80% сотрудников уже используют ИИ, цель - 100% в 2026
2. Исследования и разработка
- Стратегия open source: модели в открытом доступе на Hugging Face (дообученные Qwen)
- Переиспользование открытых моделей требует в 10 раз меньше ресурсов (чем учить модель с нуля)
- Разработан метод дообучения Trust Region с улучшением качества на 15% (whitepaper "Learn Your Reference Model for Real Good Alignment")
3. Инженерные продукты
- Spirit - централизованная PaaS-платформа для разработчиков, ориентированная на приложения
- Sage - платформа для надежности высоконагруженных сервисов. Кстати есть такая статья про надежность у нас в Т-Банке, которую я разбирал
- FineDog - управление инцидентами
- Nestor - копайлот для разработчиков (используют 60% девелоперов ежедневно)
- Safeliner - ИИ-ассистент для анализа и исправления кода
3. Инфраструктура
- Инфраструктура удваивается каждый год
- Доля данных в ландшафте выросла с 20% до 80% за 7 лет
- Строительство собственных ЦОДов: 50 МВт в Доброграде и Серпухове
- Запуск первой очереди - I квартал 2027
4. Data-driven трансформация
- Тезис, что вынесен в название интервью - "Из каждого набора данных можно делать новый бизнес"
- Гиперперсонализация через ML-рекомендации - это то, куда мы идем
- Приложение реорганизовано вокруг жизненных ситуаций с персонализацией - это наши Сферы: Дом, Авто, Тревел, Шоппинг и другие
5. Стратегия в направлении AI
Не конкурировать напрямую с Яндексом и Сбером в создании моделей с нуля, а использовать open source как основу для специализированных решений

#Management #AI #Engineering #Software #Strategy

[1/2] François Chollet: How We Get To AGI (Рубрика #AI)

С большим интересом посмотрел выступление Франсуа Шолле на конференции AI Startup School от Y Combinator в Сан-Франциско. Франсуа является создателем популярной библиотеки глубокого обучения Keras (2015 год), которая стала одним из ключевых инструментов. В 2015 году он присоединился к Google, где проработал почти десять лет, занимаясь исследованиями в области компьютерного зрения и искусственного общего интеллекта. В 2019 году он создал бенчмарк ARC-AGI для измерения способности ИИ к общему интеллекту. В 2024 году Шолле запустил ARC Prize — конкурс с призовым фондом в $1 миллион для решения задач ARC-AGI. В ноябре 2024 года Шолле покинул Google для создания нового стартапа. В январе 2025 года он основал исследовательскую лабораторию Ndea совместно с соучредителем Zapier Майком Нупом, фокусирующуюся на разработке AGI через программный синтез.

В этом выступлении Франсуа поделился действительно интересными идеями
1. Эволюция парадигм ИИ
Шолле проследил историю развития ИИ, начиная с постоянного снижения стоимости вычислений на два порядка каждое десятилетие с 1940 года. В 2010-е годы доминирующей стала парадигма масштабирования предобучения больших языковых моделей, основанная на увеличении размера моделей и объема данных. Однако в 2024 году произошел кардинальный сдвиг к адаптации во время тестирования (Test-Time Adaptation, TTA). Эта технология позволяет моделям динамически изменять свое поведение на основе конкретных данных, с которыми они сталкиваются во время вывода. TTA включает методы как обучение во время тестирования, программный синтез и синтез цепочки мыслей.
2. Определение интеллекта
Франсуа критикует традиционное понимание интеллекта как способности выполнять конкретные задачи. Вместо этого он предлагает определение интеллекта как эффективности преобразования прошлого опыта в навыки для решения будущих задач с высокой новизной и неопределенностью. Ключевое различие: статические навыки против подвижного интеллекта. Статические навыки — это заученные программы для решения известных проблем, тогда как подвижный интеллект — способность синтезировать новые программы для незнакомых задач.
3. Гипотеза калейдоскопа
Одна из центральных концепций выступления - гипотеза калейдоскопа. Шолле утверждает, что кажущаяся бесконечная сложность мира на самом деле состоит из небольшого количества "атомов смысла" - фундаментальных строительных блоков, которые рекомбинируются в различных ситуациях. Интеллект заключается в способности извлекать эти повторно используемые абстракции из опыта и эффективно рекомбинировать их для решения новых задач. Это объясняет, почему простое масштабирование предобучения не привело к AGI - моделям не хватает способности к рекомбинации на лету.
4. Два типа абстракции
Франсуа выделяет два фундаментальных типа абстракции
- Тип 1 (ценностно-центричная): работает с непрерывными пространствами, использует функции расстояния для сравнения объектов. Лежит в основе восприятия, интуиции и современного машинного обучения.
- Тип 2 (программно-центричная): работает с дискретными программами и графами, ищет точные структурные соответствия. Лежит в основе человеческого мышления и планирования.
Трансформеры отлично справляются с абстракциями первого типа, но плохо работают с абстракциями второго типа. Для достижения истинного интеллекта необходимо объединить оба подхода.
5. Программный синтез и дискретный поиск
Ключ к преодолению ограничений современного ИИ Шолле видит в программном синтезе - методе, который позволяет автоматически создавать программы для решения задач. В отличие от градиентного спуска, который требует огромных объемов данных, программный синтез чрезвычайно эффективен в плане данных, но сталкивается с комбинаторным взрывом. Решение - использовать интуицию глубокого обучения (тип 1) для направления дискретного поиска программ (тип 2), создавая систему, которая может эффективно исследовать пространство программ.

Продолжение про фреймворки и лабораторию Ndea в посте продолжении.

#AI #ML #Software #Architecture #Processes

[2/2] François Chollet: How We Get To AGI (Рубрика #AI)

Заканчивая рассказ про выступление Франсуа, надо рассказать про его фреймворки ARC-* и лабораторию Ndea

6. Предложенные бенчмарки
- ARC-1. Выпущенный в 2019 году тест содержит 1000 уникальных задач, требующих подвижного интеллекта, а не заученных знаний. Все задачи построены на базовых знаниях (объектность, элементарная физика, геометрия), которыми владеет любой четырехлетний ребенок. За пять лет, несмотря на 50,000-кратное увеличение масштаба предобученных моделей, производительность на ARC-1 выросла только с 0% до 10%. Это убедительно доказало, что подвижный интеллект не возникает из простого масштабирования предобучения.
- ARC-2. Выпущенный в марте 2025 года ARC-2 фокусируется на композиционном рассуждении. В отличие от ARC-1, где многие задачи можно было решить интуитивно, ARC-2 требует обдуманного размышления, но остается выполнимым для людей.
Тестирование 400 человек показало, что группы из 10 человек могли бы достичь 100% точности. Однако базовые модели показывают 0% точности, статические системы рассуждения — 1-2%, и даже продвинутые системы с TTA значительно уступают человеческому уровню.
- ARC-3. Запланированный к выпуску в начале 2026 года ARC-3 кардинально отходит от формата "вход-выход". Вместо этого он оценивает агентность — способность исследовать, обучаться интерактивно и автономно ставить цели.
ИИ будет помещен в совершенно новую среду, где он не знает, что делают элементы управления, какова цель и каковы правила игры. Эффективность будет центральным критерием — модели должны решать задачи с тем же уровнем эффективности действий, что и люди.
7. Будущее направление: лаборатория Ndea
В конце выступления Франсуа представил свою новую исследовательскую лабораторию Ndea, которая фокусируется на создании ИИ, способного к независимым изобретениям и открытиям. Подход Ndea заключается в создании программистоподобного мета-обучающегося, который при столкновении с новой задачей синтезирует программу, адаптированную к этой задаче. Эта программа будет объединять подмодули глубокого обучения для задач типа 1 (восприятие) и алгоритмические модули для задач типа 2 (рассуждение). Система будет использовать глобальную библиотеку повторно используемых строительных блоков-абстракций, которая постоянно эволюционирует в процессе обучения на новых задачах. Первой вехой станет решение ARC-AGI системой, которая изначально ничего не знает об этом бенчмарке.

Видение Шолле выглядит впечатляющим, мне действительно понравилось выступление - я узнал много нового + добавил себе в to read list много новых материалов.

#AI #ML #Software #Architecture #Processes

[1/2] John Carmack Reveals AGI Future: Robots, Videogames and AI Agents... (Рубрика #AI)

Очень интересное выступление Джона Кармака, со-основателя id Software, ex-CTO Oculus, основателя Keen Technologies. Интересно, что в команду Keen Technologies Джона входят 6 исследователей, включая его и Ричарда Саттона, "крёстного отца reinforcement learning". Кстати, Джона все мои сверстники знают его как создателя игры Doom, что вышла в 1993 году:) Он выступал с этой презентацией на конференции Upper Bound 2025 в середине мая. Интересно, что Кармак позиционирует себя как "инженера, ставшим исследователем" и считает создание AGI "самым важным, чем он может заниматься сегодня".

Если говорить про сам доклад, то Джон предлагает отказаться от LLM-гонки, так как он не верит, что "блендер"-предобучение трансформеров приведёт к настоящему пониманию мира; ему важен интерактивный поток опыта. Он предлагает проверять гипотезы на играх, которые выглядят как чистый полигон. Причем коммерческие игры - это "непредвзятые" среды, так как исследователи не могут тайно подогнать среду под алгоритм. И целью является быстрая, непрерывная, многозадачная адаптация агента, близкая к тому, как кошка или собака учатся в реальном мире.

Ключевые идеи выступления такие
1. "Сначала наука, потом инженерия"
Кармак критикует RL-сообщество за "погоню за цифрами" и призывает искать фундаментальные закономерности обучения, а не только настраивать hyper-параметры.
2. Real-time RL против пошаговых симуляторов
В реальном мире среда не ждёт, пока агент примет решение; лишние 150–200 мс задержки "ломают" многие алгоритмы. Джон продемонстрировал как это не работает на стенде "robotroller", который физически двигает джойстик Atari
3. Ошибки и уроки старта Keen Technologies
Здесь Джон рефлексирует над своими ошибками как исследователя и выделяет следующие моменты
- Он слишком глубоко погружался в низкоуровневый C++/CUDA
- Пытался использовать Sega Master System вместо Atari, что затруднило сравнение с результатами предыдущих исследователей
- Выполнение кода на ноутбучных GPU оказались узким местом - команда перешла на удалённые кластеры
4. “Видео-стена” как бесконечная среда обучения.
Идея была в том, чтобы объединить пассивный видеоряд (TV/YouTube) и интерактивные игры в непрерывную ленту, где агент сам выбирает, что изучать.
5. Переход от симуляции к реальности
Даже простой перенос из эмулятора Atari на реальный монитор + камеру требует решения проблем ввода-вывода, освещения и дрейфа изображения. В общем задачка становится сильно интереснее

Продолжение с описанием бенчей и общими выводами в следующем посте.

#AI #AGI #ML #Software #Engineering #Architecture

[2/2] John Carmack Reveals AGI Future: Robots, Videogames and AI Agents... (Рубрика #AI)

Продолжая рассказ о выступлении Джона, надо рассказать про существущие бенчмарки и новые предложенные.

1. Atari 200 M (классика DeepMind)
Существующие подходы дают сверхчеловеческий уровень при "месяце экранного времени", то есть бенч уже "почти решён" и нужен следующий шаг
2. Atari 100 K
Цель научиться максимум за 2 часа игрового опыта. Альгоритмы вроде BBF/EfficientZero дают прогресс, но чувствительны к задержкам изображения и действий
3. Sequential Atari Catastrophic Forgetting
Суть в последовательном освоении 50+ игр без потери навыков. Работает пока не очень (кстати, запрещено прокидывать "task-id", чтобы не читерить)
4. Real-Time Atari via Robotroller
Суть в устойчивости по latency и работе "по пикселям" на реальном железе. В итоге, получается ~180 мс лаг от камеры до действия; оценка по фронтальной камере и OCR-cчёту (внутри игры)
5. Unbounded Video Wall (проект на будущее)
Исследование, ведомое любопытством в смеси пассивного и активного контента. Тут нет внешнего "эпизода" и чёткого финального счёта
Все свои тесты Кармак называет "открытыми", потому что код и оборудование Keen Technologies планирует выкладывать в open-source, чтобы сообщество могло воспроизводить и улучшать результаты.

Если подводить итоги, то
- AGI ≠ просто более крупные LLM. Нужен агент, который учится на лету, не забывает старое и действует в реальном времени.
- Игры остаются лучшим "физически безопасным" мостом между симуляцией и реальным миром, но метрики должны поощрять скорость обучения и устойчивость к задержкам, а не только итоговый счёт.
- Главный вызов - методический. Чтобы избежать узкоспециализированных "трюков", Кармак предлагает жёсткие, но реплицируемые бенчмарки и "встроенную" защиту от читерства

По словам Кармака, прогресс в этих направлениях покажет, как далеко мы на самом деле от AGI и даст более честную картину того, как двигаться в его сторону.

#AI #AGI #ML #Software #Engineering #Architecture

OpenAI Windsurf acquisition falls through as leaders head to Google DeepMind (Рубрика #AI)

Ночью появилась интересная новость про OpenAI и Windsurf. Если кратко, то OpenAI не смогла завершить запланированное приобретение стартапа Windsurf за $3 млрд, так как срок эксклюзивных переговоров истёк в июле 2025 года, а ключевые руководители Windsurf, включая CEO Варуна Мохана и сооснователя Дугласа Чена, перешли в Google DeepMind для работы над агентными кодирующими решениями в проекте Gemini AI. Кстати, раньше я уже рассказывал про интервью Мохана для Y Combinator, которое покрывало историю создания Windsurf и было дано во время этого несостоявшегося поглощения.

После того, как ключевые люди покинули компанию Windsurf продолжит работать независимо, сохраняя доступ к своей базе из более чем миллиона разработчиков, а Google получит доступ к части технологий стартапа. Компания остаётся сильным игроком на рынке с годовой выручкой около $40 млн и оценкой в $1,25 млрд после раунда инвестиций в 2023 году.

Срыв сделки и переход команды Windsurf к Google усиливают конкуренцию между OpenAI, Google и Microsoft (GitHub Copilot) в области AI-инструментов для разработки. Считается, что интерес OpenAI к Windsurf был связан не только с технологиями, но и с ценными пользовательскими данными для обучения новых ИИ-моделей.

#AI #ML #Software #Engineering #Agents

Круглый стол «Техлид и развитие в Individual Contributor: как превратить код в карьеру» (Рубрика #Engineering)

Появилась запись круглого стола на Techlead Conf X, где мы обсуждали ветку развития индивидуальных контрибьюторов. Делали мы это четверкой джентельменов
- Максим Вишневский, ведущий (Mindbox)
- Глеб Михеев (Сбер)
- Александр Белотуркин (Делимобиль)
- Александр Поломодов (Т-Банк)

Если обобщать, то мы успели поговорить про следующие темы
1. Определение роли техлида и IC
Техлид должен формулировать технологический ландшафт в команде, управлять зависимостями и вдохновлять команду на изучение технологий, не занимаясь при этом пил-менеджментом. Individual Contributor (IC) — это антипод менеджменту, инженер высокого уровня, который влияет на процессы через экспертизу, а не через управление людьми.
2. Проблемы текущего подхода
- Техлиды часто превращаются в "играющих тренеров" — совмещают менеджерские и инженерные обязанности
- Отсутствие четких рыночных стандартов для IC-ролей затрудняет найм и валидацию компетенций
- В российских компаниях IC-ветка развита слабо по сравнению с западными (за исключением Т-Банка и нескольких других технологических компаний)
3. Критерии оценки IC
В Т-банке используется матрица компетенций с фокусом на влияние, а не на технические навыки:
- Scope - масштаб работы
- Impact - влияние на компанию и пользу от действий
- Leadership - способность координировать без административной власти
- Improvements - способность улучшать процессы вокруг себя
4. Примерные уровни IC-грейдов в Т-Банке
- Staff инженер - масштаб ~50 человек
- Principal - масштаб ~200-250 человек
- Fellow - масштаб всей компании и признание не только внутри компании, но и в индустрии
5. Практические аспекты
- Развитие IC внутри компании предпочтительнее найма с рынка из-за специфики роли и необходимости понимания внутренних процессов.
- Найм IC включает несколько этапов: техническое интервью, системный дизайн, оценка опыта и подходов к инженерным вопросам. Кстати, про найм staff+ инженеров я записывал отдельную серию Code of Leadership вместе с Алексеем Тарасовым, моим коллегой
- Функциональное лидерство — IC должны быть лидерами профессий/гильдий, но не управлять людьми напрямую.
6. Вызовы и решения
- Проблема "партизанинга" - когда IC вносят изменения без согласования. Решение: создание гильдий, описание проблем перед внесением изменений, заблаговременное уведомление команд.
- Баланс между инициативностью и координацией - важно брать ответственность за улучшения, но при этом согласовывать действия с командой.
7. Будущее IC-направления
Обсуждение IC-веток возвращается с каждым кризисом, когда нельзя решать проблемы только увеличением финансирования. Мы согласились, что в российских компаниях есть потенциал для развития культуры инженерной ответственности, хотя большинство IC не придают значения формальным грейдам — для них важнее реальное влияние на процессы.

P.S.
На тему staff инженеров рекомендую почитать книгу Will Larson "Staff Engineer" и мои обзоры этой книги в двух частях: 1 и 2.

#Management #Software #Processes #Project #ProductManagement #Engineering #Processes #Leadership #Staff #Architecture #Career

Meteorite. The Stones From Outer Space (Метеориты. Космические камни, создавшие наш мир) (Рубрика #PopularScience)

До прочтеиня этой книги Тима Грегори я никогда не воспринимал метеориты особенно серьезно. Но Тим, геолог и космохимик, в захватывающей манере превращает сухие научные факты о метеоритах в увлекательный детектив о происхождении Вселенной, где под обугленными корками небесных странников скрываются тайны, которые меняют наше понимание времени и пространства. Ниже я пробегаюсь по ключевым моментам кнги.

Революция Клэра Паттерсона: Когда камни заговорили
До середины XX века возраст Земли оставался предметом споров. Религиозные теологи настаивали на нескольких тысячах лет, основываясь на библейских текстах, в то время как ученые предлагали различные, часто противоречивые теории. Революционный прорыв произошел в 1953 году, когда американский геохимик Клэр Паттерсон применил к метеоритам новый метод радиоизотопного датирования. Он работал с фрагментами метеорита Каньон-Дьябло, упавшего в Аризоне около 50 000 лет назад. Используя соотношение изотопов урана и свинца, Паттерсон определил возраст этого космического камня — и, следовательно, возраст всей Солнечной системы — в 4,55 миллиарда лет. Эта оценка была настолько точной, что с тех пор практически не изменилась.

Хондриты: Капсулы времени из протопланетного диска
Особое место в космической хронологии занимают хондриты — самый распространенный тип метеоритов, составляющий около 85% всех падений на Землю. Эти древние каменные свидетели образовались практически одновременно с Солнцем из того же протопланетного облака газа и пыли. Хондриты получили свое название от характерных сферических образований — хондр, которые сформировались при плавлении силикатной пыли в раскаленном протопланетном диске. Эти крошечные шарики, размером обычно менее миллиметра, представляют собой застывшие капли расплавленного камня, возникшие в условиях экстремальных температур — от 1370 до 1270 Кельвинов.

Наиболее примитивными среди хондритов считаются углистые хондриты, и самый известный из них — метеорит Альенде, упавший в Мексике в 1969 году. Этот космический гость массой около 2 тонн содержит самые древние из известных твердых веществ Солнечной системы — кальций-алюминиевые включения (CAI), возраст которых составляет 4,567 миллиарда лет.

Досолнечные зерна: Звездная пыль древнее Солнца
Но метеориты хранят в себе еще более древние сокровища — досолнечные зерна, частицы звездной пыли, которые старше самой Солнечной системы. Эти микроскопические крупинки, размером от нанометров до микрометров, образовались в атмосферах умирающих звезд или в выбросах сверхновых задолго до рождения нашего Солнца. Самое крупное из обнаруженных досолнечных зерен — «Bonanza», найденное в Мурчисонском метеорите, имеет размер 30 микрометров и возраст 5-7 миллиардов лет. Это самые древние твердые вещества на Земле, буквально звездная пыль из далекого космического прошлого.

Современные методы космической археологии
Современные технологии позволяют извлекать из метеоритов все больше информации о далеком прошлом. Масс-спектрометрия высокого разрешения дает возможность анализировать отдельные зерна размером в доли микрометра. Ионные микрозонды позволяют измерять изотопные соотношения с невероятной точностью — сопоставимой с измерением роста человека с точностью до толщины волоса.

В общем, Тим говорит про изучение метеоритов как про "эпос, с которым нельзя сравниться". Ведь каждый упавший на Землю космический камень несет в себе историю звездных взрывов, межзвездных странствий и рождения планетных систем. Эти древние артефакты не только рассказывают нам о прошлом, но и продолжают открывать новые страницы в книге космической эволюции.

#PopularScience #Physics #Science

Краткий обзор платформы данных Т-Банка (Рубрика #Data)

Прочитал интересную статью от коллег про про нашу data platform. Если обобщать достаточно длинную статью, то можно отметить, что платформа данных Т-Банка эволюционировала более 18 лет, следуя общеотраслевым трендам. Компания постепенно отходила от классических концепций хранилищ данных по Инмону и Кимбеллу в сторону Data Lake, а затем — к современным Lakehouse-архитектурам. Платформа сейчас обслуживает более 17 тысяч пользователей и обрабатывает свыше 144 млн запросов в месяц, что требует постоянного развития масштабируемости и производительности. Текущая архитектура включает 19 ключевых систем, которые обеспечивают полный жизненный цикл работы с данными — от сбора до визуализации и обеспечения безопасности. Вот как они сгруппированны

1. Сбор и транспортировка данных
- Data Replication: BODS (legacy) и Chrono для пакетной и потоковой репликации
- Event Sourcing: SDP (Streaming Data Transfer Platform) на основе принципов Data Mesh
- Reverse ETL: Spheradian для возврата данных в операционные системы с латентностью до 100 мс
2. Хранение данных
- Data Warehouse: GreenPlum как основная СУБД (15 кластеров, 1,7 ПБ данных)
- LakeHouse: Spark/Trino + S3 с несколькими вычислительными движками
- Real-Time Analytics: ClickHouse для быстрой аналитики на больших таблицах
3. Обработка и трансформация
- Streaming Processing: Unicorn (на Apache Flink) и NiFi
- Workflow Management: TEDI (на Apache Airflow) и Moebius для оркестрации
- Analytics Tools: Proteus (на Apache Superset) для дашбордов и Helicopter для совместной работы
4. Управление данными
- Data Discovery: Data Detective для поиска и каталогизации
- Data Governance: Data Contracts для управления поставками данных
- Data Observability: DQ Tools для контроля качества и Data Incident Management
- Data Security: SLH для управления доступом к чувствительным данным

Если хочется узнать больше, то можно почитать статью и позадавать вопросы в комментариях.

#Data #Database #Architecture #Software #Engineering #PlatformEngineering

What is a Principal Engineer at Amazon (Рубрика #Staff)

Посмотрел на выходных интересную серию подкаста про principal инженеров от Gergely Orosz, автора рассылки "The Pragmatic Engineer". Для обсуждения этой темы к Gergely присоединился Steve Huynh, бывший principal инженер Amazon с 17-летним стажем работы в компании. Стив работал над многими проектами: от первого Kindle до Prime Video, включая поиск внутри книг, платежи, Amazon Local, рестораны и спортивные трансляции. В 2024 году покинул Amazon для развития YouTube-канала "A Life Engineered".

Ниже представлены основные идеи интервью:
1. Сложность повышения до уровня principal инженера в Amazon
Переход от senior engineer (L6) к principal engineer (L7) в Amazon - один из самых сложных в технологической индустрии. Amazon пропустила промежуточный уровень staff engineer, создав "скачок на два с половиной уровня". Стиву потребовалось 8 лет для получения этого повышения. Несмотря на сотни открытых вакансий главных инженеров, большинство кандидатов не получают повышение с первой попытки.
2. Масштаб и технические вызовы Amazon
Amazon обрабатывает 10,000-100,000+ запросов в секунду на критически важные сервисы. Один запрос к главной странице Prime Video может породить сотни downstream-запросов к различным микросервисам. Стив рассказал про понятие "brownout" - состояние, когда сервис доступен, но работает медленно или возвращает частичные результаты.
3. Связь latency с доходом
Amazon измерил прямую корреляцию между задержкой загрузки страниц и доходом - чем быстрее загружается страница, тем больше покупок совершают клиенты. Это привело к общекорпоративной одержимости производительностью и оптимизации задержек.
4. Эволюция архитектуры: от монолита к микросервисам
Amazon начал с монолитной архитектуры на C++, но столкнулся с ограничением в 4 ГБ для бинарного файла в 32-битной системе. Переход к микросервисам был вынужденным решением для масштабирования, но привел к компромиссам в производительности.
5. Культура письменных документов
Amazon славится культурой шестистраничных меморандумов (6-pager), которые заменили PowerPoint-презентации. Встречи начинаются с 30-минутного молчаливого чтения документа, что способствует глубокому пониманию проблем. Мне нравится этот подход, но зачастую оно сложно приживается в организациях, которые предпочитают для решения любого вопроса собирать большие встречи
6. Процесс COE (Correction of Errors)
Amazon использует структурированный подход к анализу инцидентов через документы COE. В отличие от обычных постмортемов, COE фокусируется на корректирующих действиях, а не только на документировании сбоев. Тут я не до конца уловил отличие от написания постмортемов, как описано в SRE Book от Google
7. Сообщество главных инженеров
В Amazon существует уникальное сообщество главных инженеров с собственными встречами и slack-каналом. Высокие стандарты для получения этого уровня означают, что каждый главный инженер обладает исключительными навыками.
8. Принципы лидерства Amazon
Стив отдельно отметил важность наличие самих принципов, которые можно использовать как аксиомы для построения дальнейших рассуждений и для принятия решений на всех уровнях компании. Если говорить про конкретные принципы, то Стив особенно выделил принцип "Customer Obsession" (одержимость клиентами).
9. Политика свободы передвижения
Amazon внедрил политику "freedom of movement", позволяющую сотрудникам переходить между командами без блокировки со стороны менеджеров. Это создало внутренний рынок талантов, где плохие команды теряли людей, а хорошие - привлекали.
10. Патентная стратегия
Amazon активно патентует программное обеспечение, имея более 15,000 патентных заявок. Культура письменных документов помогает передавать идеи юристам для патентования. Компания имеет уровень одобрения патентов 97.12%.

Это интересное интервью раскрывает аспекты инженерной культуры Amazon и объясняет, почему компания остается привлекательной для талантливых инженеров, несмотря на высокие требования и интенсивную рабочую среду.

#Staff #Engineering #Software #Architecture #Leadership #Processes

Review of Book "AI Engineering" #2 - Chapter 2. Understanding Foundation Models (Рубрика #AI)

Вышла вторая серия подкаста с разбором крутой книги "AI Engineering", которая дает представление о создании gen AI приложений. Книгу разбирает Александр Поломодов, технический директор Т-Банка, а также Евгений Сергеев, engineering director в Flo. Во второй серии мы обсудили вторую главу книги, которая посвящена рассмотрению foundational models. Глава была сложной, но вроде мы с Женей справились и обсудили крупными мазками следующие темы

- Введение, структура главы и стадии обучения моделей
- Данные и языки: влияние представленности языков в датасетах
- Доменные знания и необходимость специализированных моделей
- Специфические модели (пример MedPaLM)
- Мультимодальные модели (текст + изображения)
- Переход от RNN/Seq2Seq к трансформерам
- Структура трансформера и механизм внимания
- История разработки трансформеров и их распространение
- Параметры и компоненты трансформеров
- Контекстное окно и MLP-блоки
- Ограничения ресурсов и оптимизация обучения
- Пост-тренинг моделей: SFT и RLHF
- Обучение моделей через RFHF (примеры промптов и ответов)
- Сэмплирование и их стратегии
- Галлюцинации моделей и их природа
- Стоимость ошибок и сценарии применения моделей

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

#Architecture #Software #AI #Engineering #ML #Data #SystemDesign #DistributedSystems

Aravind Srinivas: Perplexity's Race to Build Agentic Search (Рубрика #AI)

Посмотрел интересное интервью Аравинда Шриниваса, CEO Perplexity AI, на мероприятии YC AI Startup School. Аравинд рассказал про путь компании от SQL-прототипа до многомиллионного "ответного движка", поделился планами по запуску браузера Comet и объяснил, почему скорость, точность и фокус помогают стартапу конкурировать с Google, OpenAI и Anthropic. Если говорить про историю Perplexity, то ее можно посмотреть в другом выпуске YC "How To Build The Future: Aravind Srinivas", про который я уже рассказывал, а тут я расскажу только про diffs

1. Масштабирование и рост
Аравинд поделился цифрами
- 2024: ARR вырос до ≈$80 млн; декабрьская оценка $9 млрд.
- 2025 май: переговоры о раунде $500 млн при оценке $14 млрд.
- Штат ~200 человек; обязательное использование AI-кодеров Cursor и GitHub Copilot ускорило эксперименты с 3–4 дней до 1 часа.
2. Comet браузер как "когнитивная ОС"
Аравинд рассказал про следующую большую ставку от Perplexity, а именно концепцией их браузера Comet, так как
- Это единая точка контекста. Вкладки, куки, сессии и история уже содержат персональные данные, необходимые агентам.
- Его сложно скопировать, так как разработка мобильной версии браузера требует месяцы, что даёт стартапу фору.
- Браузер дает абстракцию над чат-ботами. Comet управляет несколькими задачами параллельно; чат-боты воспринимаются как частные случаи
Если говорить про технику, то
- Это Chromium fork с поддержкой расширений Chrome, что доступен подписчикам (200$/месяц)
- В нем есть такие фичи: omnibox-чат для информации и агентских задач, comet assistant в сайдбаре: суммирует почту, бронирует отели, оформляет покупки, заполняет формы
- Используется гибридная архитектура - локальные модели для быстрых задач, облачные API для сложных
- Данные хранятся локально, а режим strict блокирует трекеры и обрабатывает чувствительные запросы on-device
3. Perplexity находится в конкуренции с ключевыми игроками
- Google - AI Overviews, Gemini-сводки в Chrome, но модель CPC-рекламы мешает давать прямые ответы, так как это риск потерять доход
- OpenAI - здесть есть режим Search в ChatGPT, есть браузер в планах, но пока нет собственного индекса
- Anthropic - здесь уже есть веб-поиск в бете
Тут расчет на скорость инноваций, чтобы бежать быстрее конкурентов
4. Бизнес-модель и монетизация
Аравинд рассказал про варианты монетизации
- Подписка Pro/Max - Здесь расширенные модели, больше запросов. Маржинальность тут высокая - многие платят, но не используют лимит
- Usage-based агенты - Эта модель для автоматизация задач в Comet. Маржинальность средняя, так как затраты растут из-за потреблений внешних API
- Транзакции (CPA) - Например, бронирования Selfbook или шопинг Firmly. Маржинальность низкая (исторически ниже CPC)
- Венчур-фонд - Это про инвестиции в экосистему API. Доходность тут портфельная
5. Принципы организационной культуры
- "Пользователь никогда не ошибается" - продукт подстраивается под нативные запросы, не учит «prompt-инженерии»
- CEO лично фиксит баги и это мотивирует команду
- Обязательное применение AI-инструментов: "кто не использует Cursor, тот медленнее"

Ну и напоследок выводы
1. Браузер - логичное продолжение после поискового движка - по образу Google, что в 2008 выпустил Chrome
2. Сильный бренд + скоростная итерация > планового развития- при 10–20 млн платящих пользователей бренд становится самодостаточным активом, даже если крупные модели копируют функции.
3. Рыночные возможности лежат в агентских сценариях - Монетизировать надо не ответы, а действия: бронирование, шопинг, автоматизация рутины. Браузер-агент даёт инфраструктуру для usage-based тарификации.
4. Главный риск — убыточная себестоимость вычислений - рост запросов и агентских задач требует оптимизировать inference; Perplexity вкладывается в дистилляцию моделей и гибридную архитектуру.
5. Эпоха многополярного поиска - антитрестовые риски Google открывают путь альтернативам

#AI #Management #Startup #Engineering #ML #Agents #Software #Architecture

Опросы о влиянии AI на разработку софта за последние несколько лет (Рубрика #AI)

Опросы часто являются стандартным способом для оценки состояния индустрии и содержат ценные данные. Хорошо, когда они основаны на ответах большого количества респондентов. А так как меня интересуют темы влияния AI на разработку, то я решил изучить какие опросы уже были, какие результаты их проведения, а также какие методологии использовали авторы. В дальнейших постах я отдельно разберу интересные моменты, но пока поделюсь с вами получившейся подборкой.

1. Stack Overflow Developer Surveys (2023, 2024)
Эти опросы являются одними из самых масштабных и содержат ценные данные. Они основаны на опросе десятков тысяч инженеров, что все еще пользуются Stack Overflow (а не переключились полностью на ChatGPT). Опросы 2023 и 2024 годов соджержали отдельный блок вопросов про AI. Интересно, что в 2023 году 70% из 90,000 разработчиков уже использовали или планировали использовать AI-инструменты в своей работе. К 2024 году этот показатель вырос до 76%. Основными инструментами стали ChatGPT (83%) и GitHub Copilot (56%). Эти опросы можно использовать для отслеживания трендов, так как вопросы год от года достаточно похожие. Кстати, опрос 2025 уже прошел, но результаты пока не опубликованы. Как появятся я покручу данные и посмотрю на тренды.

2. GitHub Developer Survey (август 2024)
GitHub провел исследование среди 2,000 разработчиков из США, Бразилии, Индии и Германии. Результаты показали, что 97% респондентов использовали AI-инструменты на работе. Примечательно, что 61-73% разработчиков в зависимости от страны убеждены в том, что AI повышает их способность создавать ПО. Есть и более раннее иследование GitHub от сентября 2022 года, его результаты интересны для истории и изучения методологии, но сама информация мало релевантна текущей ситуации

3. JetBrains Developer Ecosystem Survey (2023, 2024)
JetBrains проводит свое исследование с 2017 года, впервые включив вопросы об AI в 2023 году. В 2024 году 84% разработчиков были знакомы с генеративными AI-инструментами. Исследование показало, что разработчики наиболее заинтересованы в делегировании AI рутинных задач.

4. DORA Research (2023, 2024)
Знаменитые DORA метрики создала команда DevOps Research and Assessment (DORA), что сейчас относится к Google. Ежегодно они публикуют отчеты, а в 2025 году они опубликовали отдельно "Impact of Gen AI in Software Development". Они обнаружили, что 76% разработчиков используют AI для ежедневных задач. При этом выявлен парадокс: AI увеличивает индивидуальную продуктивность на 2.1%, но снижает командную производительность на 1.5%. Этот report я разберу отдельно подробнее.

5. WeAreDevelopers "State of WebDev AI" (2025)
Интересное исследование, в котором участвовали 4к+ респондентов. 91% опрошенных веб-разработчиков "проводили эксперименты" с ChatGPT; Cursor IDE признан лидером AI-редакторов (80% узнаваемости) .

6. The Pragmatic Engineer Survey (2025)
Интересное исследование, в котором участвовали 3к+ респондентов. 72% инженеров считают AI-тулинг «самым инновационным рынком»; большинство отмечает быстрый приход стартап-инструментов, конкурирующих с Copilot

Исследования показывают, что AI стал неотъемлемой частью разработки ПО, но индустрия все еще находится в процессе адаптации к этой технологии, балансируя между преимуществами и рисками.

P.S.
Из похожего я недавно делал подборку (1 и 2) на тему "Developer Productivity for Humans", каждую из которых я разбирал и изучал отдельно. Думаю, что и опросы из сегодняшней подборки я разберу в деталях позже:)

#AI #ML #Software #Engineering #Processes #Metrics #Management