2 гига спустя - эпизод первый (Рубрика #News)

Это первый выпуск подкаста с лайтовым обсуждением новостей двумя ведущими Суть в том, чтобы в научпоп формате обсуждать интересные IT новости и выпускать эпизоды раз в неделю. В этом мне помогает Антон Костерин, мой коллега, с которым мы вместе развиваем архитектурную функцию в Т-Банке. Антон входит в программный комитет "Teamlead Conf", а также уже много раз появлялся в моем канале:
- Внешний подкаст с темой "Миграция в срок, реальность или миф?"
- Подкаст "Code of Architecure" в первой серии по книге ван Стина и Таненбаума "Distributed Systems"
- Третий выпуск Code of Architecture по книге "A Philosophy of Software Design"
- Code of leadership #17 - Interview with Anton Kosterin about Architecture

В первом выпуске мы обсудили темы
0) Vibe coding в обсуждении Y Combinator. Где vibe coding становится новым подходом к программированию, позволяющим быстро создавать код с помощью ассистентов без необходимости глубокого изучения программирования, что особенно полезно для стартапов и домашних проектов. Оригинальное видео и мой краткий разбор
1) Forbes написали о том, что 95% объектов критической инфраструктуры используют зарубежные решения, включая Zabbix для мониторинга (85%), что поднимает вопросы импортозамещения
2) Ситибанк допустил серьезную ошибку, случайно переведя 81 триллион долларов вместо 280 тысяч, что подчеркивает необходимость многоуровневой защиты в финансовых системах.
3) C++ сталкивается не только с проблемами безопасности, но и с проблемами маркетинга, что может привести к его упадку, несмотря на то, что он остается стандартом де-факто в индустрии. Об этом рассказал сам создатель языка, Бьерн Страуструп
4) Равинд Шинивас, CEO Perplexity, поделился своим опытом создания компании, разрабатывающей AI поиск с использованием LLM моделей и успешно конкурирует с Google Search, Microsoft Bing и остальными. Оригинальное видео и мой разбор
5) Исследование показало, что внешность кандидата может влиять на успешность прохождения интервью, что поднимает этические вопросы при найме. Нейронные сети могут перенимать человеческие предубеждения из обучающих данных, что особенно проблематично в таких областях как медицина, где важна точность прогнозов.

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

#Management #AI #Software #Engineering #Reliability #Processes #Productivity

ACM A.M. Turing Award для Эндрю Барто и Ричард Саттон (Рубрика #AI)

ACM A.M. Turing Award получили в этом году Эндрю Барто и Ричард Саттон. Эту награду часто называют "Нобелевской премией в области информатики" и им ее дали за их новаторский вклад в reinforcement learning (обучение с подкреплением). Их сотрудничество, начавшееся в 1980-х годах, ввело ключевые концепции, математические основы и влиятельные алгоритмы, которые стали фундаментальными для современных систем ИИ. Reinforcement learning позволяет машинам обучаться оптимальному поведению путем взаимодействия с окружающей средой через метод проб и ошибок, руководствуясь наградами и штрафами.

Среди их наиболее значимых достижений:
- Развитие концепции temporal-difference learning, а точнее TD-Lambda, позволяющей системам учиться на основе разницы между последовательными предсказаниями
- Создание математических основ обучения с подкреплением с использованием марковских процессов принятия решений
- Разработка методов градиента политики (policy-gradient methods)
- Концепция временной абстракции, позволяющая ИИ учиться поэтапно, что критически важно для систем, которым необходимо рассуждать на длительных временных горизонтах
- Использование нейронных сетей для представления изученных функций

Краеугольным камнем их наследия является влиятельный учебник "Reinforcement Learning: An Introduction", впервые опубликованный в 1998 году, со значительно расширенным вторым изданием, выпущенным в 2018 году. Эта книга широко признана определяющим руководством по reinforcement learning, четко излагающим ключевые идеи и алгоритмы. Кстати, я заказал себе как раз второе издание книги на английском, к концу марта оно доедет ко мне и дальше я попробую ее почитать:)

#AI #Math #Engineering #ML #Software

Code of Leadership #32 - Interview with Nikita Burkov about Marketing, Sales & Xsell

В очередном выпуске подкаста ко мне пришел интересный гость, Никита Бурков, который CTO в сфере X-Sell маркетинга и продаж в Т-Банке. Он обладает обширным и разносторонним опытом, а его карьерный путь начался с оффлайн-продаж в 10 лет, что сформировало его понимание рынка и потребностей клиентов. Также он развивал LMS-системы в университетах, создавал программное обеспечение для бухгалтерии международного процессингового центра и работал над первым финансовым маркетплейсом в России. Никита развивался, как Java-разработчик и стремительно прошел путь до CTO, благодаря страсти к технологиям и лидерским качествам. В подкасте мы обсуждаем как работает маркетинг, продажи, кросс-селл, а также как быть хорошим техническим директором. Вообще мне все эти темы отзываются, так как я уже больше 10 лет связан с маркетингом, привлечением и всем всем всем. Кажется, именно поэтому мы записали рекордный выпуск на 2.5 часа, где мы поговорили на следующие темы

- Личный и профессиональный путь Никиты
- Системы и платформы для кросс-продаж
- Маркетинговые стратегии: кросс-канальность и омниканальность
- Сегментирование и таргетирование
- Бизнес-метрики и NPV в экосистеме
- Архитектура бизнес-доменов
- Типы команд и их функции
- Триггерная система и обработка данных
- Роль технического директора и стратегическое планирование
- Продуктовый подход и развитие сотрудников

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

#Architecture #Software #Engineering #ProductManagement #Management #Economics

Модели T-lite и T-pro: training report

Интересный отчет от моих коллег о том, как проходили тренировки моделей T-lite и T-pro.
- Зачем адаптировать модели на русский язык - тут ребята объясняют, а зачем всем этим заниматься, если есть зарубежные open source модели
- Стадии обучения языковой модели - здесь кратко идет речь про Parameter Efficient Fine-Tuning, Supervised Fine Tuning, General Post-Training и главное Continual Pretraining, который применяют ребята. Кратко суть подхода в том, чтобы

Дообучать уже сильные открытые модели, тратя на обучение на порядки меньше ресурсов, чем создатели текущих моделей лидеров индустрии.

А затем авторы разбираю каждый этап в деталях и это действительно интересное чтиво для интересующихся современными подходами к созданию LLM. Рекомендую.

#AI #ML #Software #Engineering

The Future of U.S. AI Leadership with CEO of Anthropic Dario Amodei (Рубрика #AI)

11 марта 2025 года состоялась беседа в рамках серии "CEO Speaker Series" Совета по международным отношениям (CFR), где президент совета Майкл Форман провел интервью с генеральным директором и соучредителем компании Anthropic Дарио Амодеем. Именно на этой встрече Дарио дал свое предсказание о том, что 90% кода через полгода будут писать AI, а через год и все 100%. В итоге, я решил посмотреть всю встречу и отметить основные моменты, что мне показались интересными.

1) Основание и миссия Anthropic
Дарио Амодей рассказал о причинах ухода из OpenAI в конце 2020 года и создании Anthropic. Он объяснил, что его команда одной из первых распознала "гипотезу масштабирования" - принцип, согласно которому ИИ становится лучше при увеличении вычислительных мощностей и данных. Anthropic была создана как компания, ориентированная на миссию, с акцентом на безопасность и предсказуемость технологий ИИ. Здесь Дарио недвусмысленно намекнул, что у OpenAI были другие планы на развитие этих технологий
2) Безопасность и ответственное развитие ИИ
Амодей подробно рассказал о подходах Anthropic к безопасности, включая:
- Механистическую интерпретируемость для понимания поведения ИИ
- Конституционный ИИ, обучаемый на основе принципов
- Политику ответственного масштабирования
- Уровни безопасности ИИ, сравнимые с уровнями биобезопасности
3) Будущее программирования
Это самый горячий топик, из-за которого я пошел смотреть это выступление. Амодей сделал прогноз о том, что в течение 3-6 месяцев ИИ сможет писать 90% всего программного кода. При этом он отметил, что роль программистов изменится, но останется важной для определения требований, дизайна приложений и принятия критических решений.
4) Геополитика и национальная безопасность
Амодей подчеркнул важность экспортного контроля над технологиями ИИ и обсудил риски, связанные с возможным доминированием Китая в этой области. Звучала фраза в стиле того, что кто получит доминацию в этой технологии, тот получит военное и экономическое превосходство и во всем остальном. Также обсуждались вопросы контрабанды графических процессоров и сотрудничества с институтами национальной безопасности.
5) Социальные последствия развития ИИ
В беседе затрагивались вопросы влияния ИИ на рынок труда, общество и человеческие ценности. Амодей представил как оптимистичный, так и пессимистичный сценарии будущего, где ИИ может либо помочь людям создавать великие вещи, либо привести к обесцениванию человеческого труда. Интересно, что я сейчас дочитываю книгу "Feeding the Machine" ("Как кормят машину"), где очень интересно поднимаются именно эти темы.
6) Перспективы развития ИИ
Амодей обсудил возможные ограничения роста ИИ, включая потенциальное исчерпание данных к 2030 году, но отметил, что новые методы обучения, такие как "reasoning models", могут устранить эту проблему, позволяя ИИ учиться на основе собственных мыслей.

Беседа завершилась размышлениями о том, что, несмотря на все технологические достижения, человеческие качества и взаимоотношения останутся важными, а ИИ может помочь, но не заменит фундаментальные человеческие ценности.

#AI #Software #Engineering #Storytelling #ML #Architecture

[2/3] A Prompt Pattern Sequence Approach to Apply Generative AI in Assisting Software Architecture Decision-making (Рубрика #Architecture)

Продолжим рассмотрение whitepaper на тему использования Gen AI в архитектуре, начатый в первом посте, рассмотрением паттернов промтинга.

1) Software architect persona pattern
Это паттерн, расширяющий паттерн персоны, где суть в том, чтобы AI генерировал контент релевантный для архитектора, то есть он был точный и адресовал те проблемы, с которыми сталкиваются архитекторы. Это достигается путем создания запросов, которые четко определяют роль архитектора программного обеспечения, цели и ограничения в отношении целевого проектного решения. Вот шаблон промпта от авторов

You are [Persona’s Name] in the role [Role]. Your main goal is [Main Goal]. You cannot [Limitations/Constraints].

В качестве примера промпта приводится следующий

You are a Senior Software Architect specializing in cloud-based solutions.Your main goal is to optimize system scalability and performance. You cannot propose solutions that significantly increase operational costs.

2) Architectural project context
Авторы предлагают задавать контекст проекта через три ключевых фактора
- Операционные, такие как доступное время разработки
- Организационные, такие как размер команды
- Финансовые, такие как бюджет проекта
Эти факторы напрямую влияют на осуществимость и направление архитектурных решений, что требует паттерна, который эффективно интегрирует эти элементы в процесс принятия решений. Интересно, что авторы тут рассматривают проектный подход реализации больших архитектурных изменений. Вот шаблон промпта от авторов

Given a development timeline of [Time], a team of [Team Size], and a budget of [Budget], determine if the proposed architecture [Architecture Description] is feasible and can meet the project requirements without compromising on quality.

В качестве примера промпта приводится следующий

Given a development timeline of 6 months, a team of 10 developers, and a budget of $500k, determine if implementing a microservices-based architecture for our e-commerce platform is feasible and can deliver the required scalability and performance within these constraints.

Как по мне, такое описание контекста проекта кажется слишком убогим, хотелось бы посомтреть как выглядит output LLM, если ей скормить полноценное описание:)

3) Quality attribute question pattern
Для проектирования качественной архитектуры нужно правильно определить функциональные и нефункциональные требования, а также выделить желаемые атрибуты качества. Дальше уже можно выбирать архитектурные паттерны, тенологиии и все остальное. В этом паттерне авторы предлагают научить AI-ассистент задавать вопросы живым архитекторам как раз для выделения этих ключевых атрибутов качества. Вот так выглядит шаблон промпта

You are [Role] responsible for [Description Project]. Your primary focus is to design an architecture that excels in [List Of The Quality Attribute]. Your task is [Decision-making Process]. You should ask [Clarify Doubts]. [Recommendations]. Additionally, provide a [Comprehensive Prompt].

В качестве примера промпта приводится следующий

Уou are an experienced software architect responsible for creating a credit card processing system for a medium-sized financial institution. Your primary focus is to design an architecture that excels in scalability, security, and performance. Your task is to carefully navigate through the decision-making process of the credit card processing system architecture step by step. You should ask any necessary questions to clarify doubts about the quality attributes of the new system. Avoid making any architectural decisions until all questions are answered. Additionally, provide a comprehensive prompt that includes all the data collected in the previous steps, along with an explanation of the rationale behind each architectural decision-making.

Продолжение обзора паттернов и их совместного использования в следующем посте.

#Architecture #GenAI #AI #ML #Software #Engineering #SystemDesign #DistributedSystems #Project

[2/2] Feeding the Machine (Как кормят машину) (Рубрика #AI)

Продолжая обзор книги про закулисье AI, расскажу про остальные главы.

2) The Engineer (инженер) - здесь мы переносимся в Лондон и наблюдаем за работой AI engineer, который обучает модели. Ради попадания в сроки приходится идти на компромиссы по безопасности и качеству, а ради удешевления процесса аутсорсить его в африканские страны.
3) The Technician (техник) - здесь мы попадаем в Исландию, где теперь популярно строить датацентры из-за правильного климата. Мы смотрим на все глазами техника в датацентре, который поддерживает работу машин. А дальше авторы разбирают то, как устроен рынок датацентров и электричества для них сейчас, а также рассказывают о паутине из оптоволокна, что связывает все это воедино (и значительной частью этой ключевой инфраструктуры владеют мультинациональные бигтех компании, что усиливает их переговорное плечо с любым правительством - они почти сами себе правительства и государства)
4) The Artist (артист) - здесь рассказывается банальная история про актера озвучки, что подписала контракт на озвучку с передачей полных прав. А дальше этот голос был оцифрован и использован для генерации искусственного голоса и text-to-speech задач. Дальше авторы рассказывают, что по всему миру такая практика применяется все чаще, что, фактически, приводит артистов к конкуренции с цифровыми версиями самих себя
5) The Operator (оператор) - здесь речь идет про операторов на складе Amazon, где ими управляет AI, который составляет рабочий план, контролирует его исполнение и так далее. В общем, весь их распорядок контролируют системы мониторинга производительности. Тут авторы проводят параллели между современными практиками и историческими аналогами вроде конвейеров Форда. А мне вспомнилась книга "Nomadland" ("Земля кочевников"), о которой я писал раньше
6) The Investor (инвестор) - Глава анализирует дилемму инвесторов технологических компаний, вынужденных балансировать между этическими соображениями и стремлением к прибыли, демонстрируя внутренние противоречия капитализма в сфере высоких технологий. Вообще, тут появляется единственный персонаж, из описанных в книге, кто получает бенефиты от машины извлечения и рад сложившемуся порядку. Собственно, это инвестор из Кремниевой Долины, который начинал как сотрудник НКО, а потом бросил все это ради зарабатывания денег. В итоге, он делает все, чтобы стартапы в его портфеле росли, даже если нужно выжимать все соки из аутсорсеров из третьих стран.
7) The Organiser - рассказ начинается с организатора профсоюза разметчиков данных, а дальше рассматриваются стратегии коллективных действий и организации труда, направленные на улучшение условий работы в индустрии искусственного интеллекта.
😍 Rewiring the Machine - здесь авторы предлагают конкретные рекомендации по реформированию систем искусственного интеллекта в сторону большей прозрачности и справедливости путем расширения прав работников и повышения ответственности технологических корпораций.

В общем, авторы показывают, что искусственный интеллект не является нейтральной или полностью автоматизированной технологией. Напротив, это «машина извлечения» (extraction machine), зависящая от огромного количества человеческого труда, который часто остается скрытым от общественности. Они рассказывают про системную эксплуатацию работников в глобальных цепочках поставок, питающих технологии AI, проводя параллели с историческими формами эксплуатации по признакам расы, пола и колониального наследия. Но они не просто сгущают краски, но и выступают за повышение прозрачности процессов разработки AI-технологий, расширение прав работников через профсоюзы и коллективные действия для привлечения крупных технологических компаний к ответственности и построения более справедливого цифрового будущего ... Но я думаю, что призыв останется без ответаа и мы увидим дальнейшее движение AI параллельными треками: хищно капиталистическим в США и неотвратимо социалистическим в Китае. Интересно будет посмотреть какой подход возьмет вверх.

#AI #Software #Management #Processes #Productivity

Five Global Trends in Business and Society in 2025 (Рубрика #Management)

Наконец-то прочитал список топ-рисков от INSEAD на 2025 год. Я теперь подписан на часть их рассылок, так как четыре года назад я учился MBA в рамках кастомной программы для Т-Банка, где нам преподавали часть модулей ребята из INSEAD, а часть ребята из Сколково. Собственно, профессура INSEAD устраивает опросы выпускников насчет рисков на кратко-, средне- и долгосрочный период, а потом публикует такие отчеты. Отчет на 2025 год вышел в конце января и сейчас уже можно сравнить с тем, как все развивается. Ребята выделили 5 топ-рисков
1) Climate change - авторы отмечали в прогнозе экстремальные погодные явления, потеря биоразнообразия и коллапс экосистем, изменения земных систем и нехватка природных ресурсов.
2) Geopolitical crises - авторы предсказывали высокий риск вооруженных конфликтов (прокси-войны, гражданские войны, перевороты и терроризм). Ухудшение отношений между США и Китаем, усиление протекционизма и снижение международного сотрудничества. Рост напряженности в регионах (Украина, Ближний Восток, Тайвань). Все примерно туда и идет
3) Income and wealth inequality - авторы говорят про неравенство, которое усиливает поляризацию общества и подрывает социальную стабильность. Сохраняется высокий уровень инфляции на продовольствие в развивающихся странах. Сохраняется высокий уровень бедности: почти 700 миллионов человек живут в крайней бедности.
4) Social instability - авторы говорят про усиление поляризации общества из-за распространения дезинформации и недоверия к лидерам. Собственно, люди уже не верят в рассказы политиков, бизнесменов и журналистов, а сверху еще добавляется дезинформация и дипфейки от Gen AI.
5) Inflation or recession - Хотя глобальная инфляция снижается, она остается высокой в некоторых развивающихся странах. Экономический спад остается значительным риском для бизнеса.

В общем, кажется, что риски были выделены правильно и все предсказанное похоже на правду ... (только вот что с этим делать?)

#Management #Processes #Culture #Leadership

[1/3] AI Leadership Summit 2025 - AI Leadership (Рубрика #AI)

С интересом я посмотрел видео первого дня AI саммита, что про проходил недавно в Нью-Йорке. В этот день были обзорные рассказы инвесторов из AI фондов, что вкладываются в AI, а также основателей стартапов или представителей крупных компаний, что сейчас активно экспериментируют с Gen AI технологиями. Отдельно отмечу, что очень неудобно, когда все выступления скомпонованы в одном видео, которое я смотрел неделю по утрам:) Поделюсь с вами кратким рассказом о том, какие доклады были в рамках этой конференции

Lux Capital: Trends in 2025 (00:17:20)
Грейс Исорд из Lux Capital представила обзор текущего состояния ИИ. Она отметила экспоненциальный рост технологий ИИ за последние 2,5 года, упомянула про Stargate, OpenAI и DeepSeek, а дальше ушла в обсуждение "момента ИИ-агентов" и отметила, что автономные агенты пока не работают идеально из-за разного вида ошибок и показала это на примере агента, что помогал ей с заказом билетов на конфу
- Decision error - wrong facts (спутан рейс)
- Implementation error - wrong access/integration (нужно преодолевать CAPTCHA)
- Heuristic error - wrong criteria (не учитывался трафик по пути в аэропорт)
- Taste error - wrong personal preferences (спикер не готова летать Boeing 737)
Она описала пять стратегий для улучшения агентов:
- Data curation (курирование данных)
- Important of evals (важность оценки)
- Scaffolding systems (создание надежных систем)
- UX is the moat that matters (UX - имеет основное значение)
- Mutlimodality (мультимодальность.)

AI-execs: Building an AI Strategy That Fails (00:35:11)
Ироничный доклад от двух топов о том, как создать AI стратегию, которая провалится. Рассказ в форме книги "Вредные советы" от Григория Остера, которую я любил читать в детстве. Спикеры описали распространенные ошибки: создание разрозненных команд, неясное определение стратегии, использование непонятного жаргона, неправильное распределение задач, фокус на инструментах вместо процессов и игнорирование данных. Фактически, действуя от обратного, можно избежать многих проблем при разработке AI-стратегии.

Privacera: Building with AI Safety and Security (00:52:05)
Дон Боско Дури, сооснователь и CTO Privacera, рассказал о безопасности и надежности AI-агентов. Он объяснил, что агенты, задачи и инструменты обычно работают в одном процессе OS, что создает проблемы безопасности. Дури предложил трехуровневый подход: оценка рисков перед внедрением, обеспечение правильной аутентификации и авторизации, и наблюдение за работой агентов в реальном времени.

Augment Code: Self-Coding Agents (01:10:07)
Колин Флэри из Augment Code продемонстрировал AI-агента, который помогает писать свой собственный код. Более 90% из 20,000 строк кода их агента было написано самим агентом под наблюдением человека. Агент смог добавлять интеграции с третьими сторонами, писать тесты и даже оптимизировать собственную производительность. Флэри подчеркнул важность контекстного движка, возможностей рассуждения и безопасной среды выполнения кода.

Neo4j: Knowledge Graphs (02:07:32)
Стеф Чин из Neo4j и Джонатан Лоу из Pfizer обсудили использование графовых баз данных для улучшения RAG-систем. Лоу рассказал о проекте в Pfizer, где графовые базы данных помогли ускорить передачу технологий от лабораторных исследований к промышленному производству лекарств. Они объяснили, как графовые базы данных обеспечивают лучший контекст для LLM и уменьшают галлюцинации. На самом деле рассказ похож просто на промо комбинации использования эмбеддингов для документов + дополнительных связей между сами медицинскими документами, что можно хранить в виде связей в графе.

Продолжение обзора конференции AI Summit в следующих постах.

#AI #Software #Product #Management #Leadership