Evaluation как отдельная индустрия: часть 2 

Evaluation в AI настолько критичен, что вокруг него сформировалась целая индустрия специализированных инструментов и платформ.

В 2024-2025 годах рынок evaluation-платформ перешёл от экспериментальных инструментов к production-grade решениям. Сегодня существуют полноценные бизнесы, которые покрывают весь цикл разработки AI-систем: Braintrust, Langfuse, PromptLayer, Patronus AI и другие.

Это уже не сторонние инструменты, а специализированные платформы с собственными командами, методологиями и enterprise-клиентами. Они решают задачи, которые невозможно закрыть универсальными средствами: от A/B-тестирования промптов до continuous monitoring в production с real-time alerts.

↗️ Факт существования этих бизнесов подчёркивает, что evaluation — не вспомогательная функция, а критически важная часть AI-инфраструктуры, требующая специализированных решений.

Даже крупные tech-компании развивают собственные evaluation-фреймворки: OpenAI создаёт инструменты для оценки своих моделей, Microsoft встраивает evaluation в Azure AI, а Anthropic использует подход Constitutional AI — методологию, в которой модели выстраиваются по набору принципов (конституции) вместо исключительно человеческой разметки. 

Почему это важно для бизнеса

Для бизнеса evaluation — механизм управления рисками и инвестициями.

AI-проекты стоят дорого. Они требуют времени, ресурсов и экспертизы. И без систематического evaluation вы не можете ответить на базовые вопросы: 

• Работает ли решение так, как мы ожидали? 
• Оправдывают ли результаты инвестиции?
• Какие риски мы несём?
• Где нужно улучшать систему? 
• Как изменения влияют на результат?

Evaluation превращает AI из «чёрного ящика» в управляемую систему, где каждое решение обосновано данными.

Какой вывод?

Индустрия AI вступила в фазу production-grade решений. И ключевой элемент этой трансформации — переход от восприятия evaluation как опциональной проверки к пониманию её как основы разработки.

Успешные AI-проекты строятся не только на самых продвинутых моделях. Они строятся на систематическом подходе к измерению, пониманию и улучшению. Evaluation — не контроль, а способ понимать, что и зачем вы делаете и как это работает.

Без этого фундамента AI остаётся экспериментом. С ним — становится инструментом для решения бизнес-задач.

AI-агенты: дизраптор для платформенной экономики

Последние 10–15 лет сервисы вроде Uber, Airbnb и Amazon были стандартом в своих категориях. Но теперь контроль смещается к AI-агентам: они меняют саму механику потребления и делают платформенную модель менее устойчивой, чем кажется.

Экономика disintermediation

Традиционные платформы берут 15-30% комиссии: Uber — 20-25% с водителя, DoorDash — до 30% с ресторана, Airbnb — 14-16% с обеих сторон. AI-агенты могут сжать это до 2-7% — payment processing + обработка. 

Как это работает: агент перехватывает запрос в момент возникновения намерения — в календаре, переписке или поисковике — до того, как человек откроет какую-то конкретную платформу. Затем агрегирует предложения со всех площадок одновременно, ведёт прямые переговоры с продавцами и завершает покупку автономно.

Уже к 2030 году объём agentic commerce достигнет $3–5 трлн. Только один ритейл в США может дать до $1 трлн транзакций, оркестрируемых агентами.

Разные отрасли — разная скорость разрушения

Travel
Наиболее уязвимая категория: OTA тратят $17.8 млрд в год на маркетинг, но всё больше пользователей бронируют отели и билеты через AI, минуя сайты. При этом лишь 2% готовы передать агентам полную автономию в планировании — доверие к сложным сценариям остаётся низким.

E-commerce
Получит самый сильный удар в абсолютных величинах: McKinsey прогнозирует, что к 2030 году через агентные сценарии будет проходить $900 млрд–$1 трлн B2C-ритейла.

Только за год трафик из GenAI-браузеров вырос на 4 700% — хотя это всё ещё менее 1% от общего объёма.

Финансовые услуги
Здесь риск носит концентрированный характер: BCG оценивает, что переход к AI-First моделям может добавить банкам до $370 млрд дополнительной годовой прибыли, но параллельно agentic AI размывает традиционные источники дохода. 

Агенты могут сравнивать ставки, переводить средства на счета с более высокой доходностью (средняя ставка по депозитам — 0,38%, у онлайн-банков — более 4%) и подбирать оптимальные кредитные продукты. Дополнительно они способны инициировать account-to-account платежи на checkout, обходя interchange fees.

Delivery
Сегмент пока в стадии интеграции, а не разрушения. Крупные игроки — Uber Eats, DoorDash, Instacart — встроились в ChatGPT в октябре 2025 года и увеличили частоту заказов через существующие приложения. Но в долгосрочной перспективе остаётся риск превращения платформ в чистые utility, которые AI воспринимает как взаимозаменяемые. 

Реальность сложнее, чем кажется

Несмотря на быстрое развитие и рост интереса, реальное использование остаётся ограниченным:

• Только 10% потребителей хоть раз покупали что-то через AI
• ~50% агентных задач внутри CRM-процессов проваливаются
• Даже лучшие агенты завершают цели максимум в 55% случаев

Отдельный слой — доверие. Например, только 14% американцев пользовались AI shopping assistants, 41% — избегают таких сценариев. При этом подсказки внутри ритейлерских экосистем принимаются примерно в три раза чаще, чем рекомендации сторонних агентов.

Платформы не сдаются

📍 Amazon запустил AI-ассистента Rufus, которым воспользовались более 250 млн клиентов в 2025 году. Это может принести компании до $10 млрд выручки и $700+ млн операционной прибыли.

Покупатели, использующие Rufus, на 60% чаще завершают покупку.

📍 Booking развивает агентные функции, которые закрывают всё больше сценариев по ходу поездки: от подсказок при сбоях до быстрых изменений бронирования и коммуникации с поддержкой.

📍 Wildberries тестирует AI-ассистента, который не просто ищет товары, а помогает принимать решения — от фильтрации до выбора оптимальной модели.

Стратегический вопрос: кто контролирует агента?

Платформа, LLM-провайдер или персональный агент пользователя, работающий поверх всех площадок? От ответа зависит, кто захватит $3–5 трлн к 2030 году.

Ближайшие два-три года станут тестом на устойчивость платформенных бизнесов: либо сетевые эффекты и бренд удержат пользователей внутри экосистем, либо их позиции размоет также быстро, как это было с диспетчерами в такси и консультантами в travel-агентствах.

Датасеты — новая нефть? Почему данные стали дороже AI-моделей

Пока все обсуждают новые версии ChatGPT и Claude, в индустрии происходит тектонический сдвиг: датасеты превращаются из вспомогательной инфраструктуры в самостоятельные бизнесы стоимостью в миллиарды долларов.

Показательный пример — сделка Meta (запрещена в РФ) и Scale AI. Корпорация инвестировала в стартап по маркировке данных $14.3 млрд, получив 49% акций. Это вторая крупнейшая сделка компании после покупки WhatsApp (запрещён в РФ). 

Вложения увеличили оценку Scale AI до $29 млрд, а выручку — с $80 млн в 2021 до прогнозируемых $2 млрд в 2025. 

Почему это происходит?

Если коротко, то модели коммодитизировались. GPT-4, Claude, LLaMA доступны через API или open-source. Но проприетарные датасеты — нет. А именно качество и редкость данных сейчас считается главным конкурентным преимуществом и Баффетовским economic moat для AI-стартапов. 

Три драйвера роста: 

1️⃣ Растущая ёмкость: рынок AI-датасетов уже оценивается в $3.5+ млрд и может вырасти до $17 млрд к началу следующего десятилетия.

2️⃣ Evaluation: развитие AI-агентов требует собственных evaluation datasets. Сегмент растёт с $5.4 млрд (2024) до $50 млрд в 2030 при CAGR 45.8%. На этом строится бизнес Braintrust ($45M при оценке $150M) и Patronus AI ($20M инвестиций).

3️⃣ Глубина: общие модели остаются поверхностными в специализированных областях, поэтому появляются отраслевые проекты.

• Bloomberg потратил ресурсы на обучение BloombergGPT на 363 млрд токенов финансовых данных за 40 лет. 
• Tempus AI заработал $693 млн выручки в 2024 на медицинских датасетах. 
• RELX выделил 70% R&D-бюджета на AI и данные, опираясь на 138 млрд юридических документов.

Новая экономика данных

В бюджетах компаний также появляются отдельные статьи доходов, которых раньше не существовало.

• Reddit: контракты на $203 млн, включая $60 млн в год от Google
• News Corp: сделка на $250 млн на пять лет с OpenAI
• NVIDIA: покупка Gretel AI за $320+ млн

Ключевой вопрос сейчас в том, понимает ли ваша компания ценность данных, на которых она сидит, и готова ли монетизировать их раньше конкурентов?

Meta* и Manus

🪙 Meta* купила не стартап, а направление

В конце прошлого года компания объявила о покупке китайского AI-стартапа Manus за $2+ млрд. Сделку закрыли за десять дней. Фонд Benchmark получил около х4 возврата за восемь месяцев — это один из самых быстрых VC exits в истории.

Но цифры здесь вторичны. Ключевой вопрос — что именно купила Meta*.

Manus не разрабатывают собственные модели.  В основе — сторонние LLM, включая Claude от Anthropic и Qwen от Alibaba. Их реальная ценность в orchestration layer — системе, которая координирует модели и инструменты для выполнения сложных задач. Агент запускает полноценные Linux-воркспейсы в облаке — с sudo-доступом и выходом в интернет.

Фактура за 8 месяцев:

⭐️ $100M+ ARR
⭐️ 147 трлн обработанных токенов
⭐️ 80 млн созданных виртуальных компьютеров

Почему эта сделка так интересна?

До сих пор большинство AI-продуктов работали в режиме ассистента: предлагали идеи, рекомендации и подсказки и ждали дальнейшего решения от человека. В Manus отошли от этой модели.

Их value proposition — не помогать принимать решения, а принимать и самостоятельно исполнять решение. Это даже начали назвать Decision-as-a-Service — противовес классическому SaaS.

Продажа инструментов означает когнитивную нагрузку на пользователе. Продажа решений — эту нагрузку снимает.

Что это значит для Meta*?

Компания владеет крупнейшей distribution-платформой в мире: WhatsApp* (2B+), Instagram* (2B+), Facebook* (3B+). При этом Meta* отставала в agentic capabilities от Microsoft Copilot и OpenAI.

Сейчас у корпорации появляются интеграционные возможности:

• WhatsApp Business*: агенты для SMB — обработка заказов, scheduling, customer service
• Instagram*: автоматизация для creators
• Marketplace: оптимизация листингов и matching

Аналитик D.A.Davidson заметил ключевое:

«One of the things they saw in Manus was it was being incorporated into WeChat, which is really a model for what they want to do with WhatsApp».

Сигнал для индустрии

В одном из отчётов Gartner назвал сделку первым убедительным end-to-end AI-agent stack. Это важная валидация идеи о том, что application layer способен генерировать $100M+ ARR без собственных моделей.

Моя позиция: если модельная гонка выходит на плато, конкуренция смещается в orchestration layer — к тем, кто превращает capabilities в completed work. Meta* ставит именно на это.

* Meta, а также её продукты Facebook, Instagram и WhatsApp признаны экстремистскими на территории РФ.

И ещё по вчерашнему посту

Интересная мысль от Constellation Research о сделке Meta* и Manus.

Meta* может показывать рекламу в момент supervision — когда пользователь наблюдает за работой агента. А это почти всегда не мгновенный процесс. Те есть фактически появляется новый ad inventory с контекстом не «что ты гуглил», а «что ты делаешь прямо сейчас».

↗️ Пока рынок обсуждает будущее агентных систем, Meta*, возможно, не забывает о будущем рекламы.

* Meta признана экстремистской организацией на территории РФ.

AI-агенты окружены огромным количеством мифов. И один из главных — что основные расходы связаны со стоимостью самой модели.

Наши коллеги уже развенчали этот миф: «Оценка эффективности агента может стоить как сам агент».

Но это не значит, что оценку можно отложить. Ее нужно встраивать в проект с первого дня.

Обсуждаем с Ильей Филипповым, CEO red_mad_robot AI, как приручить дракона и выстроить оценку эффективности, сделав ее частью системы.

❓Кто внутри компании «владеет» агентом — и платит за анализ эффективности

Обычно владелец агента — лидер бизнес-функции, которая отвечает за конкретный процесс и его P&L. HR-агент — у HR-подразделения, агент службы поддержки — у команды поддержки.

При этом почти всегда есть представители ИТ: они выступают техническими владельцами и отвечают за работу в продакшене.

Но оценивать бизнес-эффективность будет, конечно, бизнес. Потому что именно он получает экономию (или не получает).

❓ С чего начать оценку и на какие метрики равняться

1-й слой оценки — accuracy
 
Это базовый критерий допуска системы к использованию. Если показатель ниже нужного порога, агента нельзя выпускать в процесс. При этом для разных процессов этот уровень будет своим. Но требование по точности хотя бы на валидационном датасете — это порог допуска ко второму слою.
 
2-й слой оценки — TCO (совокупная стоимость владения)
 
В него входят разработка, инференс, интеграции, поддержка, мониторинг и, главное, ревью человеком. Бывает, что классные результаты достижимы только на дорогих облачных моделях или на моделях, которым требуется дорогое железо. Это нужно считать прямо на старте.
 
3-й слой оценки — экономия и доходы

Это высвобожденное время в FTE, стоимость одного обращения или операции до и после внедрения, прирост пропускной способности, сокращение цикла и влияние на выручку через конверсию и удержание.

А как же ROI?

ROI — понятная и точная метрика, но на первых этапах ИИ-проектов её часто сложно измерить, поэтому начинать лучше с другого.

❓К чему нужно быть готовым — «подводные камни» подсчета эффективности

Один из главных — нелинейные эффекты.

Например, банковская операция из-за множества проверок документов занимает два-три рабочих дня.

На рынке все участники предлагают примерно такой же срок.

Проектируем систему, которая почти мгновенно проводит основные проверки и передает человеку уже подготовленный результат на проверку. Общее время операции сокращается до двух-трех часов.
 
С точки зрения экономии в FTE и TCO такой агент может не окупиться.
 
Но банк за счет скорости выходит из «кровавого океана» одинаковых сервисов и предлагает рынку уникальную по скорости услугу.
 
Результат — прирост новых клиентов и рост NPS текущих.
 
Но такие вторичные эффекты уже сложно считать и обосновывать на уровне бюджетов. Поэтому подобные проекты чаще реализуют лидеры с более визионерской позицией: они смотрят не только на прямую экономию, но и на то, как ИИ может изменить саму логику сервиса.

#голос_AI
Подписывайтесь на AI Inside в Max | ВКонтакте