Почему продукты вокруг нас становятся хуже?

Это вопрос, о котором я периодически думаю наверное последние пару лет. Бигтех развивается с рекордной скоростью, ML-изация ломает технологический потолок, кажется, уже раз в полгода, а все большие компании уже давно глубоко datadriven и обложены аналитикой со всех сторон. И тем не менее мой личный каждодневный пользовательский опыт деградирует с каждым месяцем. Как это возможно?

В целом, на определенном размере компании datadriven решения фактически становятся единственным способом хоть как-то работать с рисками, потому что любое изменение метрики на десятые доли процентного пункта на многомиллионной аудитории выливается в гигантский эффект в деньгах. Process и people driven компании просто не выживут на масштабах, на которых функционируют большие корпорации. Однако, иронично, что именно datadriven подход и приводит нас к этой сжимающейся петле плохого клиентского опыта. У Герберта младшего во всем Баттлерианском Джихаде, о котором писал недавно, была ровно одна хорошая мысль, звучит она примерно так: "Без опоры на данные здравый смысл близорук". И это действительно так, однако, верно и обратное, без здравого смысла опора только на данные сродни дальнозоркости, потому что она игнорирует то, что у нее прямо под носом - собственный живой человеческий опыт.

Любой datadriven подход хорош настолько, насколько хороши его таргетные метрики. Какие метрики ставят во главу угла компании, поставляющие нам кошмарные супераппы, подмешанные в корзины бытовых товаров бессмысленные товары премиальной электроники, интерфейсы, удлиняющие путь до заказа такси в три раза? Да очевидно какие - те, которые прокрашивают в зеленый метрики, стат.значимо влияющие на выручку прямо сейчас. Новое продуктовое направление заезжает в суперапп, теперь ваш пользовательский путь хуже, а интерфейс захламлен, но не настолько, чтобы прокрасить отток вашим уходом, вам особо некуда идти, у остальных тоже самое. Зато adoption нового продукта растет за счет аудитории, которая уже здесь, а client acquisition cost падает. Ваше минорное неудобство не стат.значимо в деньгах компании. Зато оно значимо на уровне здравого смысла. Дело в том, что клиентский опыт имеет кумулятивный эффект и обязательно выстрелит, когда придет подходящий момент.

Чего больше всего боятся большие корпорации? Того, что завтра придет стартап, который собрали один DS, полтора инженера и полупродакт-полувайбкодер. И кроме очевидного снижения технологического барьера для создания инновационного продукта, ключевой причиной этого страха является то, что у тебя за спиной сидит закошмаренная пользовательская база на десятки миллионов человек, которая свалит при первой возможности. Рынок никогда не был настолько уязвим к потенциальным дизрапторам. Так при чем здесь здравый смысл? Здравый смысл толкает нас к тому, чтобы вместо запуска бесконенчиных тестов остановиться и подумать, обратиться к собственному опыту. Стив Бланк своим "Ответов нет в этом здании, выходите наружу" сломал несколько поколений продактов, понявших его слишком буквально. Бланк защищает нас от слишком сильной веры в собственную идею, так называемого confirmation bias, он говорит, что опора только на интуицию фаундера крайне опасна. Однако, трактуют его экстремально, полностью исключая собственную интуицию. На самом деле ответы еще как есть в здании, они прямо внутри вас. Вы - живой человек, пользователь, потребитель собственных продуктов. Именно вы и есть ваш первый и главный предмет исследования, ваш собственный накопленный пользовательский и продуктовый опыт. Вам не нужен AB-эксперимент на два квартала, чтобы понять, что что-то работает плохо, когда две секунды собственного мыслительного процесса говорят вам, что это плохо.

Более того, все исследования и попытки понять пользователей абсолютно бессмысленны без обязательного условия понимания себя. Дэниел Гоулман, главный методолог эмоционального интеллекта, определяет его компоненты строго последовательно: на самом первом месте стоит self-awareness, самосознание, и только на четвертом стоит эмпатия - способность понимать чувства, потребности и намерения других людей. Да, Гоулман пишет про межличностные отношения, а не продуктовую аналитику, но продуктовая аналитика - тот же анализ банального человеческого поведения, но на массовых данных. Таким образом любое исследование, любой эксперимент в попытке оценить влияние на пользователей не будет поддаваться корректной интерпретации, если вы банально на уровне себя не понимаете, что делаете.

Признаком хорошего продукта и продакта на самом деле является системное применение обеих компонент: и здравого смысла, и уверенной опоры на данные. Только такой комбинированный подход позволяет понимать реальные долгосрочные трейд-оффы и эффективно работать с лояльностью своей аудитории. Только понимание собственного опыта может начать ваш путь к пониманию клиентского опыта и выстраиванию корректного целеполагания для ваших datadriven подходов. На самом деле получается забавный парадокс. Здравый смысл близорук, но datadriven без здравого тоже близорук, а не дальнозорок, только на другом масштабе. Половинчатый подход в любом случае ведет к упадку, вопрос, насколько быстро он наступит. Современный бигтех, кажется, стоит где-то на пороге осознания этого факта, но пока что только лениво пытается переварить свой экспоненциальный рост. Но выбора особо нет, либо вы это понимаете, либо вас выносят вперед ногами 4 стартапера, Claude Code и коннект с реальностью и собой.

ИИ-инструменты не спасут лоу-перформеров.

В последнее время, с развитием больших моделей, все чаще наблюдаю дискурс о том, что применение ИИ-тулов будет размывать границу между лоу-перформерами и топ-перформерами и сопряженные с этим общественные опасения. Чуть другим боком, но фактически тот же дискурс идет и в области искусства: "творчество моделей вытесняет творчество людей". И самое забавное, что ситуация, которую я наблюдаю в своей работе, показывает скорее совершенно обратное. Лоу-перформеры, обложенные ИИ-тулами, не то что не приближаются к топ-перформерам, но наличие ИИ-тулов у тех и других скорее работает как лупа и болезненно выкристаллизовывает пропасть между первыми и вторыми.

Питер Уоттс в своем рассказе Test 4 Echo подкинул классную метафору, которая помогает мне объяснить себе, почему так получается. В этом рассказе один из персонажей упоминает метрику Ф(phi) из интегрированной теории информации, разработанной Джулио Тонони. Ф измеряет собственно количество интегрированной информации в системе, если проще, то насколько система как целое знает больше, чем знает сумма ее частей. По мнению Тонони, этот параметр является измеримой характеристикой наличия у системы сознания. Высокое значение Ф требует интеграции информации через рекуррентные обратные связи, именно такие петли позволяют системе быть больше суммы своих частей. Наш мозг ими пронизан, например, именно так работает зрительная кора: фактически наши высшие слои обработки постоянно посылают обратную связь нижним, к источнику сигнала, корректируя поток входящей информации (что-то типа "кажется, я вижу собаку, поправь чувствительность здесь и контраст здесь"). Такую постоянную замкнутую цепь обработки Тонони ассоциирует с наличием сознания. А теперь к нейросетям: те инструменты, которые мы используем в повседневной жизни и работе, в большинстве своем под капотом - это трансформеры, трансформеры при инференсе строго последовательны, это так называемая feedforward-архитектура, то есть данные идут через слои обработки вперед без рекуррентности (ну упрощенно при одном прогоне). Такие инструменты позволяют очень эффективно собирать вместе и последовательно обрабатывать ОЧЕНЬ много информации, однако общая сумма информации в системе (хоть и гигантская) не превышает ее слагаемых.

Соответственно, чтобы действительно получить какую-то информационную дельту и произвести что-то новое, нам нужно встроить в систему человека с его бесконечными петлями обратной связи и саму систему замкнуть. И вот эта самая характеристика лоу- и топ-перформера как раз сводится к интеграционной способности каждого конкретного человека, к тому, насколько хорошо он дает обратную связь и насколько много новой информации привносит. Да, Ф фактически характеризует наличие сознания, а не его качество, но сам принцип, что ценность системы определяется не количеством данных, а способностью их интегрировать, здесь применим. Мы с коллегами проводим много собеседований на позиции ML-продактов и, учитывая специфику позиции, имеем маленький, но стабильный поток кандидатов, которые пытаются пройти эти интервью при помощи AI-ассистентов. Так вот, кроме того, что это всегда очевидно, это всегда плохо при оценке, даже если отбросить факт читинга. Дело в том, что вся информация в наших кейсах уже есть, не нужно ничего гуглить или исследовать, они проверяют ровно интеграционную способность мозга кандидата структурировать эту информацию, сделать из нее правильные выводы и синтезировать новое решение. Ключевые преимущества, которые дает AI-ассистент, здесь не будут каким-либо дифференциатором. И вот здесь получается, что топ-перформер с AI-тулами дает несколько иксов к своей производительности, потому что он становится способен работать с кратно бОльшим потоком информации, тогда как лоу-перформер выдает неструктурированный дамп старой информации. Теперь можете брать это утверждение и масштабировать на все сферы, которые топит AI-слоп. О чем это говорит? О применимости ИИ в конкретных сферах или все же о способности людей производить долю интегрированной информации?

Небольшой фоллоу-ап по Питеру Уоттсу. Если вы вдруг ничего о нем не слышали, то очень рекомендую изучить. Уоттса интересуют набор тем, которые конкретно мой нердовский мозг щекочут в правильных местах: сознание, ИИ и коллективный разум, квантовая механика, адаптивность. Сам Уоттс - в первую очередь морской биолог и работает в жанре максимально твердой НФ. Его Blindsight («Ложная слепота») наверное одно из лучших в НФ размышлений о роли сознания и по совместительству достаточно жуткая история в жанре первого контакта. В технологической части в своих старых произведениях Уоттс может временами звучать наивно, но концептуально почти всегда бьет в точку. А еще у него есть совершенно очаровательный пересказ «Нечто» от лица Нечто, ну это как бонус.

Изначально, я конечно, не думал, что мне понадобится интродакшн пост, потому что рассчитывал примерно на 20 подписчиков, которых знаю по именам. Но сейчас, кажется, нужно!

Меня зовут Денис, я ML PM в Т-Банке, рулю несколькими продуктами, так или иначе связанными с аналитикой данных/CX/коммуникаций/процессов, эта предметная область определенно доберется до моих постов. Так как скоуп моих продуктов скорее аналитический, я очень много работаю с ручными и автоматическими разметками и строю масштабируемые пайплайны для них, часть постов точно будет про это и про мои разметочные боли. Еще я очень долго был в жестком B2B и запускал там продукты, поэтому экономика и всякие lean-подходы - тоже интересная для меня движуха. Вот примерно такой тематики стоит ожидать, так что stay tuned!

Каким продуктам не хватает конкуренции и при чем тут Азия

Когда я только перешел из B2B в корпорацию, у меня в руках был внутренний продукт, который по-совместительству продавался на внешний рынок, как честное B2B. B2B часть при этом была скорее мертва, чем жива, и стоял выбор вообще продолжать это дело или закрывать здесь и сейчас. Я придерживался позиции, что нужно продолжать и аргументировал это тем, что для того, чтобы делать крутой продукт внутри, нужно бить его об рынок. Тогда мой коллега (привет, Дима) подкинул мне понятие "экспортная дисциплина", как аналог моей стратегии.

Про экспортную дисциплину достаточно подробно писал Джо Стадвел в своей книге How Asia Works, где он анализирует причины экономического успеха одной части Азии и неуспеха другой. Собственно, начинается все с того, что государство хочет получить максимально сильные промышленные предприятия внутри страны. Для того, чтобы такие предприятия появились, государство начинает их активно субсидировать. Такой подход имеет один очень явный минус: полностью субсидируемому государством предприятию особо незачем делать хороший продукт для выживания, оно и не делает. Другой очевидный подход - противоположный, полностью рыночная экономика и здоровая конкуренция. Но Стадвел утверждает, что рыночная экономика с нуля для отстающего в экономическом развитии государства - это слишком далекий прыжок в зрелости: в честных условиях на рынок развивающихся стран заходили мастодонты индустрий и без шансов выносили любую зарождающуюся промышленность. Страны были просто не готовы к уровню конкуренции, который подразумевала рыночная экономика. Собственно из этой невозможной ситуации и родилась концепция экспортной дисциплины. Идея была в том, что государство все еще активно субсидирует свои предприятия, но делает это на очень хитрых условиях, а именно на условиях выхода этих предприятий на международный рынок и захвата определенной его доли, почти что раунды инвестиций. При этом субсидии проигравших предприятий перераспределялись в сторону победивших, отсекая неэффективных. Фактически государство здесь проделывало элегантное упражнение в правильном целеполагании и по итогу получало выкованное стандартами международной конкуренции мощное внутреннее предприятие. Такой подход породил почти все знакомые нам имена из восточного полушария: TSMC, Hyundai, Samsung и еще очень много гигантов.

Собственно, подход с внутренним продуктом и внешним рынком может работать примерно также. Продукт имеет субсидию в виде своего якорного внутреннего заказчика, который полностью оплачивает его существование, но при этом коммитит цели и на внешние продажи и вынужден дорабатываться под рынок, таким образом наращивая функционал и для внутренних потребителей. Это очень красивая концепция, но работает не всегда, например, внутренний рынок иногда может быть больше внешнего(у меня было ровно так) и тогда мотивация адаптироваться под продажи теряется. Но самый главный пререквизит, как я теперь понимаю, это курс на интеграцию с внешним рынком, а не на изоляцию. Если компания/государство слишком изолированы от внешнего мира и живут в своей уникальной среде, то потребности внутреннего и внешнего рынка в какой-то момент начинают разъезжаться и единственным жизнеспособным вариантом становится делать два продукта. У меня сыграл и этот фактор, и в комбинации с фактором размера рынка концепция экспортной дисциплины в какой-то момент перестала для меня работать(как-нибудь отдельно расскажу, что с этим в итоге сделал).

То что эта концепция не сработала для меня тогда, не значит, что она не сработает для других продуктов. Мой кейс специфичен, но вокруг в большинстве своем я вижу скорее обратную ситуацию, где продуктам жизненно необходима лимитированная конкуренция. Такие продукты убивает собственная защищенность, их развитие тормозит отсутствие необходимости адаптироваться, а их рост обусловлен только административным рычагом и форсированными запретами. В долгосроке слой таких продуктов/предприятий/компаний наносит системе только вред, потому что у нее не появляется фундамента для долгосрочного развития.

Буду читать здесь лекцию по Eval’ам и качеству моделей, залетайте, кому актуально!

Команда выкатила бомбу.

Продактов на рынке полно. А вот тех, кто умеет делать AI/ML продукты — мало. Потому что мест, где это вообще делают, тоже немного.

Мы делаем. Умеем. И решили научить.

Бесплатный курс для PM’ов, которые хотят стать AI/ML продакт менеджерами. Формат stage-gate на реальных кейсах — проходишь полный цикл от постановки задачи до запуска, как в настоящем продукте.

О том, кто должен увидеть ваши документы первым

Сейчас будет немного душный тейк, но я его поясню. При написании любого рабочего артефакта этап его валидации об большую модель перед отправкой должен стать базовым гигиеническим уровнем примерно для всех.
Знаете, какая самая частая ошибка в документах, которые мне отправляют? Они берут за формат какую-то методологию или шаблон(6-pager Amazon, стратегия по Румельту etc), а потом совершенно ей не следуют. Знаете, как я это обычно диагностирую? Верно, если документ подразумевает под собой методологию, то первое, что я делаю - чекаю его Клодом на соответствие этой методологии и diff возвращаю автору. Знаете, как этого шага можно было избежать? Конечно, знаете.

Ладно, пояснение получилось еще душнее чем сам тейк. Но на самом деле, любой сложный документ, особенно описывающий масштабные процессы или изменения по умолчанию подразумевает высокую вероятность некоторых ошибок, потому что нам крайне сложно удерживать в голове очень много контекста на протяжении длительного времени, которое обычно требуется для написания такого документа. Особенно, если писать такие документы приходится нечасто. И вот здесь корректура от большой модели прекрасно закрывает базовый чек-лист самых частых болячек:
- Консистентность логики на протяжении всего документа и отсутствие внутренних противоречий;
- Оценка степени следования выбранной методологии;
- То, какой вывод делает модель при суммаризации вашего текста (совпадает ли он с тем, что вы в него заложили).
В этих пунктах кроются ошибки, которые очень легко совершить и очень легко исправить, получив быстрый сторонний взгляд. И это касается не только рабочих текстов. Я сам очень люблю писать тексты и стараюсь это делать максимально вручную, но даже посты в свой канал, написанные в sublime или в заметках, я кидаю на быструю валидацию на логические гэпы. Например, на недавний пост про лоу-перформеров Opus дал фидбэк о том, что утверждение об однонаправленности трансформеров может показаться излишне упрощенным и в комментах зацепятся (что и произошло буквальном во втором комменте на репост у Адама), но для меня конкретно это упрощение не особо влияло на ключевую мысль, поэтому я его оставил в пользу читаемости текста. И вот здесь лежит еще один ключевой поинт: допущения, которые вы закладываете в свой документ/текст/артефакт должны быть полностью сознательны хотя бы на уровне вас, а по-настоящему важные ключевые допущения вынесены в сам документ. Если вы сами не осознаете допущений, на которых построена ваша мысль, то это колосс на глиняных ногах.

Короче, поинт не в том, что кто-то опять недостаточно ML-изировался и надо срочно его догнать и ML-изировать, а в том, что писать документы очень сложно, а корректировать и выявлять собственные нестыковки еще сложнее, и любой, кто говорит обратное, врет себе и другим. Работа с готовыми текстами - это, пожалуй, вообще самая очевидная задача для слоя для больших моделей, но почему-то самая часто игнорируемая в пользу простой генерации с нуля, а зря.
P.S. Еще мои тексты перед отправкой читает жена, но тут уж извините, это эксклюзив.