Hypothesis Framework. Часть 2

Давайте рассмотрим детальнее каждый пункт из предыдущего поста:

- Предпосылки: данные (количественные и/или качественные) и инсайты из них. То, на основе чего базируется наше предположение, которое мы хотим проверить.
- Возможность: какую возможность мы предоставляем пользователю?
- Пользовательский сегмент: в какой ситуации оказались пользователи? Где и как нам их найти?
- Ауткам: что получит пользователь благодаря этой возможности?
- Мотивация: почему эта возможность полезна для пользователя? Какую проблему она позволяет решить?
- Сообщение: как мы сообщим пользователю, что он получил эту возможность? Что мы ему скажем, чтобы он ей воспользовался? Важно продумывать канал коммуникации заранее, чтобы не придумать классную фичу, которой никто не воспользуется, потому что мы не подумали о способе ее дистрибьюции.
- Эффект: какой эффект мы ожидаем увидеть, после того, как дадим пользователю эту возможность? Качественное описание того, какой результат мы хотим получить.
- Метрики: с помощью каких метрик мы можем измерить, что мы получили ожидаемый эффект? Как они должны измениться: увеличиться или уменьшиться? Список метрик состоит из следующих типов:
- Ключевые — метрики, по которым принимаем решение в эксперименте. Обычно, это 1-3 разнородных метрики, если больше, то рискуем увеличить ошибку первого рода из-за множественного сравнения.
- Guardrails — контр-метрики, которые не должны пострадать и ухудшиться.
- Discovery — дополнительные метрики для анализа, которые могут не влиять на ключевое решение, но они нужны, чтобы получить больше знаний. Мы их, обычно, не указываем, так как это список из нескольких десятков метрик и они, все равно, автоматически считаются в нашей системе экспериментов.
- Риски: какие риски ставят под угрозу данную гипотезу? Как мы их можем проверить? По сути, это список рисков, которые проверяются через RAT.

В следующих постах расскажу про второй тип гипотез, рассмотрим примеры и как данный фреймворк встроен в общий фреймворк по работе со стратегей.

В сеть утек внутренний документ Google, в котором говорится, что Open Source LLM модели превзойдут LLM Google и OpenAI. Moat, созданный за счет технологического доминирования корпораций, скоро исчезнет.

Удивительно, что разрыв сокращается так быстро, но сам процесс не удивителен, так как владение уникальной технологией является частным случаем "Cornered Resource" — одной из стратегических сил защиты и обособления на конкурентном поле, которая рассматривается в книге "7 Powers". За счет владения ограниченным ресурсом (технология, команда, патент и прочее) компания может выгодно обособляться и защищаться от конкурентов, но данная сила не является долгосрочным методом защиты и действует только на старте, так как рано или поздно ваш уникальный ресурс конкуренты повторят и нивелируют его силу. Далее на этапе активного роста нужно обрастать как минимум одной из 3 сил: network effects, scale economies или switching cost.

По сути, OpenAI может сделать это следующим образом:
• за счет масштаба более низкая себестоимость на обучение и разработку в пересчете на пользователя/запрос.
• сетевые эффекты на основе данных (частный случай network effects) позволяют генерировать более качественный датасет, утилизировать преимущество в виде RLHF и создавать тем самым более высокий уровень добавленной ценности за счет более лучшего качества модели.
• В случае SaaS типа Copilot, корпорации начнут использовать инструмент и из-за Switching Cost уже не смогут отказаться от него.
• В будущем инвестиции в разработку позволят иметь более низкую себестоимость инференса, что позволит обуздать другую силу — «Process Power».

В какой-то момент, я думаю, что весь AI на основе LLM за счет Open Source превратится в комодити, и сами модели не будут продуктом и основой бизнеса. Все эти LLM будут лишь функциями в продуктах, которые позволяют им генерировать больший уровень добавленной ценности в решении задач пользователя: писать документы, голосовой ассистент в iOS или Android, поиск информации, обучать новым знаниям и т.д. А OpenAI и прочие будут исследовать новые горизонты в поисках очередного технологического прорыва. В итоге, основной фокус будет смещаться на создание продуктов и сервисов, которые эффективно интегрируют эти модели и обеспечивают наилучший пользовательский опыт, а также на поиск новых областей применения AI.

Hypothesis Framework. Часть 3.

Продолжаем серию постов про работу с гипотезами.

Как поступать, если не хотим давать пользователю новую возможность, а хотим оптимизировать существующую? Все еще проще, но давайте на примере.

Представим, что мы хотели увеличить количество исполнителей на YouDo, копались в модели роста, воронках и на данных увидели, что ключевой ботлнек в увеличении количества исполнителей — этап прохождения верификации (по сути процесс, когда пользователь создает профиль исполнителя и заполняет анкету и прочие данные).

Количественные данные дали нам ответ на вопросы "где?" и "сколько?", но нам нужен ответ на вопрос "почему?". Для этого мы пообщались с пользователями, которые недавно заходили на форму, но не закончили, узнали у них, что им помешало, и большинство сказало, что очень сложно, неудобно, они не понимали, как ее заполнить, форма им постоянно говорила, что не заполнены все необходимые поля, но пользователь не понимал, какие именно. Далее мы провели юзабилити-тестирование формы, верифицировали фидбек пользователей, обнаружили новые сложности в UI. Итог: мы имеем количественные и качественные данные, инсайты из них.

Ключевые инсайты: форма одностраничная, не вмещается на весь экран, люди не понимают, что нужно скроллить, не понимают, сколько еще осталось заполнять, нет пояснений к полям, что мешает понять, что пользователю требуется написать.

Теперь мы выдвигаем предположение, что если сделаем форму пошаговой, с прогресс-баром, онбордингом и качественными описаниями полей, то пройти верификацию будет проще. Итог: данные → инсайты → предположение.

Осталось придумать, как провести эксперимент и проверить наше предположение, а эта секция одинаковая для обоих типов гипотез.

По интернету распространяется, как раковая опухоль, история про то, как Amazon Prime переписал себя с микросервисов на монолит и сэкономил 90% расходов и улучшил масштабирование. Об этом уже написали сотню твитов, подкастов и активный борец за права монолитов и автор Ruby on Rails David Heinemeier Hansson накинул кликбейтно на вентилятор.

Если прочитать оригинал статьи в тех блоге Amazon Prime дальше заголовка, то становится понятно, что никакого переписывания c микросервисов на монолит там не было. Amazon Prime как состоял из кучи сервисов, так и состоит, а по факту чуваки взяли конкретный сервис мониторинга качества стримов, который выполняет одну конкуретную задачу (то есть уже bounded context), сначала сделали его из кучи мелких лямбда функций, которые гоняют стейт в виде файлов туда сюда с s3 и по сети, а потом переписали это в один сервис с несколькими функциями, которые уже гоняют ссылку на объект в памяти. Удивляться снижению оверхеда в этом кейсе не стоит.

Следующим этапом в споре «монолит vs микросервисы» любители монолитов напишут на каждую инструкцию процессора по отдельному сервису, а потом объединят все это в один сервис на 20 строк кода и будут заявлять о превосходстве монолитов.

На Reddit самаризовали подкасты Хубермана и выписали все его рекоммендации по тому, как стать сверхчеловеком и заслужить уважение Ницше
https://www.reddit.com/r/HubermanLab/comments/135weq7/a_simplified_list_of_all_protocols/

P.S. Я сам уже не успеваю слушать его последние выпуски, также, как и весь другой контент, а от выкрученной на х2 скорости мне снятся кринжовые сны, поэтому спасают саммаризаторы на основе GPT типа https://shoki.app и https://eightify.app

Заметил, что у продактов в последние месяцы сильно развился экзистенциальный страх из-за нашествия AI. Вообще не понимаю кипиша. На мой взгляд, ситуация комическая и шизофреническая, ибо есть 2 фактора:
1. Большинство продактов жалуются на операционную и административную работу в их деятельности и в идеале больше хотели бы заниматься дискавери, стратегией и пипл менеджментом.
2. Весь вой и страх из-за GPT связан с тем, что последний может позволить по максимуму оптимизировать как раз операционную и административную деятельность.

На самом деле, все просто — неверное понимание сути работы продакт-менеджера. Многие атрибуцируют практику и деятельность с ролью: написание роадмапов, фоллоу апов, документов, презентаций, скриптов для интервью, юзер сторис, пинание людей в чатике и прочая комодити деятельность ассоциировалась с продактом, поэтому людям и кажется, что автоматизация этих процессов приведет к умиранию роли.

Как бы не хотелось некоторым, но продакт не самурай, у него помимо пути есть и цель. А все эти ритуалы лишь инструменты в достижении целей, а не сама цель.

Apple готовит пушку-бомбу в рамках accessibility фич. Теперь iphone/ipad/mac сможет зачитывать текст не синтетическим голосом Siri, а вашим!

https://techcrunch.com/2023/05/16/apple-reveals-upcoming-accessibility-features-for-iphone-ipad-and-mac/

Вы же понимаете, что мы приблизились вплотную к будущему, где у каждого будут очки с AR и Джаревисом внутри?

Apple в своей презе делала большой акцент на гейминг. Даже гения Кодзиму Сана показали с его Death Stranding и рассказали про Game Porting Tool, в котором, к слову, сделали полноценный эмулятор, чтобы разраб до разработки мог оценить эффорт портирования игрушки.

Многие СМИ пишут, что Apple решила делать ставку на гейминг на маках из-за мощи Apple Silicon и исторического отставания в домене, который хотят наверстать. Я тоже так подумал сначала, но если поразмыслить, то становиться ясно, что все это делается, чтобы снизить затраты на портирование VR игрушек на Vision Pro, так как пока это основной юзкейс применения VR в индустрии и было бы странно его игнорить и делать VR очки только для просмотра фильмов на Apple TV+.

P. S. Судя по всему, Game Porting Tool позволяет с минимальными затратами портировать игрушки и на M2 и M2 Max давать офигенный перформанс.

Кстати, я думаю, что все заметили, что Apple не юзает базворды в своих презах и других продуктово-маркетинговых материалах, а также дает любой своей фиче отдельное название типа Retina Display, True Motion, Face ID и прочее, а не просто говорит дисплей с 120гц и камера с 100500 мегапикселей. Особенно, это бросается в глаза после последней Google I/O, где зашкаливал счетчик упоминания AI.

У Маркуса как раз вышел видос вчера про это. https://youtu.be/kvN5_GXlg2Y
Marketing 101, который среди гигантов мало кто применяет, кроме Apple.

Прочитал тут у Данилова пост. Не могу не прокомментировать.

Многие продакты не понимают, что MVP это не продукт вовсе, а, по сути, способ собрать максимум знаний за минимум усилий и времени и запустить фидбек луп. Тут даже не про продукт речь, а, скорее, про процесс. Я не очень понимаю, почему все считают, что MVP это какой-то сарайный и забагованный продукт. Видимо, как и в случае с Customer Development, надо книжки в оригинале читать.

В оригинале Эрик Рис в книжке Lean Startup пишет следующее:
«Once clear on these leap-of-faith assumptions, the first step is to enter the Build phase as quickly as possible with a minimum viable product (MVP). The MVP is that version of the product that enables a full turn of the Build-Measure-Learn loop with a minimum amount of effort and the least amount of development time. The minimum viable product lacks many features that may prove essential later on. However, in some ways, creating a MVP requires extra work: we must be able to measure its impact. For example, it is inadequate to build a prototype that is evaluated solely for internal quality by engineers and designers. We also need to get it in front of potential customers to gauge their reactions. We may even need to try selling them the prototype, as we’ll soon see.».

Никакой речи про баги и плохое качество. Речь про то, что нужно начать собирать данные, как можно раньше, за минимальные затраты, а для этого надо отказаться от функционала, а не качества, как многие думают.

Кажется, что всем должно быть очевидно, что запущенный фидбек луп, где основными полученными знаниями будут те, что говорят, что ничего не работает, особой ценности не представляют. Так и зачем такой фидбек луп?

Потыкал в Threads от Цукера. Посмотрел на цифры их запуска в США. Twitter, похоже, R.I.P. Будет уникальный случай, когда СЕО самодур угробил бизнес стоимостью в несколько десятков миллиардов баксов, защищенный 2-мя самыми сильными силами: network effects и брэнд.

Поясню за пост выше. Я не считаю, что Threads убьет Twitter, если не использовать гиперболы в речи. Прежде чем перейти к анализу запуска и формированию каких-то предсказаний, нужно понимать следующие предпосылки:
- Facebook теряет добавленную ценность из-за наличия и появления более узких решений. Это судьба любого большого решения: растешь в ширь, но в конкретной нише более узкие решения генерируют больше добавленной ценности. Это одна из причин, почему Цукерберг покупал WhatsApp и Instagram.
- TikTok очень сильно забрал аудиторию у Instagram, но Instagram это отвоевал и очень сильно вырос за счет рилсов.
- СЕО Instagram сказал, что они слишком сильно сфокусировались на рилсах, поэтому снова сместят фокус на фотографии.
- TikTok могут закрыть в США.
- Аудитория Meta сильно пересекается с твиттерской, и по сути люди потребляют/генерируют контент в твиттере, а могли бы в Facebook/Instagram.
- Facebook пытался когда-то обуздать нишу твиттера, но не очень удачно.
- У твиттера крайне хреновая монетизация и неэффективные механизмы рекламы, что приводило к тому, что большая часть рекламы в твиттере была брендовой, а отчеты показывали, что самих брендов там тусовалось немного, если сравнить с другими рекламными площадками. Думаю, что те, кто хоть раз закупался в твиттере, поймут, о чем я.
- У Facebook крайне мощные и эффективные рекламные механизмы, и с монетизацией все тоже отлично.
- У твиттера исторически проблемы с огромным количеством анонимов, ботов, плохой модерацией и токсичностью, что также влияет на рекламные бюджеты, так как никто не будет продавать что-то ботам и токсичным анонимам.
- У твиттера есть проблемы с инфлюенсерами, публичнымиличностями, зумерами и подобной аудиторией, как раз из-за проблемы выше.
- После прихода Маска у твиттера оттекает аудитория, либо не оттекает, но бурлит.
- После прихода Маска у твиттера проседают рекламные доходы из-за оттока брендов. Это одна из причин, почему они наняли новую СЕО Линду Яккарино из NBCU, чтобы вернуть бренды. А когда у тебя и так рекламодателей немного, то уход каждого наносит очень сильный удар.

И что делает Цукерберг? У меты сильные сетевые эффекты. Они сделали один аккаунт на все сервисы, взяли эту аудиторию и дали им продукт, который решает кокретную задачу: писать короткие публичные сообщения, как в твиттере, и обсуждать это со своей аудиторией. То есть эта аудитория уже тусила в Facebook, общалась в Facebook/WhatsApp, смотрела/снимала фотографии и видео в Instagram, а потреблять/генерировать контент типа твитов уходила в твиттер, либо пыталась для этого использовать не самый удобный для этой задачи Facebook или Instagram.

В первую очередь это продукт для уже существующей аудитории, чтобы увеличить их вовлеченность и время, проведенное на платформе, используя существующие сетевые эффекты. А уже потом переманивание активной аудитории твиттера, но не всей, а только той, что ложится в вижн тредов: никаких токсиков, ботов, анонимов, контента для взрослых и прочего.

Взлетит ли? Я не знаю, но могу сказать, что у цукера есть больше возможностей, чем у остальных, и в целом достаточно инструментов и возможностей, чтобы это получилось, плюс очень удачно подобранное время (скандалы, из которых не вылезает твиттер после прихода Маска). Плюс мне понравилось, как реализован и запущен продукт. Но есть и много причин, почему оно может не взлететь, но про них в другой раз.

ЧТД. Apple пилит свою LLM

https://www.bloomberg.com/news/articles/2023-07-19/apple-preps-ajax-generative-ai-apple-gpt-to-rival-openai-and-google?sref=l3J6d079

Захотел приобрести док станцию с thunderbolt и прочими портами, чтобы можно было на столе все втыкать в одну штука, а оттуда один кабель в макбук. Все ютюберы, которых видел, советуют, как один, вот эту штуку. Единственный вариант, который искал и подходит мне полностью. Но есть нюанс!

Человечество, конечно, сотворило много плохих вещей, но чем оно заслужило реальность, в которой гребаный хаб для шнуров стоит, как Plastation 5 или iPad Mini, на R&D которых потратили млрды долларов, мне не понятно.

P.S. Да, я в курсе, что консоли продаются с отрицательной маржой, и производители зарабатывают на отчислениях от продажи игр, но суть не в этом.

Очень клевый и откровенный пост от бывшей продакши из Twitter про культуру, собственно, Twitter до прихода Маска и после его прихода.

Tldr: теорема Эскобара.

https://twitter.com/esthercrawford/status/1684291048682684416?s=46

И снова LLM. 
 
После появления ChatGPT появляется много тулов на основе LLM, которые позволяют людям без технических навыков юзать соответствующие инструменты. Вектор развития логичен и очевиден. Часто это касается кодинга, SQL и подобных вещей. Идея прекрасная, конечно, и надеюсь, что увидим, когда большую часть технических навыков нам заменит AI, и будем тратить время на творчество, а не на утилитарное ремесленничество. Но есть нюансы!
 
У GPT сильный навык крайне уверенно нести полную ерунду, которая для человека без знания предметной области будет звучать весьма валидно. А теперь представьте, что вы не знаете SQL, и попросили условный «Analytics Copilot» посчитать какую-то метрику и построить графики. За этот Copilot, естественно, радостно заплатили условные 100 баксов в месяц, чтобы не нанимать аналитика за 3к баксов в месяц. SQL валидировать вы не сможете, так как не знаете его, LLM может легко сделать валидный и работающий запрос в базу, вы даже увидите метрики и они тоже могут не вызывать подозрений, графики будут выглядеть очень классно, примете на основе этих данных какие-то решения, заспичите начальству стратегические bets, соберёте бюджет, команду, whatever. А потом бац, и узнаете, что данные вообще неправильные, а, может, не узнаете вовсе.

Сингулярность продолжается.

Похоже, что придумали сплав, который при комнатной температуре (я так понял ~30 градусов Цельсия и <127) и обычном атмосферном давлении демонстрирует сверхпроводимость. Сначала об этом корейские ученные сказали, теперь, получается, лабы в Канаде и Китае смогли воспроизвести этот сплав и эффект. Сплав при этом банально свинец и медь.

https://twitter.com/Andercot/status/1686805961124855810?s=20

Вот здесь и здесь объясняется, почему это колоссальное открытие для всего человечества.

Серьезные лабы пока не подтверждают и молчат. В твиттере почти никто ничего не понимает, всё сопровождается скандалами непонятными (отзывы статей, увольнения), много скептиков, но, похоже, что всё больше и больше свидетельств, подтверждающих эффект.

Если что, это не я

Я думаю, что все уже видели выступление Brian Chesky (CEO и основатель AirBnB), где он накидывал на продактов. Правда, много где его слова вообще неправильно интерпритировали, но суть не в этом.

Он озвучил один резонирующий тезис, мимо которого тяжело пройти — они сильно сократили количество A/B тестов и экспериментируют только, если у них есть гипотеза и четкое понимание, чем B лучше A. Кажется, что крайне простая и логичная вещь, зачем такая категоричность? К чему такой пафос? Но если задуматься, то можно в словах Брайна разглядеть боль, которая, вероятно, является следствием повально распространенной в индустрии заразы: куча продактов запускают рандомные эксперименты, не имея никакого вижна, стратегии, четкого плана, диагностики причино-следственных связей в препятствиях на пути к цели и т.д. Что будет делать человек, у которого стоит OKR/KPI, который хочет получить промо на ревью, но понятия не имеет, как достичь цели? Правильно, он начнет работать в режиме генератора случайных чисел в надежде, что парочка из десятка экспериментов сработают.

И тут я глянул недавний подкаст Lenny c глыбой A/B тестирования - Ronny Kohavi, где он рассказал, что в AirBnB Fail Rate экспериментов 92% и это с отрывом самый большой рейт, который доводилось ему видеть. Да и мне тоже. К примеру, у нас в Юду Win Rate давно перевалил за 50% и даже выше. Кажется, моя гипотеза подвердилась — у Брайна ПТСР.

С другой стороны, чаще всего у продактов/команд на местах не бывает четкой стратегии и понимания, что делать, когда этого понимания нет и у продукта/компании в целом, а ее наличие является фундаментом для успешных тактических действий на местах. Если посмотреть на последние release events AirBnB, то может показаться, что с этим у них как раз проблемы, и ребята запутались в собственных редизайнах.

Ну а как описывать правильные гипотезы и не наносить психологические травмы вашему руководству, я рассказывал ранее в рамках цикла постов про «Hypothesis Framework»: часть 1, часть 2, часть 3.