Оказывается, отношение к ИИ сильно зависит от дохода. Среди американцев оптимизм по поводу ИИ демонстрирует только одна группа — это те, кто зарабатывает больше $200 000 в год. А в остальном, чем беднее — тем тревожнее.

Из всех мрачных сценариев меня больше всего беспокоит один, что ИИ обеспечит формирование нового вечного бедного класса. Это когда большинство будет работать на выживание без шансов выбраться, а богатства сконцентрируются в руках все меньшего числа людей. Это не фантастика, уже сейчас 1% американцев владеет 35% богатств США, в России тот же 1% контролирует 49% богатств страны.

Меня немного утешает, что самые пессимистичные прогнозы обычно не сбываются, потому что реальность оказывается сложнее и интереснее. Но, наверное, стоит помнить, во Франции головы начали лететь именно тогда, когда расслоение стало невыносимым.

А график из статьи «We’re Just Getting Started»

После нескольких экспериментов с созданием диалога между виртуальным клиентом и виртуальным банковским ИИ я успел заметить несколько вещей.

Во-первых, делать чат с лентой снизу вверх кажется не лучшей идеей, потому что верхняя граница чата часто смещается, и это триггерит внимание. Люди так устроены, что очень хорошо реагируют на сменяющиеся картинки, а если диалог со стороны ИИ становится детализированным, то даже короткие сообщения ведут к частой смене позиций баблов сообщений.

Я подумывал отказаться от цвета, сделать все более нейтральным, но самого текста уже достаточно, чтобы эта проблема сохранялась. Поэтому кажется, что предпочтительнее делать ленту сообщений сверху вниз. В общем-то идея не новая, но иногда надо сделать большой круг, чтобы прийти к чему-то простому и обычному.

Во-вторых, сворачивание сообщений, которые возникают из-за необходимости поддерживать прозрачность рассуждений и тянуть время, кажется хорошим решением. Из плюсов, можно сохранять сценарий на одном экране долгое время. Из минусов, очевидное прыгание высоты при сворачивании, но, когда постинг идет сверху вниз, это уже не так бросается в глаза.

В-третьих, в ленте не надо оставлять сообщения, которые были вопросами или требовали пользовательского выбора. У меня первоначально кнопки оставались как часть истории, но очевидно, что глаз за них цепляется, если просматривать историю повторно, и это мешает.

В-четвертых, после использования перекрывающих чат сообщений, в этом сценарии это bottom sheet, при возвращении к ленте чата теряется внимание. Фактически невозможно сразу попасть в то место, где ты был до перекрывающего сообщения. Надо искать глазами, что явно повышает когнитивную нагрузку. Это маленькая, но важная задача, и я бы потратил время на поиск хорошего решения.

Из того, что мне кажется можно попробовать: добавлять текущему активному пункту больше яркости, чтобы он условно переливался, или поднимать контент выше, чтобы после возвращения последний пункт стоял посередине экрана. Второй вариант кажется мне более рабочим, потому что там внимание будет фокусироваться на нужном месте и за счет позиции на устройстве, и за счет отступа от нижней части, и за счет того, что это последний пункт в списке.

Ну и в-пятых, первоначально я задумал верхний блок как навигатор для сценария, чтобы вверху экрана фиксировать текущую задачу и отмечать этапы ее выполнения. Но сценарий получился коротким, все сообщения помещаются на экран без прокрутки, и, казалось бы, можно обойтись без верхнего блока. Но, на мой взгляд, он хорошо работает как отдельный акцент на сообщении об успешном завершении выполнения задачи. Моя идея в том, что, когда вы отдельно от чата выделяете ключевое событие, это дает дополнительный буст к привлечению внимания к этому сообщению.

Правда, с этим верхним сообщением не все еще гладко. Там куча кейсов, как оно должно себя вести, ответы на которые я пока не знаю. Но было бы желание, а решения найдутся.

В планах — продолжать играться со сценариями для голосовых интерфейсов. Хочу посмотреть, рабочая ли это вообще вещь, а для этого надо попробовать сделать еще парочку сценариев.

У меня в очереди стоит что-то типа: «Посмотри, какие ОФЗ сейчас дают выше 14% — хочу взять тысяч на 300, желательно с погашением не раньше 2027», «Уточни у банка, можно ли изменить время инкассации с 18:00 на 20:00 — магазины закрываются поздно, кассиры ждут». Полагаю, они будут длиннее, и возникнет необходимость в новых вариантах сообщений и типах данных. Если руки дойдут, потом расскажу, что получилось.

И немного деталей реализации. Сборка всего и отдельных элементов — это Figma. Для сценария чата я использовал HTML с библиотекой GSAP, которая отвечает за анимацию. Весь код собран в Claude.

Здесь все не поместилось, полный текст можно прочитать на Medium. Там еще будет про детали реализации: типы сообщений, операции постинга, шаги построения диалога.

Я давно слежу за публикациями Nathan Curtis. Еще со времен его компании EightShapes он умудрялся очень системно писать о проектировании и дизайне. С такой системностью трудно стать популярным, но это всегда были интересные материалы. За последние 10 лет, наверное, никто больше него не написал о работе над дизайн-системами. Вообще, очень рекомендую его блог https://substack.com/@nathanacurtis

И сейчас у него есть новый проект, который направлен на создание спецификации из файла дизайн-системы, чтобы эта спецификация стала промежуточным уровнем между Figma и кодом.

Когда есть краткая спецификация, то не нужно больше гонять MCP-запросы, чтобы проверить, какие изменения произошли в дизайн-системе. Один раз обработав Figma-файл, можно использовать спецификацию для дальнейших задач. И это дает колоссальную экономию токенов.

Не знаю, как у вас в проектах, но я видел рабочие дизайн-системы почти по гигабайту на один файл. С такой системой, честно говоря, бюджета не хватит что-то делать. И это только одна из причин использовать инструмент от Nathan Curtis.
Если выделить самое интересное и ключевое, что можно сделать через эту спецификацию:

— вести версионирование и четко видеть, в чем различия между версиями;
— получить компактный код дизайн-системы для ИИ-агентов для дальнейшей работы;
— проводить аудит консистентности и очистку от мусора.

Подробнее о возможностях читайте здесь: https://nathanacurtis.substack.com/p/figma-component-specs-on-command , а потом можно скачать GitHub-репозиторий и поставить себе.

Правда, нужно признать, что и с этим проектом Nathan не найдет всеобщего признания. Потому что тут нет «серебряной пули», а есть только инструмент на границе дизайна и инженерного подхода, который позволяет делать работу более эффективно. А такие вещи никогда хайповыми не становились.

Многие слышали про дизайн-спринты, и мало кто их делал. Я грешу на то, что, с одной стороны, мы все любим хайповые темы и готовы хвататься за всякую новую практику, но у нас весьма атомизированная культура и, как результат, всякие практики совместного дизайна приживаются с трудом, даже когда обещают значительный выигрыш в результате.

Если говорить проще, то нам легче катить квадратные колеса, потому что это привычнее, чем договориться с тремя другими людьми и сделать колесо круглым. Но я верю, что ИИ может помочь изменить ситуацию.
Вот тут подоспела статья от генерального директора Fantasy (небезызвестная в дизайн-кругах компания) — «What Running AI-Augmented Design Sprints Teaches About Creative Work».

Он рассказывает о своем опыте внедрения ИИ в дизайн-спринты. Начнем с цифр: при использовании ИИ в дизайн-спринтах трудозатраты сократились на 65%, а расходы — на 68%. Но реальный выигрыш в другом.

ИИ выступает как поддерживающая машина генерации идей, и это повышает эффективность всей команды. Люди больше сосредотачиваются на вопросах стратегического выбора, и это делает весь процесс эффективнее.
Именно стратегический выбор для ИИ является трудной задачей, ведь, в конечном счете, ИИ может хорошо обосновать любое решение. И в этой ситуации ценно иметь человеческие ресурсы, когнитивно не загруженные другими задачами, чтобы эффективно работать над этой важной частью процесса.

Если говорить образно, то ИИ умеет очень точно стрелять из лука и делает это быстро, но вот куда стрелять — все еще должен указывать человек. И кажется, что это не поменяется до появления AGI.

И еще один хороший совет от Firdosh Tangri: оценивайте влияние ИИ на отдельные этапы работы, а не ориентируйтесь на общее ощущение от результата. Совет дельный, но требует зрелости процессов, которой пока мало где есть. Может, ИИ как раз и поможет эту зрелость вырастить.

Много интересных графиков можно посмотреть в «Artificial Intelligence Index Report». Видно, как распределяется ИИ по планете, и что США и Китай доминируют, а их отрыв колоссален. Есть и интересная статистика по количеству патентов в области ИИ: в этом вопросе Китай — безусловный лидер. Сейчас у него патентов больше, чем у всего остального мира вместе взятого. Видно, что в 2025 году контент, сгенерированный ИИ, превзошел по объему контент, создаваемый людьми. И в принципе, на 425 страницах есть что посмотреть.

Но из всех этих графиков я вытащу сюда только один — про эффективность моделей относительно человека по разным бенчмаркам. Если смотреть на этот график как на объективное отражение реальности, то почти во всех темах ИИ уже превосходит среднего человека по качеству ответов. Осталось еще немного комплексных тем, с которыми люди справляются лучше, но наверняка это лишь вопрос ближайшего времени, когда и эти задачи будут решены.

Microsoft в мае выпустил новый отчет «Agents, human agency, and the opportunity for every organization».

Как всегда, отчет интересный, но все они в последние пару лет очень похожи по духу. Microsoft остается последовательным ИИ-оптимистом и видит в агентах сплошные возможности. При этом отчет все сильнее ощущается как большой product placement для корпоративных клиентов. Основная мысль простая: бегите в ИИ как можно быстрее, иначе будете лузерами.

Больше всего понравилось акцент на том, что в новом мире самыми ценными сотрудниками будут не те, кто просто делает больше задач, а те, кто выходит за рамки своей роли в поиске возможностей создать существенно больший результат для компании.

Microsoft рисует картину, где ИИ берет на себя больше исполнительных ролей, а человек получает больше функций активного агента, который определяет цели, оценивает результат и переключается между задачами. С одной стороны, это звучит, как получение свобода действий, но с другой, возникает ощущение, что естественные паузы в работе исчезают. Если раньше были естественные ограничения (поиск информации, бюрократия, время на размышления), то теперь все ускоряется, и давление на то, чтобы постоянно быть проактивным только растет.

В итоге вместо классического «вкалывают роботы, а не человек» мы можем получить мир, где человек вкалывает без остановки, а робот помогает ему это делать эффективнее поднося «кирпичи» и контролируя сколько времени он отдыхал.
Похоже, что идея про work life balance, которая на короткое время замаячила на горизонте, будет позабыта и занесена пеплом выгоревших работников.

Выскажу непопулярное мнение о новом Ferrari — это прекрасное дизайнерское решение. Ferrari сделали машину, на которой можно ездить в магазин или на пляж: удобную, чего у них, кажется, никогда не было, и дико эксклюзивную. Мне кажется, у них точно не будет недостатка в текущих заказах.

Попытка перевернуть игру на меняющемся рынке — это круто. Результат сильно лучше, чем попытка перезапуска у Jaguar.

Отдельно мое внимание привлекли интерфейсы внутри салона. По фотографиям, конечно, нельзя составить полное впечатление, но что мне бросается в глаза?

Руль остался рулем, нет попыток добавить туда экраны, сделать его космической формы — это чистая дань наследию и устоявшейся форме.
Небольшая площадь цифровых интерфейсов. Кажется, что вся философия машины в том, чтобы получать удовольствие от вождения, а не смотреть TikTok в салоне.

Куча физических переключателей в противовес прошлому повсемесному тренду на использование простых плоских интерфейсов.

Единственным препятствием, на мой взгляд, для того чтобы эта машина стала культовой, будет отсутствие автопилота. У Ferrari нет таких технологий, и, видимо, купить их неоткуда. И сейчас Ferrari Luce может оказаться очень красивым дирижаблем, но выпущенным в начале 1937 года, как раз перед тем, как их век прошел.

У меня закончился учебный год: принял зачеты, раздал оценки. Надо, наверное, подвести какие-то итоги.

Помню свой оптимизм в начале осени. Тогда у меня было три цели на учебный год, но реальность, как всегда, оказалась более суровой.

В области AR я вообще не продвинулся с точки зрения учебного процесса. Даже не было повода куда-то это встроить. У меня сейчас есть подозрение, что такое можно проделать, когда студентов очень много и тогда найдется пять человек, которым будут интересны эксперименты с новыми технологиями. Но нужно признать, что студенческое любопытство — это штучный товар, который редко встречается.

До ИИ для вайбкодинга и продуктовых прототипов тоже не дошли. Я вижу, что студенты часто используют ИИ для текстовых работ, немного — для изображений, еще меньше — для видео и совсем мало — для создания продуктов. И эта пирамида отражает их интерес к этим вещам. Процесс учебы построен на необходимости выполнять обязательные задания, и все, что не входит в этот список, не получает должного внимания и времени.

Надо заметить, что ввели отдельный курс по вайбкодингу для дизайнеров. Правда, с колокольни моего опыта, его стоило бы делать иначе и интегрировать с другими практическими работами. Но хотя бы студентам расскажут, как развернуть агента у себя на компьютере и поделают с ним какие-нибудь задания. Хотя если задания слишком сложные, то есть шанс только испортить впечатление вместо того, чтобы открыть новые возможности.

Еще мне понравилось, какой процесс у меня получился в дизайн-лаборатории. Удалось скоординировать работу ребят так, чтобы они не толкались плечами, делая одно и то же, и при этом чтобы их частные проекты дополняли общую картину большого проекта. Было бы чуть больше людей и чуть больше времени, можно было бы не только придумать что-то хорошее, но и внедрить это в жизнь.

Кроме прекрасного отзыва, который меня будет еще долго радовать, хочу поделиться с вами темами учебного плана, который вышел в дизайн-лаборатории. Кажется, получилось неплохо.

- Введение в UX-стратегию
- Product Discovery и приоритизация идей
- Сегментация аудитории
- Редакционная политика цифрового продукта, Tone of Voice
- Прототипирование сервисных разделов и дизайн-система
- AI Skills и продуктовое прототипирование
- Развитие прототипов
- UX-ревью и итерационный подход в дизайне
- Интерактивные прототипы и внедрение инноваций
- Адаптивность интерфейсов
- Презентация продуктовых решений
- Презентация и унификация проектных материалов
- Защита проектов

Мне кажется интересной статья BCG про будущее робототехники «How Physical AI Is Reshaping Robotics Today—and What Comes Next» . Сама тема не входит в круг моих профессиональных интересов, но это определенно та область, которая будет волновать людей и бизнес в ближайшие десятилетия.

BCG попробовали структурировать карту развития робототехники, сведя её к простым шагам. Это очень удобно для понимания огромной предметной области. При этом такой подход позволяет свободно говорить о будущем технологии, не путаясь в том, что уже есть, что почти существует и о чём компании пока только мечтают.

По большому счёту, идея BCG в том, что переход на каждый следующий уровень развития технологии даёт робототехнике реактивный импульс распространения за счёт удешевления и роста возможностей. Причём эти эффекты неотделимы друг от друга: чем более развита технология, тем более повсеместной она становится.

Понятно, что это только прогноз и один из вариантов будущего. Но если бы я занимался инвестированием в робототехнику, то направил бы усилия не на поиск компаний, которые производят роботов, а на те компании, которые нацелены на преодоление барьеров между разными уровнями развития робототехники. Именно в этих точках находится колоссальный потенциал.

Такие разнообразные времена, что, с одной стороны, компании разрешают сотрудникам, за компьютерами которых следят, делать перерывы на полчаса для «личных дел», а с другой — в энциклике Папы Льва XIV мы читаем: «Важно обеспечить, чтобы рост признания человеческого достоинства не был заслонен давлением новых идеологий. Из них особенно коварна та, которая предполагает, что каждый человек должен зарабатывать или оправдывать свою собственную ценность, вплоть до приписывания большей ценности тем, кто более эффективен или результативен. С этой точки зрения люди в конечном итоге сводятся к средству достижения результатов, ресурсу, который можно использовать и эксплуатировать, и больше не признаются самоцелью. Однако ценность личности не зависит от того, чего она достигает или производит».

Католическая церковь звучит как новый социалистический революционер, призывая к таким гуманистическим стандартам, за которые в некоторых странах можно угодить в немилость.

Формирующаяся технократическая парадигма характеризуется тенденцией следовать логике эффективности, контроля и прибыли в формировании личных, социальных и экономических решений. Нужно признать, что технология — это не просто инструмент. Когда она становится стандартом, по которому все оценивается, она начинает диктовать, что важно, а что можно отбросить, сводя людей к простым винтикам в системе, стремящейся к постоянно возрастающей эффективности.

Как я понимаю, Папа Лев XIV выступает с осторожным предостережением о том, что современные подходы будут влиять и изменять саму структуру социального устройства. И эти фундаментальные изменения могут быть опасны и повлекут изменения в духовной, этической, политической сферах, и не обязательно эти изменения будут в лучшую сторону.

На фоне этого я вспомнил слова Дмитрия Лихачева из интервью 1992 года: «У нас есть прогресс техники, но у нас колоссальный регресс духовной жизни, культуры». А это было уже очень давно, и похоже, что то, о чем говорит Папа Лев XIV, — это не просто изменения под давлением локальных инноваций, но продолжение куда более длинного и глубокого тренда, который отражается на изменении общества. Но, может быть, с современными технологиями эти изменения будут происходить куда более стремительно и неудержимо.
Вопрос, собственно, в том, несет ли каждый из нас ответственность за идущие изменения и влияем ли мы на то, в каком мире будут жить следующие поколения, ну и заодно мы в старости. Будет ли это мир, выстроенный вокруг человека, или мир, выстроенный вокруг метрик?

Если что, я не знаю ответа на этот вопрос.

P.S. Кстати, в 99 параграфе энциклики очень точно, на мой взгляд, формулируется определение ИИ через то, чем ИИ не является. Если вас интересует тема развития ИИ и технологий, посмотрите, там хорошая точка зрения: https://www.vatican.va/content/leo-xiv/en/encyclicals/documents/20260515-magnifica-humanitas.html

Для компаний, которые ратуют за выход сотрудников обратно в офис, есть новый интересный аргумент.

Вышло небольшое исследование про безработицу среди молодежи, опубликованное на сайте Федерального резервного банка Нью-Йорка и подготовленное совместно с исследователями из Гарварда и Университета Вирджинии: https://libertystreeteconomics.newyorkfed.org/2026/06/remote-work-leaves-younger-workers-sidelined/

По их оценке, это не ИИ вытесняет молодежь с ролей в начале карьеры, а повсеместное увеличение удаленной работы. Удаленная работа затрудняет обучение и наставничество новых сотрудников. Профессиональный рост молодых специалистов замедляется. И, соответственно, компании начинают неохотно нанимать менее опытных работников.

Исследователи пишут, что удаленная работа может объяснить 64% роста безработицы среди молодежи (напоминаю, это американские данные).
Понятно, что когда джун не сидит рядом, ему реже дают фидбек, реже что-то объясняют, реже подтягивают. Его прогресс становится медленным. Чтобы поддерживать такой же уровень наставничества при удаленной работе, нужно создавать специальные механизмы структурированной обратной связи, но такое никто не делает. В итоге на удаленную позицию нанимают тех, кто способен работать самостоятельно.

Хотя с выводами исследования можно поспорить, с другой стороны, мне нравится точка зрения, что на ИИ можно не грешить, хотя бы в вопросе безработицы среди начинающих специалистов.

После того, как я написал про папскую энциклику, касающуюся в том числе и ИИ, было бы несправедливо не посмотреть на то, как другие религии относятся к ИИ. Меня в первую очередь заинтересовала позиция ислама.

Я понимаю, что ислам очень разный, и я физически не могу охватить все его разнообразие, но если смотреть на тексты некоторых авторов, то есть позиции, близкие к мнению Святого престола. А Великий имам Аль-Азхара, доктор Ахмед Аль-Тайеб (авторитетный лидер суннитского ислама), даже рассказал, что вместе с покойным Папой Франциском начал проект подготовки всеобъемлющего документа по этике искусственного интеллекта.
Общая идея Аль-Тайеба в том, что ИИ должен быть окружен оградой этической ответственности и профессионального контроля. И ответственность здесь лежит на экспертах и законодателях, и только они должны оберегать эти технологии от отклонения от целей, основанных на гуманитарных принципах.

Кстати, тут можно увидеть одно из расхождений с подходом Папы Льва XIV, который много говорит про субсидиарность, то есть принятие решений на самом низком локальном уровне. На его взгляд, важно избегать сверхцентрализации в области ИИ и нужно оставлять ответственность и свободу принятия решений на локальном уровне.

В общем, слово «ответственность» снова стало важным. Другое дело, что кажется, будто сейчас особо никто не хочет брать ответственность, а тот, кто говорит, что ответственность на нем, в конечном счете склонен просто присваивать себе абсолютную власть.

Мне в этом плане последний фильм Соррентино «La grazia» все больше кажется утопичной сказкой. Кстати, если не смотрели, то посмотрите.

Неожиданно для себя втянулся в проект по работе с кодом и корпоративными документами через семантический поиск. Если коротко, то мы пытаемся научить поиск понимать смысл запроса и связи между данными, а не просто ловить совпадение слов.

У нас простая идея, если научиться качественнее подбирать связанные данные, а не просто «вот документы со словом X», а «вот требование, вот задача под него, вот результат», то можно будет автоматизировать решение некоторых комплексных задач, которые сейчас люди руками делают.

Пока мы на стадии проверки гипотезы, надо понять будет ли наш подход лучше, чем к-векторы и дешевле, чем тяжелые графовые решения.

Немного из 1987 года. Исследование «The Vocabulary Problem in Human-System Communication» было фундаментальной работой для эпохи активной компьютеризации, но его выводы актуальны и сейчас.

В исследовании опросили несколько сотен человек в нескольких предметных областях и выяснили, что при необходимости описать определенную операцию или выделить ключевой термин одним словом или короткой фразой ответы респондентов совпадали только на 7-18% случаев. Люди могли говорить об одном и том же, но называть это разными словами. Это был спонтанный выбор участников исследования, который отражает тот факт, что мы мыслим по-разному.

В принципе, можно сказать: зачем исследовать очевидные вещи, если и так видно, что люди говорят по-разному и используют разные слова? Но нюанс исследования заключался в том, что даже в узкоспециализированных областях процент совпадений был не выше. И исследователи Bell Labs обращали внимание на эту проблему.

Получается, что как бы мы ни пытались точно сформулировать пункт меню или призыв к действию, в нормальной ситуации большинство пользователей все равно предпочло бы, чтобы это называлось иначе.

С другой стороны, если вы делаете справочную систему, то для нормальной работы она должна поддерживать семантический поиск. С появлением LLM с этим стало значительно проще. А все потому, что люди разные и постоянно норовят называть вещи так, как им удобно.

Внедрение SDD (Spec-Driven Development) подхода в разработку с ИИ обещает сокращение сроков поставки на рынок, но не за счет ускорения разработки, а за счет смещения обнаружения ошибок на более ранние стадии.
Хорошие аргументы в статье «ROI of Spec-Driven Development: how to calculate time-to-market and defend it to the board».

По оценкам отраслевых экспертов, обнаружение дефектов происходит на 40–60% быстрее, а затраты на их устранение снижаются на 75–85% при переносе этапа проверки на более ранний этап. Пятилетнее исследование в автомобильном секторе (Bosch, https://swt.informatik.uni-freiburg.de/staff/langenfeld/resources/Requirements%20Defects%20over%20a%20Project%20Lifetime ) показало, что большинство дефектов (61%) возникают из-за неполных или ошибочных требований, а обнаружение дефектов на поздних этапах обходится во много раз дороже, чем обнаружение на этапе определения требований.

Думаю, что всякий, кто занимался разработкой, сможет подтвердить, чем позже найдена проблема, тем больнее и дороже обходится ее устранение.

У IBM и Microsoft было исследование подхода Test-Driven Development, в котором они показывали, что вложение на начальном этапе 15–35% приводит к снижению дефектов на 40–90% (https://github.com/tpn/pdfs/blob/master/Realizing%20Quality%20Improvement%20Through%20Test%20Driven%20Development%20-%20Results%20and%20Experiences%20of%20Four%20Industrial%20Teams%20(nagappan_tdd).pdf ).

Очень подходит к описанию этого русская пословица: «семь раз отмерь, один отрежь».

Но SDD-подход требует определенной культуры разработки и будет требовать дополнительных токенов на написание спецификации. И, как мне кажется, именно культура может стать камнем преткновения. Слишком часто можно встретить менеджмент, который не хочет менять устоявшиеся подходы и вместо того, чтобы усилить аналитические инструменты, предпочитает быстрые результаты, которые потом как-нибудь кто-нибудь будет мужественно выправлять и доводить до ума.

Хорошая статья про A/B-тестирование и ловушки этого метода https://e8.team/lab/why-ab-tests-show-nothing/

Она подойдет как тем, кто хочет проводить тестирование, так и тем, для кого важен его результат и кто хочет быть уверенным, что данные, которые предоставляют аналитики, действительно достоверны.

В общем, если вы хотите проводить тестирование, результаты которого будут убедительными, убедитесь, что люди, которые будут его проводить, знают обо всех возможных ловушках и понимают их. А таких ловушек много, и они очень коварны.

На своей практике я не раз видел, как результаты A/B-тестирования преподносились как однозначный успех, хотя при более внимательном рассмотрении возникали вопросы к методологии или интерпретации данных. Проблема в том, что в командах редко находятся специалисты, готовые детально проверить корректность эксперимента и оценку его результатов. Поэтому к выводам тестирования всегда полезно относиться критически и внимательно разбирать, как именно они были получены. И надо быть уверенным в квалификации людей, которые такие тесты проводят.

Будущий генеральный директор Apple Джон Тернус планирует вернуть дизайн-команде статус главной движущей силы компании. В этой связи вспомнил статью «What Makes Things Cool? Intentional Design for Innovation» , которая начиналась с примера Apple и вопроса: почему же iPhone — великий продукт и как создавать подобные дизайн-решения?

Karen Holtzblatt, автор статьи, исследовал эту тему и пришел к выводу, что радость от продукта становится ключом к успеху. И все остальные вещи: функциональность, новизна, техническое совершенство и т. д. — начинают быть ценными для пользователя, когда приносят радость.

У автора есть пара подходов к тому, как работает радость и как она создается. И ключем тут является идея, что люди получают впечатления от реальной жизни, и дизайнеры способны эти впечатления целенаправленно создавать.
И тут, на мой взгляд, возникает противоречие между фокусом на функциональности дизайна, наполненности фичами и способностью дизайна создавать радость. Причем не надо путать радость от использования продукта с впечатлением, которое может произвести неожиданный внешний вид или милый маскот.

Радость создается продуктами, которые трансформируют жизнь пользователей, когда продукт помогает удовлетворять глубинные человеческие мотивации.

Когда я смотрю на эту концепцию, мне приходят на ум несколько вещей. Первое — это очень хорошее усилие по смещению фокуса от каких-то внешних признаков продукта, того, как выглядит интерфейс, какие цвета используются и т. д., к его сущностному аспекту. Это очень сложный вопрос — чем продукт хорош настолько, что пользователь будет радоваться его использованию. И если команда способна на нем сосредоточиться, то сами эти усилия могут по-новому раскрыть характер того, что создается. Правда, подозреваю, что это требует зрелой дизайн-культуры, которая содержит много доверия и умения обсуждать сложные темы.

Второе, о чем я думаю, что сам по себе подход нельзя назвать надежным фреймворком, потому что по нему можно постфактум разобрать какой-нибудь проект, но вряд ли получится реально создать продукт, который станет меняющим пользовательский опыт. Но это удивительно хорошая возможность взглянуть под новым углом на работу над проектами и своими продуктами. А это уже само по себе очень полезно.

В нашем небольшом исследовательском проекте продолжается фаза R&D. Чтобы видеть общую картину того, к чему мы хотим прийти, я грубо набросал архитектуру решения.

Сейчас мы проверяем второй шаг. По сути, именно он является краеугольным камнем всего решения, которое мы хотим построить. Для остальных компонентов мы в основном используем уже существующие подходы. А вот точность поиска в слабоструктурированных текстах представляет для нас интерес как исследовательская и инженерная задача.

В общих чертах мы видим будущее решение как систему, состоящую из шести слоев.

Слой 1 · Источники данных
Документы, статьи, Jira, GitLab, Confluence и другие источники. На вход поступают тексты и связанные с ними метаданные.

Слой 2 · Извлечение фактов и связей (то, что мы сейчас проверяем в рамках R&D)
LLM выполняет семантическую разметку текста, выделяя отдельные факты, в том числе частично пересекающиеся.

На основе выделенных фактов LLM строит цепочки вида «факт → оператор → факт» (аксиомы), а затем определяет взаимосвязи между ними (индукция).

После определения взаимосвязей факты индексируются в контекстно-зависимый граф. Индексация выполняется асинхронно и не предназначена для работы в режиме реального времени.

Слой 3 · Хранилище
Контекстно-зависимый граф, индексы фактов и метаданные источников.

Слой 4 · Планировщик запроса
Определяет стратегию поиска. Анализирует намерение пользователя, проверяет достаточность и определенность запроса (clarification), декомпозирует запрос на подзапросы, переформулирует их и выбирает оптимальный способ поиска для каждого из них: атрибутную фильтрацию, многошаговый обход графа (multi-hop) или семантический поиск.

Планировщик не выполняет поиск самостоятельно, а формирует план его исполнения.

Слой 5 · Поиск и навигация
Исполняет план поиска с использованием соответствующих инструментов. Подзапросы выполняются параллельно, после чего результаты объединяются и повторно ранжируются.

На этом же уровне реализована навигация по контекстно-зависимому графу, позволяющая смещать область поиска.

Слой 6 · Получение ответа
На основе найденной информации формируется итоговый ответ со ссылками на первоисточники.

Механизм observability отображает пользователю, по каким вершинам и связям контекстно-зависимого графа был построен ответ, обеспечивая прозрачность поиска и возможность осознанно управлять результатом.

Контуры обратной связи

Навигация по графу (6 → 5)
Пользовательский контур. Анализируя результаты поиска и их визуализацию через observability, пользователь может изменить область поиска, переместившись по контекстно-зависимому графу. После этого поиск выполняется повторно.

Переформулировка запроса (5 → 4)
Системный контур повышения качества поиска. Если полученные результаты не удовлетворяют критериям качества, исполнитель поиска сигнализирует планировщику о необходимости переформулировать запрос и повторить поиск с использованием альтернативной стратегии (self-correcting pattern).

Небольшое количество стресса помогает выполнять задачи.
Это было проверено на мышах еще в 1908 году и сформулировано в виде закона Йеркса — Додсона: производительность повышается с физиологическим или психическим возбуждением, но только до определенного момента. Когда уровень возбуждения становится слишком высоким, производительность снижается.

А теперь небольшой сдвиг от экспериментов столетней давности к сегодняшнему дню дистанционной и офисной работы.

Для людей нахождение в группе само по себе провоцирует определенный уровень стресса. Его уровень повышен в больших группах и более комфортен в маленьких.

Если представить, что нужно оптимизировать производительность работы сотрудников (забывая про work-life balance), то для рутинных работ людей надо собирать в большие опенспейсы, чтобы уровень стресса зашкаливал. Потому что производительность при рутинных операциях при высоком уровне стресса растет. Для работ, которые требуют творческого подхода и осмысления, стоит формировать мини-команды. В них и уровень стресса будет комфортным, и другие факторы будут повышать эффективность. И только для сложных задач, которые требуют погружения и сосредоточенности, можно позволить работу в одиночестве.

В нас заложены механизмы, которые включаются при стрессе и помогают нам быть более эффективными. Кривая гормонов стресса (глюкокортикоидов) имеет сходство с кривой Йеркса — Додсона.

И если посмотреть на выбор, то удаленная работа или офис, то частый аргумент в пользу удаленной работы — это меньший уровень стресса. Но, как это ни парадоксально, именно легкий стресс может помогать делать вещи более продуктивно.

Сложность в том, чтобы найти баланс и обеспечить легкую поддержку нашей ментальной деятельности за счет контролируемого стресса, не превращая это в активность, портящую жизнь.

Не раз обсуждал c друзьями одну корпоративную особенность. В многих компаниях ценится не столько умение спокойно и качественно делать работу, сколько способность создавать вокруг своей работы громкую волну обсуждений. Обещания грандиозных прорывов в будущем, громкие презентации незначительных изменений и превращение обычной новой кнопки в отчете в «ГРАНДИОЗНОЕ ИННОВАЦИОННОЕ РЕШЕНИЕ, которое увеличит продажи на 47% и обеспечит рост на 29%».

Подозреваю, многие такое видели.

Самое интересное, что такая культура постепенно начинает влиять на поведение людей, те, кто тихо и эффективно закрывает задачи, часто остаются в тени, а те, кто мастерски продает свою деятельность — получают внимание, ресурсы и продвижение.

Вопрос, который я себе задаю: можно ли в условиях сохранить баланс между реальной ценностью и ее видимостью? И как лидерам не попасть в ловушку красивых слайдов вместо реальных результатов? У меня нет ответа на эти вопросы.

Вот оригинал видео https://www.facebook.com/share/r/14hhVEP4t8d/

Последний месяц мы с партнером глубоко погружены в проектирование алгоритма для улучшения контекстного поиска. При этом чем дальше мы продвигаемся, тем ближе этап оценки и тестирования качества нашего подхода. Мы понимаем, что ошибки поиска могут возникать на разных уровнях, и наивно фокусироваться только на отдельных аспектах качества, игнорируя при этом всю глубину решаемых задач.

В какой-то момент я решил собрать для себя единый чек-лист тестирования поисковой системы — от самых базовых проверок поискового движка до оценки агентных сценариев и работы с неполными данными. Постепенно это превратилось в структурированную систему проверки, которую можно использовать для аудита поиска. Оформил все в статью на хабре https://habr.com/ru/articles/1057356/

Если последовательно пройти все этапы — от функциональных тестов до проверки качества генерации и поведения системы на неполных данных, то можно понять, до какого уровня сложности задач дотягивает поисковая система и в каком направлении ее нужно улучшать.

Мы с партнером оценивали сколько времени займет обеспечить автоматизированное тестирование от 0 до 3 уровня у нас вышло что-то около 4 недель рабочего времени (это для команды из аналитика и разработчика). И по первым прикидкам, сделать каждый следующий уровень будет требовать такое же количество времени.