Наблюдение про ИИ.
Душнопсевдофилософский пост.

Каким бы умным ни был Клод в 2026, пока что количественный UX исследователь из него посредственный. Меня это расстраивало, ведь мне обещают, что он меня заменит😆
А недавно, когда я таскала книги из рабочей библиотеки и пыталась ему скормить, я поняла его текущее ограничение:

У него нет доступа к книгам, если книги не в открытом доступе. Вам нужно купить книгу в пдф и скормить ему, тогда он ее запомнит, но только в рамках ваших с ним отношений. Если я правильно понимаю, то это суть авторского права, которое защищается законом. Модели нельзя обучать на книгах без разрешения авторов этих книг.

Поэтому он знает все открытые книги мира, но не знает 5-10 тех, которые я читала и использую в работе. Мне приходится фотографировать ему главы, если хочу чтобы он помогал мне информацией оттуда. Но эти фотографии остаются в рамках личного использования.

Уверена, рано или поздно ИИ обойдет это ограничение. Но пока что: читаем книги, они помогают как минимум эффективнее управлять ИИ 😅

Спасибо моему чудесному коллеге за богатую библиотеку ❤️

Камингаут: Я нуб в баесовской регрессии, мои конжоинты считает пакет Choice Model R, а если что-то ломается — фиксит ИИ. Всем рекомендую!

На уровне попугая я знаю, что баес лучше чем не баес для конжоинта, если у вас маленькая выборка. А вот на больших выборках (от 5 000) мои данные не показали разницы между баесом на R и обычной линейной регрессией на Питоне.

Но вот прикольный видосик, визуализирующий баесовскую регрессию))
https://www.linkedin.com/posts/aabugaev_understanding-bayesian-regression-at-ugcPost-7462056201284014080-E7J3?utm_source=share&utm_medium=member_desktop&rcm=ACoAABf07SUBukoCRAjCoNxUsATGGI431Wg30Kw

Букинг ищет колличественного исследователя, а вдруг это ваш шанс!

https://external-workingatbooking.icims.com/jobs/28777/quantitative-researcher-ii---partner-experience/job?mobile=false&width=1280&height=500&bga=true&needsRedirect=false&jan1offset=60&jun1offset=120

А вообще мой глаз зацепился за упоминание PySpark, штука которая позволяет быстро обрабатывать большие массивы данных. Я давно мечтаю построить конжоинтный симулятор рынка на реальных данных продаж, но мощностей не хватает (и времени). Может PySpark наконец решит эту задачу агрегации данных перед непосредсвенным конжоинтом 🤔

Джеф Сауро славится тем, что в случае любого методологического спора идет не разглагольствовать, а собирать данные.

И наконец у его команды дошли руки до юзабилити тестов с ИИ. Они взяли видео с юзабилити тестов, дали на отсмотр разным экспертам: людям и разным ЛЛМкам. Получили разные списки проблем.
При этом ответы людей согласовались между собой, а ЛЛМки не имели такого консенсуса ни между собой, ни с людьми.

Затем исследователи пошли смотреть сами найденные проблемы, и были вынуждены констатировать, что ЛЛМки галюционировали 🙈
Видимо, в этом году они пока юзабилистов не смогут заменить (по крайней мере с тем же качеством).

https://measuringu.com/does-ai-find-real-ui-problems-or-just-hallucinations/

вот тут сравнивают результаты синтетиков с реальными юзерами в юзабилити тесте. сделали вывод, что ллмки логичнее чем люди, поэтому не могут найти настоящие проблемы в интерфейсе. но в комментариях выяснили, что тестировали не совсем синтетика, а просто чат+промпт. так что ждем исследований "настоящих" синтетиков, а пока знаем, что чат+промпт=плохой респондент для теста.

https://www.linkedin.com/pulse/we-tested-synthetic-users-against-real-ones-heres-what-paula-s%C3%BC%C3%9Fmeir-saske

продолжаю наблюдать за эволюцией названия исследователей в ИТ, впервые столкнулась с Survey Scientist, но звучит очень современно =)))

Сегодня открылся прием заявок на ежегодную конференцию Quant UX Con. Заявки принимают до 24 июля, но лучше не ждать до последнего😊

Можно рассказать про методы, про карьерные треки, про особенности менеджмента Quant UX, про коллаборации со смежниками.

Конференция состоится 27-29 октября, онлайн, в разных часовых поясах

https://www.quantuxcon.org

На днях выступала на митапе с рассказом про автоматизацию опросных процессов. Если коротко, то у всех тулов должно быть апи, работа через скрипты с апи позволяет автоматизировать и ускорить кучу операций. Можно автоматизировать всё, кроме работы с людьми и смыслами (брифинг со стейкхолдерами, экстракция инсайтов и донесение их остаются на исследователе, а базы, переводы, рисование графиков и обновление дашбордов автоматизируется)

Главные уроки:
1. Сначала стандартизируем, потом автоматизируем
2. Улучшения должны быть непрерывным процессом
3. Улучшения должны быть направлены на боли исследователя
4. Можно не уметь писать код, важно уметь разговаривать с людьми, выкапывать контекст внутри процессов компании, договариваться о процессах, просить коллег (аналитики, тестировщици, разрабы) помочь с идеями и экспертизой
5. Быть готовыми к тому, что на этапе внедрения автоматизация съест время на багфикс, но это долгосрочная инвестиция
6. Не убивать старые даже ручные процессы, пока не обкатали новые
7. АPI —наш лучший друг (даже без MCP)
8. Скрипты тратят ресурсы при изначально написании, но потом работают "бесплатно" без токенов и подписок

Наткнулась на пост о том, что Гугл уже ответил на большинство вопросов о том, как дизайнить и исследовать ИИ продукты

https://pair.withgoogle.com/guidebook/

Буквально вчера общалась с Maze, и они между делом рассказали про своих ИИ модераторов, которые проводят тесты и интервью на разных языках. И вот утром открываю почту, а там свежая статья от Measuring U как раз по этой теме.

Итак, Сауро и команда задались целью понять, может ли ИИ модератор заменить человека. Научные статьи показывают смешанные результаты, однозначного ответа нет ни за ни против.

Но есть бутылочное горлышко: изменения моделей. Модели вообще непостоянные сущности, даже со старым скиллом после обновления модель может начать галлюцинировать, и в какой момент это случится на интервью мы не знаем. Хотя я уверена, что те кто делают ИИ модераторов на коммерческой основе, этот факт знают и воркэраунд имеют.

Идея аутсорсить редкие языки ИИ-носителям, конечно, заманчива. Но, например, в моем конкретном случае, аудитория относится к тем, кого в статье назвали «меньшинством», то есть это люди, предпочитающие говорить с живым человеком. Для моих респондентов вообще сам факт живого разговора с живым человеком о любимой игре уже награда 😊

https://measuringu.com/effectiveness-of-ai-moderators-a-literature-review/

Недавно я чисто случайно имела счастье одним глазком посмотреть на обучение синтетических юзеров. При чем в привязке к бесконечным генерациям конжоинтов. Маленький маркетинговый исследователь из 2017 внутри меня радовался как ребенок. Раньше тулы для проведения конджоинта стоили дорого, выборка с плохой достижимостью стоила дорого, исследование у агентства на американской выборке вообще стоило как космос. И ты делал один СВС в год и радовался, что вообще прикоснулся к такому экспериментальному дизайну.

Но с синтетиками можно целыми днями генерить бесконечные конджоинт-анализы всех атрибутов на свете на любой выборке🤩

Для себя подметила 2 вещи:
1) Умение разбираться в экспериментах, зависимых и независимых переменных решает. Если чудо-машину дать в руки всем подряд, эффективнее всего она будет работать в руках тех, кто имеет опыт проведения "живых" экспериментов.
2) Ох, сколько сил надо, чтобы валидировать результаты, проверять адекватность синтетиков, сравнивать ответы синтетиков с ответами настоящих людей, подкручивать точность и вовремя переобучать модели

В такое удивительное время мы с вами, конечно, живём ❤️