Тут рассказывают, как работает performance review в Авито — подробный гайд составил их директор по аналитике Илья Гуров. Для больших команд аналитиков, где спецов выше мидла может быть несколько, это просто золото. Грамотная система ревью позволяет руководителю понятно описать грейды и получить адекватное представление о росте сотрудников, компетенциях и карьерных ожиданиях.

Если коротко, то у Авито все устроено так:

1. Self-review. Сотрудник предъявляет собственные результаты.

2. Сбор отзывов от коллег, которые участвовали в тех же проектах или заинтересованы в результатах.

3. Оценка компетенций. Руководитель собирает артефакты и доказательства по всем компетенциям.

4. Калибровка оценок между руководителями. Это защита оценки перед другими менеджерами с презентацией и фасилитатором. Душно, но эффективно.

Все это проводят каждые полгода. Так отдел аналитики достигает сразу нескольких целей: у сотрудников есть прозрачный карьерный путь и мотивация, руководитель в курсе всех процессов, а еще у всех менеджеров синхронизируются ожидания.

Проводите у себя ревью? Поделитесь лайфхаками в комментах!

Не так давно стал очень часто обращаться за поиском к perpflexity.ai

Это такой поисковик, работающий на базе LLMs

В perpflexity много всяких крутых фичей. Например, при регистрации можно задать свой профиль, указав ответы на вопросы про свою деятельность, книги, которые понравились и другие такие вопросы, которые позволяют сформировать некую «персону», через которую будет осуществляться поиск

Не буду тут писать обзор всех возможностей, попробуйте сами. Отмечу только 2 ключевые

Одна из самых крутых штук, которые там есть — это поиск по академическим источникам. Просто указываете в опции Focus значение «Academic» и поле поиска сужается до источников с академическими статьями (например, arxiv, acm)

Но прелесть perpflexity в том, что он не просто ищет ссылки, а на основе результатов поиска пытается сделать ответ на поисковый запрос (то есть работает как question-answering system по документам, которые семантически наиболее близки к заданному вопросу) (в комментариях оставлю скриншот как это выглядит)

Вторая функция, которая для выглядит очень вовлекающей и делающей продукт «прилипчивым» — это список «related» вопросов, которые можно выбрать из предлагаемого списка. То есть получается как бы цепочка вопросов, двигаясь по которой можно уточнять или расширять изначальный вопрос. В общем, такое движение по семантическому графу (опять же, скрин в комментах)

На мой взгляд, такие продукты как perpfexity осторожно подступают к видению того каким будет будущее поисковых систем. Добавьте туда возможность поиска по собственной базе документов + какую-то интеграцию с хранилищем важных знаний типа Obsidian и вообще самые смелые фантазии, связанные с knowledge management и information retrival — и это уже большее, чем просто поисковые системы

AI Forge

Я завёл отдельный канал для того, чтобы писать в него про большие языковые модели типа ChatGPT, Claude, LLAMA, постараюсь акцентировать внимание на том как их использовать в профессиональной деятельности и в бизнесе. В том числе буду больше писать про интеграцию LLM в бизнес-процессы, возможности использования для роста бизнес-метрик и ценности

https://t.me/ai_forge

О новый дивный мир!

Говорили сегодня с подругой, которая не так давно переклафицировалась в QA-тестировщики о синдроме самозванца в IT-профессиях. И этот разговор навёл на некоторое количество любопытных мыслей

Синдром самозванца — это забавное и я бы даже сказал полезное расстройство, потому что оно заставляет успешных людей испытывать некоторую тревогу перед разоблачением. Что сейчас прибежит какой-нибудь Иван, который работает дольше тебя, и сорвет с тебя маску «гуру», а под маской... Кто же будет под маской... Тут без душераздирающих инсайтов — под маской будешь ты

Почему же синдром самозванца — полезный? Если научиться договариваться со своим внуренним самозванцем, то в определенный момент можно сделать его личным штурманом. Если обращать внимание на те моменты, когда у нас появляется мысль о том, что мы с чем-то не справимся и нас «разоблачат», то эту мысль можно попробовать перевернуть, что даст больше уверенности для того, чтобы идти вперед. Вот несколько примеров:

- Я не справляюсь с этой задачей и это будет конец моей карьеры → Я сейчас могу испытывать трудности, но результат этой задачи не определяет мою долгосрочную карьеру
- Я не сделаю это и все узнают, что я некомпетентен → Я имею право на ошибки, это позволяет мне учиться и совершенствоваться в своём деле
- Я не сделаю это на должном уровне и все поймут, что я бесполезен → Я приложу усилия, чтобы сделать это хорошо, но никто не выдаёт идеальный результат. Сделаю и посмотрю на обратную связь

И важная штука именно в этом переворачивании внутренних убеждений, чтобы сдвинуть себя из мертвой точки парализующей тревоги, убрать страх, ведь «страх убивает разум»

Со временем синдром самозванца становится спутником и вырабатывается привычка при первых его звоночках идти в какое-то начинание через смелость, говоря себе: «Пускай я сейчас в этом ничего не понимаю, выглядит сложно, и я не знаю что делать, но уверен, что по пути разберусь»

Лично у меня вряд ли будет такое состояние разума, что я перестану слышать внутри голос своего самозванца, это произойдёт только если я «успокоюсь» и буду ставить перед собой те задачи, которые уже когда-то решал, но с одинаковыми задачами мне скучно. И переживания в моем случае — это нормальная и нужная штука, потому что без переживаний я бы не кайфовал так в момент достижения результата. Эти легкие переживания приобретают флёр «несостоявшейся угрозы», когда оглядываясь назад понимаешь, что рисовал в своей голове больше преград, чем оказалось на самом деле

Без переживаний и сомнений можно, но как будто бы это возможно только в рамках очень узкой экспертной зоны. Иногда это хорошо, например, когда в команде есть сотрудник, глубоко погруженный в устройство определенной части системы, он становится таким «дедом-принципалом», к которому все ходят за советом. За рамки понимаемой системы он не выходит или выходит с неохотой

Бывает и другой типаж без сомнений в себе, но с кучей сомнений в других, такой «скучный профессионализм», без задора, но с большим количеством критики (надо признать, иногда конструктивной) такие люди черствеют в своей зоне экспертизы. Это не какая-то явная закономерность, но часто такие специалисты превращаются в тех, кто «лучше всех всё знает» и не признает своих ошибок. В общем, в классических душнил и токсиков, из-за которых команда часто испытывает демотивацию, потому что такие люди не оставляют другим места для ошибок

Мне кажется, с внутренним самозванцем нужно не бороться, а договариваться, научится лучше его понимать и конвертировать страхи в что-то более положительное, при этом оставляя себе пространство для переживаний. Я думаю, что «самозванцы» именно за счет своих сомнений и неуверенности, растут и развиваются быстрее, нежели те, кто никогда не сомневается. Ведь процесс осознания собственных ограничений и поиск путей для их преодоления — это то, что делает «самозванцев» более устойчивыми к изменениям и риску

Когда собирал данные по опросу, то одной из самых болючих тем оказалась история про синдром самозванца. И оно кажется логичным, так как анализ данных — это с одной стороны быстро меняющаяся сфера, а с другой стороны — ёмкая в плане экспертности мнения. Можно говорить, что в анализе данных есть какая-то предельная объективность, но на мой взгляд это не совсем так

Так что делюсь своими размышлениями про синдром самозванца, может кому-то будет полезно

Я тут сделал краткую выжимку инсайтов, которые показались мне полезными из нового отчета Маккинзи про состояние дел с внедрением ИИ в организациях

https://telegra.ph/Vyvody-iz-reporta-The-state-of-AI-in-2023-Generative-AIs-breakout-year-08-08

В топ-3 пунктов, которые ярко выделились по результатам моего опроса софтовых проблем, с которыми сталкиваются аналитики стал пункт «Я делаю работу, но у меня возникает ощущение, что она не приносит ценности бизнесу»

Одна из причин такого положения дел — аналитики часто бывают оторваны от бизнеса и воспринимаются как некие «калькуляторы», «интерфейсы к данным», «люди, которые делают дашборды». Если искать первопричину этого, то чаще всего окажется, что она кроется в организационной структуре, целеполагании организации, культуре принятия решений и в том, что менеджемент, отвечающий за бизнес-показатели, не способен (по разным причинам) эти самые бизнес-показатели проращивать на уровень других подразделений

Но тут проблема и в аналитиках, потому что часто я встречаю аналитиков, которых не очень то заботит бизнес, они любят данные, любят задачки, поковыряться, построить какой-нибудь звездолёт для сегментации клиентов с помощью глубокого обучения и цепей Маркова. И это бывает оправдано, когда наш звездолёт может окупить себя экономически, то есть сложность реализации алгоритма оправдывается экономической эффективностью — такое часто можно наблюдать в data-driven продуктах, где изменение какой-то метрики даже на 0,1% в абсолюте даст бизнесу ощутимый рост в деньгах

И это подводит к мысли о том, что если работа не приносит ценности бизнесу, то одной из компонент этого ощущения может быть непонимание самим аналитиком задач бизнеса и того как его труд может встроится в цепочку генерации ценности для бизнеса. Что подводит к вопросу «бизнес-мышления», про которое часто любят говорить нанимающие лиды и хэды аналитики

Жмите 🔥, если интересно почитать про этот вопрос подробнее

Звучит банально до тошноты, но я тут недавно проводил для коллег мастер-класс по составлению промптов

Разобрали из чего вообще состоит хороший промпт (инструкция, контекст, вводные данные, формат вывода), посмотрели на несколько приемов (few-shot, act like, direct stimulus prompting, chain-of-thought, chatgpt as prompt engineer) , обсудили ошибки, которые совершают люди, считающие что можно получить качественный результат от LLM-генерируемого текста с первого раза (ожидание, что gpt «читает мысли», отсутствие экспериментов с выводом, отсутствие черри-пикинга)

В общем, получилось очень базово, но как оказалось полезно, особенно для тех, кто не читал никаких туториалов и не подходит к «общению с LLM» как к чисто функциональной задаче заставить черный ящик выплевывать что-то с приемлемым результатом

Презентация с мастер-класса тут

Что-то не джойнится, половины данных нет, АБ тест запустили криво, дашборд сломался. Рано или поздно каждый аналитик сталкивается с такими проблемами. О таких и многих других кейсах в своем канале рассказывает аналитик  -  Юрий Борзило. В канале есть много клевых материалов.

1 Подборки:
💎 Подборка материалов по АБ тестам
💎 Подборка курсов по инструментам аналитика
💎 Подборка комплексных курсов по аналитике

2 Про работу аналитиком:
💎 Как ставить задачи аналитику
💎 Почему LTV плохая метрика
💎 Базовая схема сквозной аналитики
💎 Toolkits в работе аналитика
💎 Кратный рост VS тюнинг конверсии

Кроме полезнях в канале полно прикольных мемасов про анализ данных. Несколько рандомных мемасов: тык1, тык2, тык3

Ссылка на канал

Возвращаясь к теме с бизнес-мышлением

В комментариях задали интересный вопрос «Если это структурный вопрос и ценностный, то что с этим делать то можно?». Если упрощать, то вопрос может звучать как «Что делать если в компании в целом с бизнес-мышлением туго и с отношением к продукту как к продукту?»

В большинстве случаев, отсутствие в компании продуктовой культуры и ориентации на бизнес-метрики — это следствие плохого целеполагания на уровне менеджмента компании. Из-за невнятного целеполагания, чаще всего в организационной структуре отсутсвует важная деталь: отношения между подразделениями не способствуют к тому, чтобы сотрудники сообща взаимодействовали в интересах бизнеса. В хорошей оргструктуре реализованы сдержки-противовесы, дающие критическое осмысление деятельности через вопрос «а что это даёт для бизнеса?». Чаще всего такие вопросы провоцируют некоторое количество внутреннего напряжения (а иногда и открытых конфликтов), что выступает драйвером изменений. Ещё один компонент «слабого» менеджмента — отсутствие со стороны руководства ясной коммуникационной стратегии о целеполагании и состоянии бизнеса, которая формировала бы корпоративную культуру (не в смысле «мы — команда, у нас весело», а в смысле культуры принятия решений с ориентацией на бизнес-результат)

Но что делать, если ты не руководитель и бизнес-метрики напрямую не входят в зону ответственности? Но при этом есть желание что-то изменить и приблизить светлое будущее, где решения будут приниматься с вопросом «А в чём польза для бизнеса?». Ответ: кросс-функциональные проекты

Кросс-функциональные проекты — это рабочая группа, где пересекается несколько сотрудников смежных подразделений, заинтересованных в достижении определенного результата. У них возникает совместное целеполагание, приоритезация, планирование и другие процессы. Ключевое тут — совместное, где возникает некое равенство участников, а не так, что каждый друг другу стейкхолдер и чего-то друг друга все хотят и пытаются засунуть задачи друг другу в бэклоги. Отдельный вопрос как лучше такие кросс-функциональные проекты организовывать, но про это я расскажу позже, если будет интересно

Я считаю, что кросс-функциональные проекты — это отличный способ создать «структуру внутри структуры». И при хорошей организации этой структуры она способна производить влияние на культуру принятия решений и ценности внутри компании

Чем же хороши кросс-функциональные проекты и почему они в целом подтягивают участников рабочей группы с точки зрения бизнес-мышления? Ответ на этот вопрос тянет на отдельный пост и, скорее всего, когда дойдут руки, я его напишу. Но если коротко, то это заставляет людей видеть картинку чуть шире, научиться видеть широкую картинку на уровне бизнеса и в то же время глубоко вгружаться в зоны ответственности и процессы коллег из смежных подразделений. Всё это формирует подход, где происходит больше обмена знаниями и формирует умение видеть общую картинку, а не только маленький кусочек своей работы, а также принимать ответственность за результат целиком, а не только за свою работу

Поставьте 🔥, если интересно ещё почитать про кросс-функциональные проекты (их преимущества, как их организовать, как их «продавать» руководству)