Идеи как лучше планировать год (часть 2)

Я очень рад, что предыдущий пост вызвал у вас такой отклик 🔥 Вторая часть будет про то, зачем нужны цели. А также я расскажу про конкретную систему, которую вы сможете взять и попробовать.

Идея 3. Цели должны помогать принимать решения и приоритизировать время.

И желательно делать это не вызывая тревогу 😅

Я держу эту идею в голове, чтобы понять, работают цели или нет. В конечном счете не так важно, достигнете вы их или нет. Важно, как наличие целей изменит вашу жизнь. А ваша жизнь - это во многом время и принимаемые вами решения. Когда я планирую день, я спрашиваю себя: а как я сегодня приближусь к достижению своих целей? Когда я думаю, заняться проектом или нет, я смотрю насколько он смотрит в сторону моих целей?

Чтобы цели лучше работали, я пользуюсь методом, который подслушал в этом видео Тима Ферриса (осторожно, YouTube). Каждый день Тим выписывает идеи, что он мог бы сделать, чтобы он считал, чтобы день прошел не зря. Затем выбирает одну и бронирует под нее несколько часов для сфокусированной работы.

Система Year Compass

На прошлый Новый год я ездил на Смену в Грузию. Там было много разных крутых активностей, про которые я писал. Одна из самых полезных для меня - групповое планирование года. Настя, если ты это читаешь, спасибо тебе огромное ❤‍🔥

Планирование проходило этой системе https://yearcompass.com/ru/. Я столкнулся с ней впервые, но позже я узнал, что довольно много людей ее используют.

Суть системы в том, что вам нужно ответить на набор вопросов о прошлом и будущем годе. Да, там в том числе есть и сферы. Какие-то вопросы помогают порефлексировать над прошлым годом, какие-то помогают понять что вы хотите, а какие-то помогают поставить цели. Вопросы немного пересекаются, и вы отвечаете про одно и то же с разных сторон.

В итоге, несмотря на то, что вопросов много, у меня формируются несколько главных фокусов года, которые идут красной линией в ответах. Вот это и поможет лучше провести год.

Примеры

- Как выглядит твой идеальный год. Не бойся мечтать, освободись от ожиданий

- Эти 3 вещи я решусь попробовать

- Я побываю в этих трех местах

На сайте, который я привел, вы можете скачать буклет, который нужно распечатать. Но мне удобнее вести все в электронном виде, поэтому я прикладываю свой шаблон в markdown.

Заключение

Спасибо что дочитали эту серию постов! Если вы еще не запланировали год, но хотите, посмотрите на Year Compass.

Цели не главное, главное - это видение будущего. Спрашивайте себя, размышляйте и тревожьтесь поменьше. Всем желаю плодотворного и насыщенного года!

P.S. Как всегда буду благодарен за ваши реакции!

#productivity@big_ledovsky

Калибровки. Команда - это набор разных людей или Одинаковые критерии для всех? 🤔

В преддверии калибровок обсуждали с коллегами вопрос. С одной стороны, все мы разные. Сильная команда состоит из разных людей, со своими сильными и слабыми сторонами. С другой стороны, система оценки должна быть справедливой и работать одинаково для всех.

И вроде все сперва говорят, что да, мы за разнообразие! Но это просто красивая идея, на деле все обстоит не так! Если посмотреть на системы оценок зрелых компаний, то там вообще никакого разнообразия.

Нет, я помню, что у наших аналитиков есть тема, что нужно набрать сколько то баллов в разных технических компетенциях. Но это достаточно минорное послабление. По факту в условном Авито/Яндексе/ВК:

- Если ты DS и не делаешь сложные технические задачи, зато со всеми хорошо договариваешься - повышение получить сложно

- Если ты аналитик и тащишь жесткие задачи, но мало общаешься с людьми - повышение получить сложно

- Если ты продакт и круто управляешь проектами, но мало занимаешься стратегией - получение получить сложно

Конечно, такая жесткая система оценки присутствует лишь в небольшой когорте зрелых продуктовых компаний. Во многих компаниях решение о повышении принимает непосредственный руководитель или руководитель +1 и они могут использовать здравый смысл. И таких проблем нет.

Какая система лучше?

Но все-таки, мой опыт показывает, что компании с централизованной оценкой набирают в среднем более сильные команды. Да, нужно пытаться делать критерии более гибкими, чтобы извлечь пользу из разных людей. Но лучше если система есть. Поэтому «потери», которые возникают при уравниловке, в масштабе компании все равно оправданы.

Что делать тем, кто не хочет следовать критериям?

Ну, может быть вам ок работать и так, на среднем грейде, без супер карьеры. Может быть нужно собраться и выбить требуемый минимум по нелюбимым компетенциям (иногда это не так сложно!). А может вам нужно найти себя там, где вы сможете раскрыться: в компании с субъективной оценкой или в стартапе.

Спасибо что дочитали. Буду рад вашим реакциям 🔥, если пост откликнулся!

#career@big_ledovsky

Вечные проблемы DS-команд

Есть вещи, которые кажутся очевидными любому DS-у хотя бы с уровня мидла. Вы и ваша команда постоянно работаете над ними, стремитесь улучшать, но опыт показывает: гэпы и точки роста всё равно остаются. Это сложнее, чем кажется на первый взгляд. Я вижу это как на примере своей команды, так и в других. О чём я?

Метрики

Мы регулярно пересматриваем метрики. Они бывают разными:

- Бизнес-метрики
- Общие технические метрики
- Метрики ML-моделей

На первый взгляд, с бизнес-метриками всё должно быть просто. Но, как всегда, дьявол кроется в деталях.

Пример: метрика выручки.

- Вы уверены, что измеряете её правильно?
- Прокрашивается ли она в краткосрочных тестах?
- Если прокрашивается, сохранится ли эффект в долгосрочной перспективе?

Допустим, вы улучшили качество прогноза в пользовательском интерфейсе. Обучили новую модель, метрики качества улучшились. А что с выручкой? Вырастет ли она? Ответ даст только долгосрочный тест на несколько месяцев.

Вторая проблема — корреляция оффлайн ML-метрик и онлайн бизнес-метрик.

Например, ROC-AUC улучшился на несколько пунктов. Приведёт ли это к росту выручки? И на сколько процентов?

Бывали ли у вас случаи, когда оффлайн-метрики улучшились, а онлайн — нет? Или наоборот: на оффлайне изменения минимальны, а в онлайне бизнес-метрики резко выросли?

Ещё одна боль — это сбор базы проведённых тестов и датасетов к ним. Система меняется, старые данные теряют актуальность, и база перестаёт быть надёжной опорой.

Качество пайплайнов и оффлайн-среды

Работая над ML-продуктами, вы неизбежно сталкиваетесь с пайплайнами и симуляторами. И здесь тоже полно сложностей.

Система меняется, симуляторы "протухают". Качество датасетов в пайплайне требует регулярной валидации: что-то устарело, что-то изменилось, где-то появилась новая информация.

Постоянные доработки увеличивают время экспериментов. Когда подсчёты занимают полдня, а на дисках заканчивается место из-за артефактов, пора всё переписывать.

Выводы

Качественные метрики и надёжная оффлайн-среда — ключ к быстрому достижению аплифтов. Это позволяет ds-ам быстрее запускать эксперименты и тесты.

Но работа над этими аспектами — постоянная борьба. Здесь важно философское отношение и регулярное выделение ресурсов команды на системные задачи. Радуйтесь каждому стабилизированному компоненту, ведь это результат огромного труда.

Буду рад вашим реакциям 🔥 и историям вашей борьбы 🙃

#tech@big_ledovsky

Про систему ориентиров

Сегодня немного про философию 🧐. Навеяно разговорами в пятницу вечером за игристым. Но зато на эту тему у всех есть что сказать))

Один мой друг рассказал интересную идею/наблюдение. Люди, которые придерживаются какой-то веры, имеют крепкие ориентиры в жизни. Условно, нужно иметь какие-то аксиомы, базовые установки, которые принимаются без доказательств. На основе этих аксиом можно выстраивать взгляды на жизнь, выводя дальше и дальше какие-то убеждения.

У многих людей с современным мировоззрением базовые установки слабые. Они пытаются строить на них картину мира, но в период турбулентности они рушатся. Например, верит человек в демократические ценности, например в право собственности. А потом наступает кризис и его счета в зарубежных банках блокируются. Что делать? Установки рушатся. В этот момент наступают сложности, как вообще жить.

Идея классная, но у меня немного другая точка зрения. Традиционные убеждения - это что-то вроде автопилота. Достаточно хорошего, т.к. если взять базовые религии, то они существуют давно и прошли проверку временем. Однако это все-таки автопилот. И если хочется самому научиться водить, то от автопилота нужно отказываться и пробовать переходить на ручное управление. Т.е. самому размышлять над базовыми установками и самому выбирать что принимать на веру (а принимать что-то на веру все равно придется). Если вы начинаете сами водить, то наверняка в начале ваши навыки будут на уровне джуна и получаться будет хуже автопилота, но по-другому не научиться. Будут и ошибки и неверные суждения. Но в конечном счете вести руль жизни самому - это круто. Важно - не думать, что твои текущие установки идеальные и быть способным их менять.

Не хочу писать про собственные конкретные установки может быть что-то раскрою в комментариях, но могу сказать, что по крайней мере никогда в жизни я не был близок к выгоранию и всегда был рад тому, чем занимаюсь.

Буду рад вашим реакциям ❤️ всем хороших выходных!

Где почитать про DS карьеру в Авито

В моем блоге 😅

Помимо основной работы я немного занимаюсь общественно-полезной активностью в компании. Недавно мы с коллегами собрали свежую карьерную страничку про DS в Авито! На ней можно посмотреть про наши направления, карьерную лестницу, этапы собесов, статьи и выступления, а также присмотреть вакансию 💎

А еще мы работаем над одной новой PR темой, которую опубликовали пока на внутреннее DS комьюнити. И если все пойдет, то мы скоро раскроемся 🙂 🪙

https://career.avito.com/directions/data-science/

#worklife@big_ledovsky

Первый подкаст в новом году! И не простой, а в видеоформате!

Наши бессменные ведущие Анастасия Лямцева и Андрей Косько в этот раз встретились со специалистом по машинному обучению Сашей Ледовским, чтобы обсудить, как искусственный интеллект может изменить повестку устойчивого развития.

Разобравшись в нюансах термина, обсудили:

🔘Искусственный интеллект и рынок труда: исчезнут ли профессии?

🔘ИИ в медицине: перспективы и ограничения;

🔘Насколько точны прогнозы ИИ и можно ли им доверять?

🔘Достижения и ограничения ИИ: фейки, лимиты, искусство;

🔘Почему одни страны богаты, а другие бедны?

🔘Государство и ИИ: кто на самом деле будет принимать решения?

И ещё с десяток тем!

Получилось насыщенно и увлекательно, рекомендуем к прослушиванию/просмотру!


📱 Смотреть на Youtube

📱 Смотреть ВКонтакте

🔵 Слушать на удобной платформе

🚀 Слушать прямо в Телеграме


ОЙЧИВО! #Подкаст
@impactgram

Метрики эффективности. Хорошо или плохо?

TLDR. Даже самые дурацкие метрики могут быть использованы на благо при определенных условиях и в умелых руках. В неумелых руках даже хорошие метрики не принесут пользы.

Все смеются над мифической метрикой количества строк кода. Мол, нет хуже метрики для программистов. Потому что главное в инженерии не количество, а качество.

Вообще в крупных компаниях регулярно делаются попытки обложить все численными метриками. Я был свидетелем нескольких неудачных попыток обложить инженерные подразделения метриками.

Первый пример

У нас в Сбере пришел новый руководитель трайба. Он пришел из продаж, а в продажах все построено на том, что раз в Х времени все менеджеры территорий собираются и смотрят табличку выполнения плана. Те кто зеленые получают похвалу и в итоге бонусы, те кто красные, получают развивающую обратную связь 😄

Наш новый руководитель сказал - я плохо понимаю чем занимается несколько сотен инженеров. Давайте по каждой команде составим метрики и тоже отранжируем их от зеленых к красным. Кто зеленый получит повышенные оценки, а с красными будем работать 🏌️. При этом, команды были очень разные. Кто-то делал фронт, кто-то бэк, кто-то занимался DS, а кто-то писал девопс пайплайны. В общем, нетрудно догадаться, что инициатива вызвала стресс, но в итоге ничего не получилось.

Второй пример

Тоже в Сбере. В какой-то момент у нас ввели метрику фин эффекта от AI. Эта метрика стала жестко пушиться с самого верха компании, а суммы были неприлично большими, что создало очень много негативного напряжения. Дело в том, что фин эффект спрашивали только с продаж и с AI. У продактов например не было мотивации на фин эффект. В добавок, для валидации фин эффекта от AI создали отдельное подразделение валидации. Все это привело к тому, что защита фин эффекта обросла огромным стрессом, необходимостью натягивать результат, которого нет, и заниматься политикой. Лично мне это очень неприятно. И это я вежливо пишу, а вот Никита в своем посте не постеснялся прямым текстом написать про один реальный кейс. В итоге с периода ввода фин эффектов при мне ушло много годных людей, да и я сам в их числе.

Но это не значит, что метрики эффективности это плохо

Примерно год назад у нас относительно медленно шли раскатки фичей по нескольким направлениям. Я сделал дашборд с количеством смердженных PR (пул реквестов, атомарных раскаток кода) по всем DS-инженерам. Это был чисто информационный дашборд, он никак не влиял на оценку и не требовал выполнять KPI. Но каждый мог посмотреть на себя на протяжении последних месяцев. Дашборд помогал понять, в каких местах в данный момент есть сложности. В итоге, за пару месяцев мы кратно улучшили ситуацию: собирались с ребятами, разбирали трудности и меняли что-то в наших процессах.

Если бы мы сделали KPI на количество PR, то люди бы легко его зафродили. Но если никто не пытается фродить метрику, то количество PR является хорошим прокси к эффективности.

Поэтому на мой взгляд оценивать команду нужно по продуктовым метрикам. А метрики эффективности нужно использовать как инструмент в работе. Тогда будет хорошо! А так, даже самую здравую метрику можно накрутить и толка от нее не будет

Если пост откликнулся, буду рад вашим реакциям 🔥

#management@big_ledovsky

Новый Weekend Offer для DS в Авито

Всем привет! У нас запланирован новый Weekend offer для DS. Он состоится 1-2 марта, подача заявок открыта до 27 февраля. Регистрируйтесь по ссылке

Прошлый был в октябре и полностью себя оправдал. Во-первых, у нас каждая команда сделала оффер, а то и несколько. Во-вторых, пришли реально крутые кандидаты и было из кого выбрать.

Все-таки, такие мероприятия сильно экономят силы для обеих сторон. Кандидату не нужно долго ждать и гадать будет у него оффер или нет. Достаточно просто откликнуться, прособеситься и сразу получить ответ. А нанимающим командам не нужно постоянно отвлекать силы на найм в течении спринта. Сплошные плюсы особенно когда за работу в выходные платят в двойном размере 😄

Новый канал 🌈

Итак, пришло время рассказать про проект, которым мы с коллегами занимаемся последний месяц - это телеграм канал DS Авито Доска AI объявлений. Прошу любить и жаловать! В канале будет смесь про проекты и про внутреннюю жизнь. Вот несколько постов, которые мы написали:

Чем занимается наша команда LLM

Токийский дрифт на выезде DS

Почему мы перешли на kubeflow

Скажу честно, решились на канал мы не сразу. С одной стороны писать канал - это круто. Это и классное хобби, и полезно с точки зрения PR.

С другой стороны в отличии от аналитиков или дизайнеров, вовлеченность в PR активности у DS меньше. У разработчиков тоже, но их просто гораздо больше. Поэтому мы переживали, что авторов не будет хватать и канал превратится в чей-то крест (мой? 😂). Но в итоге дело пошло бодро и уверен, что будет много интересного контента.

Одной из идей за которые я топил было максимально оставлять текст авторов. Редакторы только исправляют ошибки и добавляют форматирование. Потому что лучше пост будет корявый, зато от души ❤️‍🔥

Если у вас есть пожелания о чем вы бы хотели видеть контент в нашем канале - смело пишите!