Хочу обратить внимание на статью Ильи Валяева из поиска Авито, в которой описано текущее состояние нашей системы. Я работаю с поиском уже почти 2 года, и питаю к нему теплые чувства (несмотря на обилие эвристик и местами запутанного старого кода - все уже стало родным 😕).

На мой взгляд статья полезна широкому DS читателю. Она даст вам представление, как устроен поиск в серьезных нагруженных приложениях и поможет тем, кто готовится к систем дизайн собесам!

Как я наблюдаю за стажерами и как я сам им когда-то был

В продолжении темы, как я ощущаю свой возраст. У нас сейчас вышло много стажеров. Если вы один/одна из них, я искренне вас поздравляю.

Стажеры выходят волнами, у них есть различные совместные активности, презентации про работу делают и т.д. И сидишь такой на кухне и слушаешь, как они обмениваются кто в какую команду вышел, кому уже дали боевые задачи, а кому нет, сравнивают офис Авито и Яндекса. Кто-то совсем скромный, кто-то наоборот понаглее. Большинство молодые, но видел и парня постарше. Напомнило сериал Новичок прям 🙂 (картинка оттуда)

Вот так смотришь на все это и вспоминаешь, что был стажером аж 10 лет назад. Я устроился аналитиком в консалтинговую фирму, и в первый рабочий день с руководителем полетел в командировку (большую часть своей полуторалетней карьеры консультанта я провел на заводах)). Помню, что меня удивило ощущение, что нормой является в середине рабочего дня куда-нибудь полететь.

Наверное новый этап жизни начинается, когда ты проходишь какие-то первые работы, дорастаешь до уровня лида.. и в какой-то момент перед тобой открывается истинное положение вещей в карьере.

Если интересно, в чем оно заключается, накидайте мне 🐳

upd Продолжение будет в субботу

#worklife

Выбор, который обнаруживаешь в середине карьеры

Итак, вижу, что всем интересно, что такого понимает человек, после прохождения определенного этапа карьерного пути. У меня эта тема тоже откликается ❤️‍🔥и я с радостью поделюсь своим мнением. Я пришел к нескольким выводам, но все они достаточно объемные. Поэтому в этом посте расскажу про один.

На самом деле для вас не заготовлено никакого карьерного пути, по которому вы будете двигаться, хорошо делая свою работу и потихоньку повышая свои навыки. Вам нужно будет решить что делать дальше.

Большинство из нас привыкли, что нужно следовать правилам и все будет хорошо. Ходишь в школу, получаешь оценки. Потом институт, где то же самое. На работе, если ты приходишь в крупную компанию, то начинаешь получать грейды, повышения на ревью и кажется, что так будет всегда.

На самом деле нет) Во взрослом мире нет готовой траектории. Компания доведет вас до синьора или тимлида, а дальше все зависит от вас. И вам нужно будет делать выбор что делать дальше. Вот варианты, которые есть на мой субъективный взгляд

- Путь жизни. Может быть вас все устраивает. Вы достигли желаемой карьерной позиции. Можете оставить гонки в стороне, наслаждаться жизнью, заниматься хобби, семьей и так далее. Абсолютно нормальный здоровый выбор

- Путь менеджера. Быть менеджером - интересно, хотя характер работы сильно меняется. Нужно понимать, что тут вам никто не приготовил позиции на вырост и ваша задача самим их себе искать. Внутри или вне компании. Конкурировать в другими такими же менеджерами и выстраивать хорошие взаимоотношения с людьми, чтобы когда будет возможность вас позвали. Да, и с инженерным развитием этот путь сочетать не получится.

- Путь стартапера. Вы можете быть фаундером или прийти на позицию DS-а кофаудера, или пойти работать в стартап на ранней стадии за долю. Наверное, это самый престижный путь. Кто не хочет стать новым Сэмом Альтманом? Но если в компании менеджерские позиции так или иначе появляются и расти вполне реально, то в стартаперстве вероятность заранее не в вашу пользу. Пан или пропал. Я думаю, чтобы идти в стартап, нужно очень хотеть и гореть идеей.

- Путь мастерства. Вы стараетесь стать первоклассным инженером на позиции синьора или руководителя относительно небольшого отдела. На этом пути главное - получение общественно признанных достижений. Выступления на конференциях, статьи, работа в престижной компании, публичные репозитории, курсы, телеграм канал в конце концов. Почему именно публичные достижения - это единственный способ получить реальную оценку. Вы конечно можете получить сверхрезультат на ревью, но это медалька в своей песочнице.

В общем, я выбрал для себя путь мастерства. И во многом поэтому я перешел из Сбера в Авито с сильным уменьшением количества подчиненных, но на гораздо более сложную техническую задачу.

На этом наверное все. Обсуждения крайне приветствуются. И еще я запущу опрос за какой вы путь 💎

Если вам было интересно и хотите послушать от меня еще инсайтов, накидайте еще 🐳

#career@big_ledovsky

🔜Читайте также
Инфляция грейдов
Мои сильные и слабые стороны
Мои принципы в управлении

💻 Должен ли DS писать продовый код?

Всем привет! Меня зовут Саша Ледовский. Я DS Team Lead в Adtech Авито, и я очень рад написать для канала Avito Data Tech.

Хочу обсудить с вопрос, касающийся роли DS в компании — а должен ли DS писать продовый код? Под продовым кодом я имею в виду не даги на airflow раз в сутки, а прям доработки в real-time сервисы, с нагрузкой и критичностью.

🔍 В пользу ответов «Да» или «Нет» есть свои аргументы.

В пользу «Нет» есть два аргумента. Во-первых, людей, разбирающихся и в ML, и в проде, сложно искать. Во-вторых, есть DS-ы, которым не хочется разбираться в сложном коде бэкенда, заниматься отладкой, писать тесты и делать прочие, присущие работе с продовым кодом, вещи.

В пользу «Да» тоже есть что сказать. Реальные сервисы — это не модель с обёрткой в API. Там есть туча логики, алгоритмов, эвристик, постобработок, нужно понимать, как отправляются события, доезжают фичи и прочее. Оффлайн приемку нужно гонять, в конце концов. Передавать это от DS-а к разработчику и обратно в полной мере невозможно.

📌 Лично я выступаю за то, что обычный DS должен писать в прод, и рынок, по мере увеличения зрелости, к этому придёт. Например, у нас в Авито DS — это в первую очередь инженер. На наших собеседованиях одним из важных факторов является опыт работы с продом. Всем, кто пока не работал с продом и с нагрузкой — очень рекомендую попробовать. Это правда интересно!

С другой стороны, мне кажется правильным, что в ряде компаний из DS часто выделяют исследователей — Applied Researchers или что-то вроде того. Исследователи находятся в отдельных командах, не отвечают за прод, а занимаются именно исследованиями: разрабатывают новые алгоритмы, читают и пишут статьи, развивая технологии в долгую.

Итог: если вы DS, я рекомендую вам либо уделить внимание инженерным навыкам или целенаправленно перемещаться в исследователи. Быть посередине, на мой взгляд, менее перспективно. Что думаете?

#DS

Скоро осенняя I'ML

Обещал, что буду писать про предстоящие Data Science конференции.

8 ноября будет проходить IML. Первый раз IML проходила в мае. Я должен был тогда выступить, но в итоге у меня произошла накладка с поездкой на WebConf. В этот раз я тоже буду участвовать, но в качестве эксперта (вести дискуссию с докладчиком после выступления).

Фокус конфы - MLOps. Большая часть докладов будет про применение моделей в продакшене. Два доклада, которые меня заинтересовали больше всего: оценка качества моделей поиска Я.Лавки (очень близкая мне тема, я там буду как раз в качестве эксперта) и Airflow под высокой нагрузкой в Okko.

🔜Читайте также
Впечатления с E-CODE 2024
Впечатления с PracticalML 24

#tech

Сезон набора формы и сезон эксплуатации формы для DS

На днях узнал от Андрея интересные инсайты про бег 🏃‍♂️ и подумал, насколько это применимо к Data Science. Андрей увлекается триатлонными видами спорта. Прям по серьезке. У него в порядке нормы, когда больше одной тренировки в день. Оказалось, что в беге есть два сезона: сезон набора формы и сезон ее эксплуатации.

Оказалось, неэффективно одновременно участвовать в соревнованиях и наращивать свои показатели. В сезон, когда активно идут забеги, нужно восстанавливаться и подводиться к новым дистанциям. В этот период можно только поддерживать свою форму на том же уровне. А в сезон, когда забегов нет, можно улучшать форму и повышать темп и объемы в которых тебе комфортно бежать.

💎 Я задумался, а применимо ли это к Data Science? В данном случае набор формы - это чтение статей, прохождение курсов, изучение докладов на конференциях и open-source кода. Эксплуатация формы - это решение прикладных задач.

Конечно, на работе 👨‍💻 вам как правило никто не даст потратить квартал на рисерч. И это правильно. В большинстве ситуаций лучше всего выдавать пусть небольшой результат, но регулярно. Однако, задачи бывают разные по сложности. Плюс когда мы говорим про DS, мы говорим и про активность вне работы: хобби-проекты, соревнования, рисерч итд.

Условно, в один квартал можно брать задачу, которая представляет для вас челлендж. А в другой квартал брать стандартные для себя задачи и посвящать время совершенствованию своих навыков. Мне кажется, что моя проблема, что я не могу разделить две эти активности, поэтому мой рост "формы" происходит медленнее, чем я бы хотел. Наверное, последний системный период набора формы у меня был два года назад, когда я проходил HardML. Все остальное было смазано фокусами на какие-то прикладные задачи.

Как всегда, буду рад услышать ваше мнение!

🔜Читайте также
Впечателения от HardML
Как разобраться в трансформерах - про открытый ШАДовский курс NLP

Senior Data Scientist vs Senior крановщик

Вчера читал один пост про то, что ИТ-шники больше не "элита", а новый рабочий класс 👨‍💻. И что сварщики и крановщики теперь получают очень много, и это они - новая "элита". Но при этом у них после смены чиста-голова, и вообще меньше стресса.

Вайб поста мне очень зашел. Но по сути все обстоит не совсем так. Автор очевидно вкладывал в пост долю шутки, но я вот задумался.

Во-первых, ИТ не элита, потому что никогда не был путем, чтобы стать богатым и успешным. Консалтинг, инвестиционный банкинг, свой бизнес, работа недалеко от бюджета 🍿, классическая корпоративная карьера, но не ИТ. Даже стартапы выглядят как сомнительный способ стать богатым. ИТ всегда был про комфорт, свободу 🗽 и социальные лифты.

Во-вторых, инженерная работа - это не работа руками. Наверняка, у читателей канала был разный опыт работы и они подтвердят. Я в начале своей карьеры поработал в операционном консалтинге Ernst and Young и около полутора лет ездил в долгие командировки на металлургические заводы. Завод это: жесткая практически армейская дисциплина, ночные смены, холод или жара в цеху, часто монотонная работа. Еще на вас периодически орут матом.

А в ИТ вы просыпаетесь в 10-25 за 5 минут до дейлика (я так очень редко делаю, но бывает 😅) и завариваете себе латте с адаптогенами ☕ (а вот это делаю регулярно, перешел на фирму re-feel с обычного кофе). Одна девушка в комментариях написала замечательную аналогию, что ИТ-шник живет как раньше могли себе позволить жить художники и писатели.

Я искренне ценю тот образ жизни, который мне доступен. И сейчас собираюсь в путешествие на месяц, вдохновляясь друзьями-номадами и русской литературой (хотя в русской литературе герои подолгу путешествовали по Кавказу, а не там, куда я еду. но я про вайб). Об этом расскажу в следующий раз.

#lifestyle