✨Как справиться со страхом и научиться проходить собеседования?

Парадоксально, но факт — чтобы научиться проходиться собеседования, надо проходить собеседования.💡

Но сейчас рынок такой, что на 100 откликов можно получить лишь одно приглашение на интервью (и это уже неплохо). И тратить его на практику прохождения, где ты забудешь все, что знал (возможно даже последние несколько мест работы), явно не хочется. Задача становится еще труднее, если после российского рынка вы ищете работу на международном, и говорить надо на другом языке.

Получается какой-то замкнутый круг. Но выход из него есть — mock-интервью. 🚀

Это отличный способ научиться проходить собеседования, ничем не рискуя. Вы нарабатываете практику, тренируетесь отвечать на вопросы, говорить на иностранном языке (если надо) и банально чувствовать себя увереннее. А одно это может решить. Как бонус — возможно получится с их помощью найти себе работу. Можно найти как бесплатные, так и платные ресурсы, все зависит от ваших целей и возможностей. 🎯


🎥 Смотреть открытые интервью

Перед тем, как начинать проходить собеседование, посмотрите как его проходят другие:

- YouTube канал про подготовку к собеседованиям на Data позиции, есть много небольших моков
- Плейлист с собеседованиями от karpov
- Пример собеседования на продуктового аналитика
- Еще один


🤖 Проходить интервью с AI

Дешево и сердито. Не идеально, но может помочь чувствовать себя уверенне и потренироваться отвечать на вопросы:

- Chatgpt — последняя 4o версия может с вами поговорить и дать фидбек. Загрузите ваше резюме, описание вакансии и попросите провести интервью на эту позицию.
- interview-warmup — Сервис от Google с AI для тренировки разных типов интервью.


💼 Проходить мок интервью на платформах с лучшими специалистами

Существуют платформы, заточенные на тренировку прохождения интервью. Помимо моков, там вы найдете курсы и гайды по прохождению собеседований.
Кажется наиболее полезно при подготовке к собеседованиям в компании уровня MAANG.

Вот два топовых зарубежных ресурса:

- https://interviewing.io
- https://www.tryexponent.com

🧑‍🏫 Найти себе ментора

Опытный специалист поможет подготовиться к интервью, подсветит слабые места, проведет мок-интервью. А возможно вы его заинтересуете, и он зарефералит вас к себе в компанию.

А иногда, когда опускаются руки, важна банальная поддержка, в чем опытный коллега тоже может помочь.

Вот тут собрано несколько площадок, где можно найти ментора.


🤝 Не будьте в одиночестве

В команде всегда проще что-то делать. И полезно понимать, что вы не один, а есть много тех, кто сталкивается с вашей проблемой. Попробуйте найти тех, кто как и вы ищет работу, объединитесь и готовьтесь вместе. Так готовиться не только проще, но и мотивирует и помогает не опускать руки. Также можно проводить друг другу моки. Попробуйте найти чаты и группы в telegram и ищите единомышленников там. А если вы знаете такие чаты, то делитесь в комментариях!

И расскажите, проходили ли вы mock собеседования и помогло ли это вам это?

🎯 Вы разобрались в основах A/B, а дальше что?

Если вы задумываетесь о том, как продолжить качать свою A/B-мышцу, то этот пост для вас.

Допустим, вы понимаете, зачем они вообще нужны, как применять стат. тесты, как их дизайнить, знаете основные ошибки (например, не будете подглядывать и будете следить за наличием SRM). 

Чтож, на самом деле, это уже почти успешный успех, скажем, 80% по принципу Парето. Но оставшиеся 20% не менее интересны и, главное, полезны. Меня вдохновляют эксперименты тем, что являются движущей силой развития продукта. Поэтому эти самые 20% могут помочь проводить эксперименты качественнее, быстрее и достовернее, помогая улучшать продукт.

Вот, на мой взгляд, топ тем, в которые стоит погрузиться после получения хорошей базы:

📚 Культура A/B-тестов

Без культуры принятия решений, основанных на экспериментах, все написанное ниже почти бесполезно.

- Про процессы на Хабр
- Культура развития A/B в Microsoft
- В Netflix

🚀 Ускорение тестов

Всегда хочется проверить больше гипотез и сделать это быстрее. Мешает нам дисперсия. Основные методы ускорения тестов как раз направлены на ее сокращение.

У меня есть два поста, где собрано то, что поможет хорошо разобраться в этой теме (при желании, даже немного закопавшись в ML): Раз, Два.


🔄 Последовательное тестирование

Существуют подходы, которые позволяют не совершать ошибку подглядывания и при этом еще и ускорять эксперименты.

- Статья на medium про msprt
- Тут есть реализация на R


🔍 AB без AB

Не всегда возможно провести сплитование, тогда методы Diff-in-Diff, Casual Inference и некоторые другие вам в помощь.

- Отличный обзор на medium
- То, как это делает Netflix: раз, два


🌐 Network effects

Иногда изменения в тесте будут влиять на контроль. Так бывает в соцсетях и в сервисах такси:

- Статья от Meta
- Две статьи от СитиМобил: Раз, Два


💡 Делитесь с коллегами и пишите в комментариях, какие еще продвинутые темы в экспериментах вы считаете важными!

🔍 А так ли нужны A/B тесты?

Не всегда есть возможность провести классический A/B тест. Например, из-за наличия network эффектов — актуально для такси и социальных сетей, или для оценки маркетинговой кампании с наружной рекламой в городе (вы ведь не можете заставить половину города на нее не смотреть). В таких случаях вам может помочь Causal Impact.

📈 В одном предложении, как он работает: до начала эксперимента обучается модель на временном ряде исследуемой метрики с использованием дополнительных ковариат, после чего делается предсказание на время после воздействия и с помощью байесовского вывода рассчитывается размер эффекта, доверительные интервалы и p-value, сравнивая факт с прогнозом.

🤔 Возникает вопрос, если это работает, почему бы не использовать Causal Impact вместо классических A/B тестов?

❗️ Одна из главных проблем — для таких моделей нам очень сложно контролировать ошибку первого рода и мощность. Также для корректной работы требуется много работы с моделью, и появляется большая зависимость от данных — далеко не все ряды можно хорошо предсказать, из-за чего достоверность метода будет сильно страдать.

💡 Поэтому, если есть возможность проводить A/B, то делайте A/B. Тем не менее, мы можем улучшить достоверность Causal Impact, немного (а возможно и долго) поигравшись с моделированием.

Как и с обычными тестами, мы можем на исторических данных провести много AA и AB тестов, обучая модель и считая количество ложных прокрасов (для AA) или, наоборот, количество верно найденных изменений (AB с искусственно добавленным эффектом). Поэкспериментировать стоит со следующими параметрами: размер эффекта, количество данных для обучения, горизонт предсказания, тип модели (и её гиперпараметры), разные ковариаты. Так вы сможете понять уровень значимости и мощность этого метода, выбрав оптимальные параметры на моделировании. Но если сравнить с классическим A/B (там где его возможно провести), то, вероятно, он будет менее мощным и будет допускать больше ложных прокрасов.

📊 Кстати, если вам интересно, как провести такое моделирование и сравнить с классическим A/B, пишите в комментариях, и если будет много запросов, покажу как это делать на практике!

👨‍💻 Применяли ли вы Causal Impact в своей работе? Было бы интересно почитать, с какими сложностями вы столкнулись.


Материалы на почитать/посмотреть/потыкать:

- Оригинальная статья от Google
- Обзор методов АБ без АБ
- Causal Inference в офлайн ритейле
- Библиотека с causal impact
- Еще одна библиотека
- Доклад про causal impact на митапе ODS

🦾 Чтож, LLM теперь научились думать, а что насчет тебя?

Если вы пропустили, то несколько дней назад OpenAI выкатили новую модель o1, которая умеет в некотором роде думать, и создана для решения сложных задач в науке, программировании и математике. Пишут, что она умнее среднего выпускника PHD, и появляются видео, как она пишет код научной статьи за несколько промптов, на которую ученый потратил целый год.

С видео уже вроде как выяснили, что код долго лежал в открытом доступе, поэтому модель скорее всего на нем обучалась, да и заголовок, на мой взгляд, несколько кликбейтный - модель просто воспроизводит код по описанию методологии и тексту научной статьи. То есть она все еще не пишет диссертацию, решая за тебя сложный научный вопрос, а остается полезным инструментом (фух, человеки ПОКА еще кажется нужны). Тем не менее, выглядит супер круто, особенно если учесть, что с появления ChatGPT прошло всего то пара лет, прогресс на лицо.

Все еще считаю ChatGPT отличным помощником в работе, особенно в плане работы с кодом (будь то прототипирование, оптимизация, написание простых скриптов или исправление ошибок), генерации идей и обучения. Тем не менее, у меня иногда появляются некоторые опасения по ее применению.

Во-первых, это все-таки модель, и она ошибается. То есть, по опыту, она достаточно хорошо работает на задачах по улучшению кода, корректность которого я могу проверить. Но если это открытый вопрос или создание чего-то нового, то периодически она может выдавать дичь, и я никогда не могу быть уверенным, можно ли доверять такому ответу. Эта грань между тем, что у она обучалась на огромном корпусе информации и кажется всезнающей и тем, что она может ошибаться в простых вещах (про это предупреждают и сами OpenAI) меня всегда смущает.

Во-вторых, это что-то из синдрома самозванца и боязни того, что ИИ захватит весь мир (тут привет жене, которая на всякий случай всегда пишет спасибо-пожалуйста чату гпт). Задаю себе вопрос, а если использовать AI на постоянной основе для написание кода и выполнения профессиональных задач, не станешь ли ты сам в какой-то момент человеком, который забыл как программировать? Это я, конечно, утрирую, но все равно хочу для себя понять, насколько сильно стоит его интегрировать в свою работу. На это хочется сразу себе ответить, что это инструмент, который с помощью автоматизации рутинных задач дает больше времени на креатив и крутые идеи, но опасения все равно остаются.

Поделитесь в комментариях, что думаете по поводу применения AI в работе? А еще накидайте, пожалуйста, годных материалов по prompt engineering, хочу лучше в этом разобраться.

Еще мне стало интересно, стала ли модель работать лучше в плане написания кода, поэтому с помощью нее провел сравнение квази-экспериментов с t-test. Вот код на GitHub, который получился после первого промыта и к чему я пришел после ряда исправлений. Интересно смотреть на размышления модели - там не весь процесс, но выглядит интересно.

В целом, заметно, что модель стала умнее, выдает гораздо более длинные и сложные ответы. При этом суть работы не сильно поменялась, она все так же совершает ошибки, и требует дебагов. При этом, весь этот код получилось сгенерировать примерно за час, сам бы я потратил кратно больше времени. Использовать определено стоит, но в разумных пределах и понимая те задачи, с которыми модель хорошо справляется.

А по поводу сравнения t-test с diff-in-diff и casual impact - видно, что FPR у квази-экспериментов выше, но выше и мощность. По поводу корректности выводов по мощности есть сомнения, и вероятно здесь играет роль специфика сгенерированных данных. Для чистоты эксперимента, я бы проверил эти методы на реальных данных.

📚 Рассказываю, как готовиться к секции по A/B-тестам

Почти всегда про A/B-тесты спрашивают в рамках продуктовых кейсов, поэтому первый совет - изучите продукт компании, в которую вы собеседуетесь. Подумайте, с какими типами данных и метриками там работают, какие проблемы и задачи могут появляться в экспериментах. Где-то очень мало данных и нужно использовать методы сокращения дисперсии, где-то основные метрики - ratio и надо знать, как с ними работать. А где-то вообще невозможно провести классический тест, например, из-за сильных сетевых эффектов и используют квази-эксперименты.

Повторите общий пайплайн проведения A/B и базу. Начиная от того, а зачем они вообще нужны до основ дизайна эксперимента и их анализа. Несколько раз, собеседуя синьеров, сталкивался с ситуацией, когда мне не могли объяснить как рассчитать размер выборки и убеждали, что в целом можно и на всех раскатить без A/B (иногда действительно можно, но это не тот случай). Везде конечно по-разному, и вряд ли красным флагом будет то, что вы не помните наизусть формулу для расчета размера выборки, но знать параметры из нее и в целом понимать основные статистические концепты, связанные с A/B, - важно.

Закончите подготовку разбором основных проблем, связанных с проведением A/B и тем, что с ними делать. Основные мне известные - ошибка подглядывания (не подглядывать или использовать последовательное тестирование), Sample ratio mismatch (лечить сплитовалку или искать проблемы в данных), network effects (тут могут помочь switchback, разделение по гео и квази-эксперименты). Стоит также не забыть про АА-тесты. И конечно ускорение тестов тоже, про это достаточно часто спрашивают (хотя бы стратификацию и CUPED знать стоит).

И напоследок - можно прочитать много статей, посмотреть кучу докладов, но понимание приходит все-таки на практике. Здесь совет для джунов, у которых ее пока не было - сделайте проект по анализу A/B, проведите моделирование и посмотрите как работают разные стат тесты и почему важно считать размер выборки для A/B. Можно найти много открытых данных и проанализировать их или просто попросить ChatGPT написать код для их генерации. Так вы покажете свою заинтересованность и наличие практического опыта, что будет жирным плюсом в глазах собеседующего, да и сами будете чувствовать себя гораздо увереннее.


Что почитать:

- Про проблемы в АБ, ratio-метрики, ошибку подглядывания и много чего еще читаем в статье от ozon.
- Плей-лист от Emma Ding на YouTube с разбором ключевых вопросов про АБ на собеседовании.
- И ее статья на medium.
- Материалы для погружения в базу АБ приводил вот в этом посте, а здесь разбирал методы ускорения, точно можно найти что-то полезное для себя, если есть желание освежить знания или закрыть пробелы.

Всем успехов на собеседованиях и зеленых тестов!

🔥 Через неделю буду проходить публичное собеседование на senior аналитика в Авито

Я периодически публикую материалы про прохождение собеседований, а теперь на личном примере покажу, как это происходит.

Вообще, при подготовке к собесам, я пересмотрел много публичных интервью и знаю, что это некоторым образом успокаивает и придает уверенности в собственных силах. Думаю это связанно с тем, что немного снижается уровень неопределенности - увидев, что примерно тебя ждет, уже не так страшно самому. Решил, что это отличный способ вернуть то, что помогло мне, сообществу и помочь кому-то увереннее пройти собес и получить работу мечты (у Авито, кстати, как раз будет weekend offer, возможно это оно и есть).

Разбирать будем реальный продуктовый кейс (мне так сказали, нет причин не верить ребятам), и даже немного затронем ML. У Авито есть отличная статья на Хабр про найм аналитиков и матрица компетенций, с которой очень рекомендую ознакомиться. Как раз на senior позиции и выше требуется ML и это может стать отличной точкой роста для вас, если вы думаете, а куда расти то дальше.

Держите ссылку на регистрацию на timepad, приходите 3 октября на трансляцию, будет интересно!

Чтож, умные слова сказаны, теперь суровая правда - это мое первое такое публичное появление, и страшно что кабздец. Но от это не менее интересно) Так что пожелайте успехов и приходите на трансляцию!