Меня прожарили по A/B по стандартам жёлтого банка🌟⚡️
(и нет, это не собеседование было. А пост — не рекламный)

Короче, мой знакомый Рома Филев (который против FOMO) прямо сейчас активно работает над форматом собеседований аналитиков и DS в Т-Банке, но все могут прикоснуться к их методам оценки — так я сходила на экзамен по A/B-тестам💊

Вы уже знаете, что A/B-тесты — чуть больная для меня тема.
Я ни на одной из своих big tech работ не погружалась в какие-то треш-кейсы, где всё пошло не так, потому что тест был неправильно спроектирован кем-то в jupyter notebook на коленке, который уже не воспроизводится, а продакт не шарит и требует остановить через 2 дня, и вот это вот всё😄

То есть это как бы слабое звено моего опыта, но я в последний год наконец-то стала уверена, что теорию выучила хорошо (потом обсудим, как). И поэтому мне было очень интересно мнение со стороны, основанное на чём-то сложнее, чем вопросы «что такое p-value» и «откуда берётся MDE».

За полтора часа мы с коллегой Ромы разобрали в телемосте три кейса по модели «найди, что тут пошло не так, и как сделать лучше». Успели поговорить достаточно подробно о нюансах выбора метрик, проектирования сложных экспериментов (например, с ML-моделью). Вскоре я получила фидбек с объяснениями, где конкретно я затупила, почему не 10😎

Я даже честно с вами поделюсь этими моментами:
➡️ не знала про одну популярную фишку для ускорения теста,
➡️ в кейсе с ML чутка зациклилась на технических штуках, тогда как ожидалось, что я выловлю бизнесовую проблему (кстати, это мэтчится с некоторыми моими провалами на собесах в прошлом)
➡️ можно глубже шарить за вариации CUPED и сетевые эффекты

Вывод: отлично, работаем дальше!👍
Я на своём примере по сути показываю, что не обязательно провести сотни тестов в компании без платформы, чтобы понять достаточно для найма. А так, всегда есть куда стремиться📈

#жизнь_в_бигтехах
@analytess 👩

Что внутри у GPT? Объяснение на 200 строк кода на питоне🐍

В последний, примерно, год часто чувствую в себе потребность по возможности успевать разбираться в современном машинном обучении чуть больше, чем на уровне «ну, LLM просто предсказывает наиболее вероятное слово» (хоть это и не так далеко от истины). Хотя бы для того, чтобы не быть совсем уж диванным аналитиком, когда высказываюсь скептически по поводу замены нас AI (мне иногда за такое предъявляют)😄

Признаюсь, во время учёбы я не очень любила ML и даже NLP, несмотря на мой некоторый интерес к лингвистике в целом. Закрывала базу на лабах, но не прочувствовала, что ли? Сейчас это кажется некоторым упущением, но так бывает, теперь читаю объяснения на стыке с научпопом и годные приношу вам🌟

И вот мне скинули прикольную статью на Хабре — точнее, перевод заметки из блога Андрея Карпаты (ориг на английском).
➡️ Проект microgpt — это буквально алгоритмические основы GPT без библиотек, на чистом Python. Всё остальное — уже вопрос эффективности и работы с большими наборами данных.

Плохая новость для кого-то может быть разве что в том, что без градиентов (высшей математики) там всё равно не обошлось. А так получился весь базовый цикл обучения: выбор документа и токенизация -> проход модели по токенам -> вычисление функции потерь -> обратное распространение (через градиенты) -> обновление параметров 📈

«Настоящая» LLM вроде ChatGPT отличается, собственно, тем, что она Large. Вместо 32 тысяч коротких имён она обучается на триллионах токенов текста из интернета — всевозможных веб-страниц, книг, кода и всего такого. Также используются более оптимальные алгоритмы на последующих шагах, а количество параметров модели больше на порядки. Ну, и сервера...

А вот понимает ли даже самая большая модель что-нибудь на самом деле — пожалуй, останется вопросом философским🤨
➡️ Кстати, вы какую точку зрения выбрали для себя?

#хардов_пост #аналитика_и_жизнь
@analytess 👩

Мама, я в телевизоре
Обожаю коллабы с классными коллегами по блогерству💗

Разбор популярной задачи уровня Leetcode Medium из бигтехов😎

Я знаю 4 компании из tier 1-2, где её давали на собесах в разных вариациях, поэтому пост обещает быть полезным. Погнали🚀

Более того, я хочу не просто показать вам код, а описать путь к оптимальному решению, каким он может быть на реальном собеседовании (см. пост про алгоритмическую сложность).

Пусть дан массив пар с городами и их населением, например:
[['Kaliningrad', 488690], ['Sochi', 445149], ['Kolomna', 213701]]

Вывести случайный город с вероятностью, пропорциональной населению.

1️⃣ Интуиция: давайте положим в корзину 488690 бумажек с надписью «Калининград», 445149 — с надписью «Сочи», 213701 — с надписью «Коломна», и вытянем случайную из них.
Это ровно то, что требуется сделать по условию, и чисто технически мы действительно могли бы создать такой огромный список строк (но не set) с названиями городов, и выбирать случайную.

2️⃣ А надо ли тратить столько памяти (пожалейте деревья😬)?
Окей, давайте заметим, что можно сэмплить случайное число между 1 и суммой значений в словаре. Если выпало от 1 до 488690, то возвращаем Калининград, от 488691 до 488690 + 445149 — Сочи, от 488691 + 445150 до 488690 + 445149 + 213701 — Коломну. Мы избавились от вспомогательного массива, который мог бы оказаться большим.

3️⃣ Тем не менее, а если городов очень много, удобно ли работать с такими большими целыми? Давайте нормируем так, чтобы сумма всех жителей упомянутых городов равнялась 1.0 — это лучше соответствует определению вероятности в принципе, а работа с float достаточно точная на практике. Делим всё на 488690 + 445149 + 213701 и вызываем функцию для случайного числа на полуинтервале [0, 1) — в питоне это random.random().

Опишем алгоритмически: за один проход по массиву (O(N), где N — количество городов) мы формируем массив кумулятивных сумм вероятностей выпадения каждого города:

cur = 0.0
sums = []
total = sum([city[1] for city in cities])
for city in cities:
    sums.append(cur)
    cur += city[1] / total
assert cur == 1.0 # должно сойтись по построению

# print(sums)
# [0.0, 0.4258587935932516, 0.8137746832354428]

Далее вызываем рандомное действительное число и ищем слева направо первый элемент массива sums, который больше него. Тогда ответ — предыдущий город🌇

r = random.random()
for i in range(len(sums)):
    if r < sums[i]:
        return cities[i - 1][0]
return cities[-1][0]

Выхода за границу массива слева не будет из-за строгого <, а последний return отвечает за случай r == 1.0 (вообще такого не бывает, но чтобы точно собеседующий был доволен).

Это ещё один проход по массиву размера N (aka линейный поиск), то есть сложность алгоритма O(N) + O(N) = O(N).

4️⃣🌟 Высший пилотаж: доводим до оптимального решения📈
Выше я не просто так упомянула сложность каждого из шагов.

Вторая часть может быть оптимизирована до O(log N), если линейный поиск заменить на бинарный. Это можно сделать, так как выполнено основное требование — массив кумулятивных сумм вероятностей является отсортированным по построению.

Теперь заметим, что по сути первое действие достаточно сделать всего один раз, а не каждый раз при вызове функции выбора случайного города (вызывать её будут много раз, раз речь зашла о распределении). Тогда можно вместо функции написать класс, где эта часть будет вынесена в __init__, а основной метод sample() будет быстрее.

Это в целом хорошая практика — выносить предвычисления из основного метода, так как за много вызовов sample() один целый проход по массиву амортизируется («размазывается» по всем вызовам).

➡️ Итоговый код приложу в комментарии! Как вам такой формат?

И голосуйте: 🤓 — если переслал другу, который ищет работу, 👩 — слишком сложно, до свидания, 🦄 — наконец-то понятно, спасибо

#найм_и_собесы #хардов_пост
@analytess 👩

Что спрашивают на собесах на 400+ тысяч на руки🤵💸

Недавно я получила очень, не побоюсь этого слова, жирный оффер в красный ритейл с юга России. Случилось это, как обычно бывает, стихийно — сидели в кафешке с другими ребятами-авторами аналитических каналов, и заговорили, кто кого куда может пореферить. Ритейл этот сейчас на слуху как HR-бренд — хоть пока и не в топе бигтехов, но явно развивается📈

Вакансия была сразу чётко на грейд Senior, подразумевала высшее профильное образование, плюсом было бы понимание ML и продвинутых концепций вроде A/B без A/B. При первом созвоне рекрутер сразу рассказала, что на самом деле подобных вакансий несколько в разные команды, и можно пообщаться последовательно, чтобы понять, куда я лучше подойду👍

➡️ Этап 1. Техническое собеседование SQL + Python⚡️
В этой компании пайплайн собесов не унифицирован, поэтому в некоторых командах просят что-то более практическое в Jupyter Notebook и/или разрешают гуглить. У меня же был классический лайвкодинг на чистом листе с CTE и оконками в первой части и алгосами Easy/Medium во второй.

Попалась задача на два указателя — моя нелюбимая концепция в алгосах, мне немного подсказывали, но засчитали.
За 10 минут до конца собеседующий спросил, хочу ли я ещё задачу на питон (это странно, то есть она уже не влияла на исход? или вопрос с подвохом?), там попалась более приятная, и я реабилитировалась (в том числе в своих же глазах😄)

➡️ Этап 2. Проверяем знание базы чутб по глубже📝
Здесь у меня не сохранился полный список вопросов, помню, что было не очень сложно, мне понравилось. Много маленьких задач и кейсов — а-ля интерпретация задачки про светофор, парадокс Симпсона, что-то про кубики, кейсы, где A/B плохо работает, и что можно с этим делать (достаточно было знать методы A/B без A/B по базовым концепциям, ну а читала я про них много). В какой-то момент собеседующий задумался, что бы еще такого спросить, и мы даже затронули классическое NLP😐

За эту секцию я получила резко положительный фидбек ещё в моменте лично от собеседующего — думаю, она во многом повлияла на итог этой авантюры. Спасибо моему кругозору😎

➡️ Этап 3. Финалы и раздумья со всех сторон☯️
Тут повторилась тенденция, которую я стала видеть в 80% случаев и часто о ней говорю — теперь финал это полноценный собес, зачастую с кейсами, не просто вайб-чек и оргвопросы вроде «а будет ли у вас удалёнка и сколько вкусов сырков».

Пофиналилась с одними ребятами сначала, но там было как будто бы чисто измерение качества ML-моделей, любопытно, но не то, что я бы хотела. Попросила ещё команду, пообщалась с прикольным хэдом, который просил рассуждать «не как математик, а бизнесово», но оценил мой бэкграунд и назначил знакомство с продактами, которым я тоже понравилась👀

Дальше был перерыв где-то на неделю, во время которого вроде как обсуждали, как оптимально заюзать мои навыки и тех.кругозор🌟 Я тоже не особо торопилась, как вы понимаете.

В итоге мне сделали оффер, который ооочень приятен финансово, даже если бы что-то случилось с премиями (обещали кварталки 20%). Что я решила делать с этим предложением и почему — расскажу через пару дней😏 А пока сохраняйте, распространяйте, намекайте реакциями, если интересно⚡️

➡️ Мораль: хорошие вилки всё ещё есть на рынке, но есть и требования взамен — у меня создалось чёткое ощущение, что это не какой-то базовый оклад, который предлагают всем🥲
😘 Кстати, весь процесс от контакта с HR до оффера занял полтора месяца, но там ещё был НГ. Норм или стрём?

➡️ Что думаете? Собеситесь? Как вам ситуация на рынке?
😏 — всё очень плохо, 🤓 — всё не очень плохо, 👩 — какие такие собесы?

#найм_и_собесы #карьерный_путь #жизнь_в_бигтехах
@analytess 👩

Не пользуешься ИИ — теперь ты low performer?💀

Не раз за последнее время видела упоминания и обсуждения новостей, что в бигтехах (пока что западных, но скоро тренд может докатиться и до нас) использование сотрудниками AI-инструментов стало учитываться при performance review😐

➡️ Признаюсь, это всё вызывает у меня смешанные чувства. Первая реакция у меня всё ещё скептически-ретроградная — да как так, неужели вдумчивая человеческая работа 🔡🔡🔡, и надо вайбкодить тупо ради метрик? А с другой стороны — что, если действительно есть поинт в том, чтобы стимулировать людей хотя бы попробовать то, что может потенциально ускорить их работу? Именно что не заменить, а ускорить?

Здесь может быть много аналогий c вещами, которые уже поменялись: переход на удобные IDE с подсказками, гугл-календарь вместо ежедневников, калькуляторы вместо счётов.

➡️ «Перпендикулярный», но не менее важный аспект — кнут vs пряник. Круто, когда в компании есть обмен опытом, кому как удалось оптимизировать свою работу, возможно, внутренние курсы по работе с нейронками и агентами (в Авито, кстати, так).

А если подходят сразу со стороны «делай всё по-новому, а то уволим» — привет, закон Гудхарта? Любая метрика ради метрики будет хакнута, а AI slop (некачественный контент от ИИ) в кодовой базе всё равно придётся кому-то разгребать🚨

➡️ А что у нас? Недавно Хабр всколыхнула статья, где у всех сторон рассказа какие-то крайности: некий разраб устроился мидлом за 300к (вроде даже не в наносекунду), но не прошёл испытательный срок, потому что слишком привык делегировать все задачи нейронкам, сдавал на ревью коммиты с комментами к каждой функции (это паттерн, по которому очень видно ИИ, и обычно так не принято) и не справился с «тестом Тьюринга» — задачкой с заведомо некорректным ТЗ от лида, был пойман😄

Автор не приходит к однозначному выводу — он не ретроград, который совсем отрицает изменения в процессе разработки («мой тимлид 2018 года, наверное, точно так же бурчал, когда я гуглил ответы на StackOverflow»), но тем не менее создал себе очередную проблему в виде открытой вакансии разработчика.

И да, мне кажется одной из главных проблем применения ИИ в работе необходимость перестроиться на новый тип мышления — когда ты успеваешь и ТЗ правильно сформулировать, и разобраться в сгенерированном, и пофиксить баги своей человеческой мудростью, а не более агрессивным промптом. Когда я пробовала вайбкодить, именно это мне было нелегко.

➡️ Итог я подведу следующий: я бы хотела научиться эффективно использовать AI, точно вижу смысл как минимум попытаться. Но мой и чужой опыт с генерацией кода не даёт чёткого ответа на вопрос, как сейчас быстрее и качественнее:
⚡️ с одной стороны, странно отрицать удачные примеры,
⚡️ а с другой — явно не все задачи решаются вайбкодингом, контроль за результатом всё ещё очень важен, и требует даже местами большего внимания, чем раньше.

Поэтому наблюдаю, но ничего не утверждаю категорично😎
Расскажите, как ваша компания / начальство относятся к AI?⬇️

#жизнь_в_бигтехах #новости_ии
@analytess 👩