Наткнулся в твиттере на чела, который занимается с ментором, пытается залететь в аналитику. Ментор типичный волчара. План у чела такой — залететь на 150к, а через годик метить в 300к.

Я с этого дико проорал, конечно.

Окей, ты накрутишь годик-два на старте, чтобы тебя просто не скипнули на отборе, вопросов нет. Ну есть, конечно, но отбор сломан, и тут какбэ не до этого. А дальше то как? Сидишь ты значит и весь год адхоки перекладываешь. Ну нарисуешь себе +3-4 года.

Но, внезапно, на хаймиддл и выше собесах никто не спрашивает базу, всем похер на твою статистику, скуль (который учится за неделю) и питон (на полторы нужных библиотеки). Там за бизнес решения диалог. Про реализацию нестандартных проектов и про кейсы с деталями. Любой нанимающий тебя расколет если просто будет внимательно слушать.

Челу удачи, конечно, а ментору респект за маркетинг. Но это так не работает.

Приветики, скучаете тут сидите? А мне некогда, попробовал я значит такое стильное, модное, молодёжное развлечение как… гольф. И чёт меня затянуло прям. Я в клубе прописался. Такой кайф 🙂

Ещё пару лет назад бы мне кто-то сказал, я бы подумал чё за прикол, дедовская игра. А оно вообще не так просто, как кажется. В одну только терминологию пока въедешь, на своём языке говорят чуваки: “фулл-свинг драйвером с ти на фервей, чип веджем на грин, пат до бёрди и два до пара”. Но это сильно проще чем body-control при ударе, когда любое миллимитровое отклонение от техники закручивает мяч куда угодно, но не куда тебе надо.

В общем моё.

А завтра финальная игра на грин карту. В 6:30 утра 😩

Здоров, бандиты 💅

Ну рассказывайте, как жизнь, нашли работу или бросили это гиблое дело и пошли дальше курсы проходить?

Время открыть чат 🍿

📌 Винзоризация

Все тут итак вкурсе, что для нормального анализа, данные требуют какой-то предобработки. Один из пунктов на этом этапе — работа с выбросами. Что с ними делать? Ну чаще всего это либо очистка по IQR/SD/Кастом, либо какое-то преобразование всего скопа (типа логарифмирования), либо сохранение выбросов, если они являются каким-то значимым бизнес-сигналом.

Но не многие вкурсе о таком хитром методе как винзорирование (или винзоризация, кому как нравится). Смысл данной процедуры одновременно в том, чтобы подчистить выбросы и не потерять наблюдения. Если на пальцах, то работает так — берём набор данных, выбираем границы-перцентили и преобразуем вылеты за них в значения по верхам-низам.

Т.е. вот есть у нас ряд значений какой-то метрики (как самый частый представитель числовых рядом): 1, 2, 3, 4, 5, 2000. Тут 2000 явный выброс. В 90-м перцентиле, например, граница у нас на 5, значит всё что выше этой отметки преобразуем в это значение, и 2000 через вжух становится 5. Теперь у нас ряд 1, 2, 3, 4, 5, 5.

И наблюдения остались, и выбросов нет.

Стоп, так мы же тогда горб на границе нарастим? Ага, функция может получиться некрасивой, плотность искусственной и нормальность, скорее всего, тоже потрачена. Но зато мы получим более устойчивый сет. Дисперсии и среднее будут менее дёргаными, а это зачастую намного важнее для тестов или моделей.

Более стабильная математика всегда лучше красивой картинки (даже если твой менеджер настаивает на обратном).

Приветики, рассказать вам про свой пет-проект, который зародился году так в 2016-м, в ленивую разработку перешёл в 23-м и вот сейчас уже крутится в стадии около релизной бетки?

Чё там телега работает то?

Тут между делом Posit выкатили новый IDE для аналитиков с поддержкой Python и R (Posit вообще лучшие в плане ide для работы с R) + с ноутбуками сразу (jupiter/quarto), встроенный гит, подключение своих агентов, дебагер новый. Красота вообще, я уже неделю залипаю, даже R Studio снёс за ненадобностью.

Воткнул свой ключ антропика на сонет, openAI пока не поддерживают официально, но можно закастомить. Новый gpt 5.4 (вчерашний) тоже потенциально бодро должен залетать.

https://posit.co/products/ide/positron/

📌 Обещал рассказать про пет-проект. Будет большой пост.

Часть 1/2.

Так вот, ещё как только я начинал работать в продуктовой аналитике, мне приходилось сталкиваться с АБ-тестами. Не скажу что я прям гуру этой темы или это мой основной фокус, но опыт какой-никакой и перетоптанных грабель за почти 12 лет имеется. В общем, почти с самого начала я эти все скрипты аккуратненько складывал к себе на гит и копил там разные методы на все случаи жизни.

💡 И уже тогда меня много раз посещала мысль написать какой-то оркестратор простейший а-ля if else, который бы просто переиспользовал заранее заготовленные методы под мои данные. Ну просто чтобы себе жизнь упростить и в ручную под каждый кейс не шариться по выбору методов. Но лень впереди меня родилась, поэтому это и оставалось долгие годы просто идеей.

🦄 А потом что-то произошло и я таки загорелся этой идеей снова, но в этот раз решил заморочиться. Подключил кореша, жёсткого инженера, который в основное время пилит какой-то сверхсекретный проект для оборонки США, чтобы сваять нормальную архитектуру на беке.

🎓 Потом нашёл пару заинтересованных действующих профессоров статистики из разных вузов, чтобы провалидировали/переписали всю математическую часть (опять же, я не то чтобы гуру в этой теме), от рассчёта базовых z-тестов, до Байесовских прогнозов и последовательных тестов. С их помощью прикрутил туда модуль препроцессора, который анализирует кучу характеристик распределения, от анализа разброса до симметрии, эксцесса и модальности. А уже на основе этого анализа препроцессор сам реша-а-а-ет как обрабатывать данные, чистить ли выбросы, нужны ли логарифмы или хрен бы с ним.

🤖 Ну и мы припахали Sonet для простой черновой работы по фронту и документированию всего этого безобразия.

В итоге получился движок для расчётов практически любых стандартных экспериментов.

Но только движок, хоть и бодрый, это всё таки не так весело. Потому как в индустрии в целом что ни компания то процессы через пень-колоду. Посидев, повспоминав прошлый опыт, выписав что нравилось и казалось удобным, а что мусор, я сформировал себе фреймворк по управлению гипотезами и экспами, который мне лично казался весьма удобным. Потом просидел вечерами/выходными в Axure (не даром я 4 года интерфейсы проектировал) и всё это упаковал в прототип. Потыкал, потестил, обкатал на бою, и отдал в разработку.

Так получилась полноценная платформа с UI и мат движком под капотом.

Основные фичи, которые мы туда навтыкали, по задумке должны охватывать начальную часть процесса (гипотезы, планирование) и финальную (анализ и хранение результатов), само сплитование мы специально обошли стороной, т.к. там геморой с серваками и скоростью работы.

Что в итоге получилось:

Прикрутили типизацию аккаунтов, теперь в соло можно пользоваться без всяких ключей, с ограничениями на автоматизацию и приглашение юзеров, но самостоятельно покрутить расчёты через загрузку CSV можно, ну и хранить карточки тоже.

Получается такое карманное решение для быстрых рассчётов без заморочки чисто для себя, но, надеюсь, поможет бедным джунам, у которых в запасе не так много скриптов и понимания как посчитать результаты экспа, а менеджеру нужно уже вчера 😀

А вот маленький демо датасет, если захочется глянуть как оно всё работает