Почему СИГМЫ выбирают работать в найме

Каждый из нас хоть раз задумывался о том, чтобы начать заниматься своим собственным проектом, запустить свой стартап и перевернуть мир, но это решение серьезное и прежде чем его принимать я советую вам обратить внимание на все плюсы, которые дает работа в найме:

0. Чёткий график и working-life balance.
Мне кажется, что это самая имбовая штука. Работа в найме почти всегда подразумевает фиксированный график: пришел в 9, ушел в 18 и после шести в ус не дуешь. А еще 28 дней в год ты можешь вообще не работать и получать за это денежку. Если ты работаешь на себя, то ты постоянно сталкиваешься с такой хренью, что все время что-то не доделано. Очевидно, что в какой-то момент ты точно перейдешь на режим «бодрствую = работаю», ну мб у тебя и будет один выходной на неделе, но запомни: во время него ты все равно не сможешь до конца расслабиться. А отпуск? Про него ты можешь вообще забыть на ближайшие года 3 😎😎😎

1. Финансовая стабильность.
В отличие от фриланса или стартапов, работа в нормальной компании дает стабильную зарплату: тебе несколько раз в месяц перевели фиксированную денежку на карточку и все. Ты представляешь какой у тебя финансовый поток, можешь планировать свою жизнь и траты. Если ты работаешь на себя, то тебе придется привыкнуть к финансовой неопределенности: какие-то месяцы деньги прут, заказов куча, а потом вдруг крупный клиент ушел, продажи упали и у тебя не хватает денег, чтобы заплатить за хату.

2. Соцпакет и гарантии.
Не стоит недооценивать этот пункт: реально, ты даже не заметишь как тебе исполнится 25 лет и поверь мне, ты уже не будешь чувствовать себя так, как будто тебе 18. В зубах начнет появляться кариес сильно чаще, чем раньше, коленка иногда начнет как-то необычно хрустеть, а после пачки чипсов ты начнешь ощущать что-то странное в своем животе. Если ты работаешь по трудовому договору, то, помимо мед страховки (ДМС), ты получаешь ещё и оплачиваемые больничные! Да-да, ты можешь даже спокойно поболеть и концентрироваться на выздоровлении, а не мотаться с температурой в офис. Есть ли у тебя такая возможность, когда ты работаешь на себя? Догадайся сам.

3. Социализация и контакт с людьми.
Очень многие люди, работающие над своими проектами сталкиваются с недостаточном реального живого общения: то есть они обычно взаимодействуют с большим количеством людей, но это именно взаимодействие, а не общение: решили рабочий вопрос, быстро созвонились и разошлись. Ну а если ты работаешь в найме, то у тебя будет намного больше возможностей для нормального, живого и неформального общения: можно и сходить в пятницу в бар с коллегами, и поприставать к наклюкавшейся коллеге на корпоративе, и даже просто потрещать во время обеденного перерыва. То есть в твоей жизни будет намного больше реальных социальных контактов, что повышает твои шансы найти близких людей, друзей и даже вторую половинку (а если у тебя и твоей ненаглядной все зайдет совсем далеко, то работая в найме, ты можешь даже выйти в декрет и получать деньги от компании за выращивание микрочела).

4. Реальный профессиональный рост.
Если твой проект хорошо развивается, то тебе достаточно быстро придется отказаться от каких-то технических задач, которыми ты занимался в самом начале и сконцентрироваться на менеджерских (командовать, мотивировать и обманывать), ну а это неизбежно приведет к тому, что как технический специалист ты будешь деградировать. Если же ты работаешь в нормальной компании, то тебе приходится расти и развиваться, а если ты сам ещё захочешь чему-то научится, то компания может даже оплатить тебе какой-нибудь курс (и у тебя даже будет время его пройти).

И ведь можно продолжать этот список очень долго: тебе могут помочь с ипотекой, тебе могут сделать айти отсрочку, тебе в какой-то момент будут платить нормальную пенсию, но мне кажется, что об этом уже можно и не говорить.

@postupashki_career

Школа бэкенд разработки

Обзор от нашего выпускника, который прошел школу бэкенд-разработки на C++ и устроился на стажировку.

Школа бэкенд разработки - это школа яндекса куда может поступить любой человек. Стек языков C++/Python/Java.

Здесь программа курса 2024. В программе вы можете увидеть много лекций на крутые темы, но мало домашек. Например асинхронное программирование без домашки, HTTP API без домашки, архитектура распределенных систем без домашки.
И это если честно мне не понравилось, сомневаюсь что можно освоить эти вещи хоть на каком-то уровне без практических заданий, а лекции я могу посмотреть и онлайн без ШБР. Так что считаю это самый большой минус шбр: отсутствие домашек.

Конечно, домашки все таки есть, например CI/CD, БД, Тестирование и это радует. Действительно, полезные домашки, некоторые знания мне сильно помогли во время стажировки.

Какие плюсы я нашел от школы:
-Пробные собесы. После завершения курса у всех есть возможность пройти пробный собес (слышал про две попытки), который засчитают как за реальное собеседование при успешном прохождении.
-Все таки лекции были полезны и на стажировке было легче, уже пришел с реальными знаниями.
-Проект, наверное, самая полезная часть. Вам дают ментора с командой, с которой будете работать над реальным проектом. Многие на этом моменте пасуют, важно найти хорошую команду.
-Эта школа однозначно лучше, чем самому ботать, все-таки атмосфера коворкинга, офис Яндекса благотворно содействуют учебе.
-Легче попасть на стажировку.
-Выпускной и оплата перелета + проживание в Москве.

Это все плюсы на мой взгляд. Если смотреть глазами какого-то 3–4-курсника универа, то, думаю, ШБР ему не так будет интересен. Потому что в школе будет очень много относительно юных ребят (15–18 лет), и для них это все-таки более актуально. Обычно 3–4-курсники уже имеют какие-то знания и тратить время на такой бесплатный образовательный проект такое себе.

Как попасть школу и реально ли пройти на стажировку?
-Сначала нужно пройти Яндекс Контест, на котором будет 3 задачи. Если конкуренция будет высокой, то нужно решить больше задач. И да, они смотрят на анкету. Задачи по моему мнению medium, hard с литкода.
-На алгособесе задачи явно проще, в целом такие же как при отборе на стажировку. Задачи с литкода. Во время собеса будет 2 задачи уровня примерно easy, medium.
-Еще будет собес с менеджером, там уже больше по бизнес-части, дадут бизнес-кейс на обсуждение в реальном времени. Но у некоторых был просто собес по бэкенду, например по языку программирования + БД.

Сложнее всего пройти алгособес, а так простому парню/девушки с региона пройти в школу очень даже реально. Действительно, отличная возможность для многих.

Кому подойдет школа
-Я думаю школа по большей части для юных, как я убедился многим нет и 18. Мне было 20 лет)
-Если вы уже плюс минус знаете что такое бэкенд и знаете алгоритмы, то школа хорошее место узнать еще что-то новое и познакомиться с людьми.
-Для тех кто хочет после стажировки остаться в Яндексе. Во время стажировки нужно хорошо показать себя, и школа как раз дает знания, которые пригодятся во время стажировки.
-Для тех, кто хочет запилить какой-то проект с хорошим ментором или скентоваться с ментором, ребятами из Яндекса. Многие новички не понимают, но хорошее отношение с ментором — это жирный плюс, так как он может порекомендовать вас в разные команды, в которых точно будет оффер. Дело в том, что многие команды берут стажеров, но не берут в штат из-за того, что нету позиции и не хотят сами ее открывать, очень важно идти в ту команду, в которой, скорее всего, будет позиция.

Советы
-Если все таки пошли в школу, то не забывайте про нетворкинг с менторами, это наверное тот самый человек, который поможет вам устроиться на работу.
-Берите пробный собес (он доступен будет всем), если вы его успешно пройдете, то его вам засчитают в Яндекс.
-Попросите ментора порекомендовать команды, которые больше подходят вам по интересам, и, самое главное, с оффером после стажировки.
-Найдите ответственные команды для проекта. Многие просто сливаются в этот момент.

@postypashki_old

Дни открытых дверей ШАД

Вот прошел ДОД в Москве, а все баги исправлены и можно спокойно заполнить анкету абитуриента на сайте. Обсудим каждый этап, что известно на данный момент, опыт прошлых лет.

А для всех подписчиков канала @matesha_shad , которые готовятся в ШАД, действует скидка 50% (до 09.04) на все наши курсы по подготовке к ШАД.

1. Заполнение анкеты 3 апреля — 4 мая
Уточнили, что теперь на альтернативный трек могут подаваться лишь разработчики и аналитики с высшим образованием и опытом работы более 3 лет после выпуска, а также выпускники аспирантуры (засчитывается как рабочий опыт). То есть необходимое требование: 3 года после выпуска. Критерии стали более четкими и обнадеживающими. Они могут показаться строгими, но опять же, если абитуриент покажет себя достойно, то для него могут сделать исключение или пойти на встречу. К тому же, всю эту информацию прям тщательно не проверяют и для своего уж образования можно и схитрить.
Еще для совместной программы с магистратурами нужно строго поступать на классический трек.
Опять уточнили, что подаваться можно лишь будучи студентом вышки или спо, хотя никто не мешает вам после зачисление пойти в соседнее ПТУ и поступить на сварщика. В общем включаем голову, товарищи!

2. Онлайн тестирование 29 апреля — 5 мая
Длиться 5 часов, специально выпало на праздники, чтобы всем было удобней. Никаких изменений не ожидается. Не забываем зарегать второй аккаунт, чтобы подсмотреть и порешать задания заранее. Какой-то разбор конечно будет на нашием курсе.
Касаемо прохода далее здесь действует эмпирическое "правило 2/3": если идеально решили 2/3 заданий, то пройдете дальше.

3. Олимпиада 17 мая
Для тех, кто попадет в топ 300 по тестовому этапу. Хотя понятно, что в какие-то филиалы возьмут побольше, а в какие-то поменьше. Успешно прошедшие олимпиаду смогут сразу попасть на этап собеседований. Тем, кто пройдет тестирование и олимпиаду с меньшим количеством баллов, предложат сдать онлайн-экзамен. В прошлом году для участия в олимпиаде нужно было набрать в тесте 11/12, а для прохода на собеседование на самой олимпиаде нужно было решить 2/6 задач.
Задачи намного сложнее экзамена: много ходов. Но те, кто был на наших курсах, добросовестно прорешал ДЗ и варианты прошлых лет, смогли слету решить половину заданий.

4. Онлайн-экзамен 24 мая
Теперь его в один день пишет и альтернативный и классический трек. В прошлом году ожидал, что задания по сложности будут что-то среднее между альтернативным и классическим треком, а по итогу часть заданий были очень простыми, а часть очень сложными: по ощущениям середины не было. По итогу для альтернативного трека просто понизили проходной.

5. Собеседования 24 июня — 18 июля
Хотя в каких-то филиалах они и могут идти вплоть до сентября. В этом плане ШАД может пойти навстречу, например, если у абитуриента просто был нестабильный интернет во время собеседования, то разрешат пересдать. О формате, заданиях уже подробно рассказывал здесь и здесь.

6. Месячный интенсив
Последний этап отбора для альтернативного трека, ранее этот курс и так был в учебной программе. С материалами можно ознакомиться здесь.

@postypashki_old

Алгоритмы для абитуриентов в ШАД

Главное нужно понимать, что первые два этапа сильно отличаются от третьего этапа.

И так что ожидать на первых двух этапах:
-Авторы не говорят, какая сложность должна быть у алгоритма, например, задачу можно решить за O(n), а вы решили за O(nlogn), и за это снимут у вас около 5 баллов. Если честно, обидно, но это нужно знать и быть готовым.

Например, в прошлом году в контест заходило решение за O(n^3 * logn), а нужно было решить за O(n^3), и за это у ребят сняли больше 5 баллов.

-Правильное оформление. Ваше решение принял контест, вы видите, что все тесты пройдены— и на этом все? Нет! Вам предстоит объяснить свое решение в текстовом виде и отправить его. В текстовом виде вы должны объяснить, почему ваше решение работает, указать асимптотику решения и объем по памяти (важно объяснить, почему такая асимптотика, а не просто в конце файла указать, какая сложность вашего алгоритма).

На самом деле эти два пункты самые главное и рекомендуется потренировать перед экзаменом, специально для вас я собрал 13 задач, которые встречались на первых двух этапах. Я уверен что в этом году задачи будут примерно такого же уровня.
1)https://iimg.su/i/y1fXuG
2)https://iimg.su/i/WN3v7s
3)https://iimg.su/i/zVnDGe
4)https://iimg.su/i/8YflrZ
5)https://iimg.su/i/MnR7Qn
6)https://iimg.su/i/5eUJNV
7)https://iimg.su/i/g7YtRO
8)https://iimg.su/i/cbTrsW
9)https://iimg.su/i/iz4dcJ
10)https://iimg.su/i/EGCaWP
11)https://iimg.su/i/yXGQvc
12)https://iimg.su/i/5qY9uF
13) https://t.me/algoses/12

PS самые свежие задачи это первая задача и задачи с 6-13

Задачи могут показаться несложными, и это на самом деле так, но помните, что ваши конкуренты потеряют больше половины баллов, не допустите этого у себя.

А на собеседоваении (3 этап) задачи имеют другой формат, обычно дают задачи с собеседования Яндекса, только одну.

Вот примеры прошлых задач
https://t.me/algoses/6
https://t.me/algoses/19

-Как подготовиться к первым двум этапам?
Здесь всё по классике, нужно хорошо знать бинарный поиск, два указателя, префикс суммы, хеш-таблицы, set/heap, обход графа, Дейкстра/Флойд. Будет полезно, если вы еще знаете ДП и дерево отрезков, но вероятность, что вам попадется такая задача, низкая.

По бинарному поиску, двум указателям, префикс суммам рекомендую порешать задачи с ИТМО Академи и Курс от сообщества
https://codeforces.com/edu/courses

Реально толковые задачи.
Далее нужно потренироваться с графами, для этого отлично подходит ACMP https://acmp.ru/index.asp?main=tasks (в фильтрах выбрать графы и порешать задачи на графы)

Ну и наконец set/heap решаем на литкоде https://leetcode.com/problem-list/heap-priority-queue/

Ребята очень важно правильно оценивать время работы алгоритмов, так что знать за сколько работает vector/list, heap/set, map/dict обязательно. Желаю всем удачи, а если хотите гарантирована залететь в ШАД, то советую наши курсы.

@postypashki_old

Отбор в школу бэкенд разработки от Яндекса в самом разгаре. Специально для наших подписчиков выкладываем разбор первого и второго этапа в нашей БОТАЛКЕ.

@postypashki_old

Как олимпиадное программирование помогает начать карьеру IT, какие направления популярны у начинающих специалистов и при чём тут вирусный ролик с Райаном Гослингом — обо всём этом рассказали в новом эпизоде yet another podcast.

В 2024 году Яндекс нанял 2 300 стажеров, а в этом — планирует пригласить рекордные 2 800 человек. У каждого стажёра есть ментор, который помогает ребятам набираться опыта и реализовать самые разные проекты.

Еще объяснили, как подготовиться к алгоритмическим секциям. На самом деле, сложных заданий на интервью нет: важно понимать основы программирования и обладать базовыми техническими навыками. Потренироваться перед собеседованием можно в тренажере CodeRun на простых и средних задачах.

Для тех, кто хочет углубить знания в определенном направлении, уже доступны Летние Школы. Это один из проектов Яндекса, который помогает специалистам улучшить навыки и начать карьеру в IT. Подать заявку на набор можно уже сейчас.

В новой статье обсудим как можно вкатиться в it с помощью стажировок, сезонных школ и дополнительного образования без мам, пап и фурри волков. Читаем читаем!

https://habr.com/ru/articles/901138/

Собеседование МЛ в Яндексе

Специально для вас, товарищи, мы устроились в Яндекс, чтобы собрать материалы.

Здесь вы найдете pdf файлы, в которых описаны, как проходит собеседование, какие типичные вопросы задают, red флаги, оценка грейда и многое другое.

В pdf файлах есть так называемый грейд, и вот как идет расценка в Яндексе:

-13 грейд это стажер
-14 грейд это джун
-15 грейд это мидл
-16 грейд это мидл+
-17 грейд это синиоры.

Все кандидаты должны пройти АА секцию - это собеседование по алгоритмам. Нужно будет решить 1-2 задачи.

-Открываем MLP pdf, видим что собеседование состоит из двух частей: алгоритмы и мл. Вопросы по мл достаточно классические (разбираем их в @zadachi_ds).
Также написаны типичные вопросы по мл, которые задаются стажером.
Прошу отнестись к вопросам серьезно, от этого будет зависит пройдете ли на следующий этап.
Важно: ссылки на femida не открываются, так как доступ ограничен для яндексоидов.

-Если вы стажер то скорее всего будет еще один алгособес.

-Далее для кандитов 15 и выше грейда предусмотрен собес по его направлению. В pdf будут файлы по nlp, cv asr, recsys, там вы можете ознакомиться с типичными вопросами, оценками, рэд флагами.
Важно: Если вы стажер, то вам тоже будут полезны эти файлы, так как на финалах команды задают такие же вопросы (но оценивают легче)

Теперь расскажу как я сам готовился к собеседованию по NLP и устроился в Яндекс.

-Сначала открыл MLP pdf и понял какие типичные вопросы задают по метрикам, линейной регрессии, ансамбли, нейронки и тд.
Далее прочитал хендбук шада, и порешал от туда задачи
На собесе действительно много спрашивали про метрики, дисбаланс класса, лог регресии, ансамбли.

-Так как я хотел на NLP ознакомился я с nlp pdf, далее поспрашивал у людей, и узнал что часто спрашивают BERT, трансформеры, Seq2Seq, я их повторил и к дополнение посмотрел GPT WEEK, там я выписал для себя трюки которым рассказал лектор, так же выписал какие то хайповые вещи оттуда.
Собес в команды по NLP разный, но они все любят трансформеры.

@postypashki_old

🩶🩶🩶🩶🩶🩶🩶🩶🩶🩶
Готовитесь к поступлению в вуз и хотите сразу получать всё самое важное?

Подпишитесь на канал Центрального университета – здесь ученики 10—11-х классов найдут самое нужное:
— новости о приеме, датах подачи документов и проходных баллах; — обзоры ИТ-направлений, бизнеса, аналитики и других популярных специальностей; — старт карьеры и советы от экспертов; — вебинары с приемной комиссией и лидами направлений; — отзывы студентов и лайфхаки для поступления без стресса.

Всё собрано в одном месте – заглядывайте, задавайте вопросы и готовьтесь к поступлению уверенно.


Реклама. АНО ВО "Центральный университет", ИНН 7743418023, erid:2RanymdRrmf

🎁 Публикуем разбор отборочного контекста на стажировку в яндекс по ML. Успейте пройти, у вас уже есть готовые решения, остаётся дело за малым!

Ещё больше разборов и полезных материалов на канале:
@ProdAnalysis

В новом ролике поймем, куда идти работать и кто предлагает наилучшие условия труда! Смотрим! Смотрим!

https://youtu.be/hokZyZvh0Ts

Поступашки объявляют запись на майские экспресс курсы к отборочным ШАДа!

Вы в целом понимаете как работать почти со всеми темами, но что-то все равно западает? Вы хотите отточить свои навыки решения задач до бритвенной остроты в кратчайшие сроки и научиться оформлять на полный балл? Хотите провести майские выходные с пользой? Тогда майский интенсив - это то, что вам нужно! Лекции со всей необходимой систематизированной теорией, семинары (на которых вы не просто сидите в чате, а имеете возможность отвечать, как на живом уроке), домашние задачи, разбор домашних задачек, куратор Владислав, который готовит в ШАД десяток лет, все что может вам потребоваться для полной подготовки к первому, второму этапу и собеседованию!
Цены самые доступные:

- алгоритмы (6000 5000 за весь курс)
- дискретная математика (6000 5000 за весь курс)
- теория вероятностей (6000 5000 за весь курс)
- линейная алгебра (6000 5000 за весь курс)
- математический анализ (6000 5000 за весь курс)

Сегодня и завтра отдаем интенсивы по скидке, с субботы (мск) продажа идет по зачеркнутой цене.

Начинаем уже в это воскресение! Первые лекции уже доступны, поэтому торопитесь

После семинара доступна запись. В роли куратора сам Владислав, который поможет заполнить анкету, поможет в абсолютно в любом вопросе, задаче. В конце курса вас ждет пробный экзамен, разбор реального контеста ШАДа 2025 года и персональное собеседование, как в ШАДе! А также разведка по каждому этапу, инсайды и персональные рекомендации.

Программа и Подробности.

Записаться и задать вопросы можно тут: @menshe_treh

Отбор на стажировку в Яндекс в самом разгаре. Специально для наших подписчиков выкладываем разбор первого этапа здесь.

@postypashki_old

Совсем чуть-чуть осталось времени до конца отбора ШАР, если вдруг вы откладывали до последнего, то у вас есть шанс ещё пройти, публикуем разбор ШАР!

Больше разборов на нашем курсе по а/б тестам.

@postypashki_old

Без этого ты сольешь ШАД

Ну что, товарищи, первый этап уже завтра: 29 апреля -5 мая. Много раз упомянал, что в программу первого этапа входит теор мин любого экзамена, зачета, во всех заданиях просто зашифрована простая идея или комбинация идей, все решается обычно в шага три.
Но что же делать, когда от волнения кровь стучит в виске и трясутся руки, и своей память просто не веришь? Конечно же нужно обложиться вольфрамом, гуглом и любимыми методичками, лекциями, где информация проверена, а нужный пример решения ищется в 2 клика мышки. О наиболее удачных методичках и пойдет речь.

Линейная алгебра
Как необходимый теоретический материал советую лекции Мануйлова, как мне кажется это лучшее, что есть для ШАДа и магистратур.
Примеры решения задач советую смотреть в Гайфулине. Писался для подготовки к зачетам мехмата, поэтому в нем разобраны все стандартные задачи.
В дополнении можно посоветовать Канунникова, где разбираются продвинутые задачи начал алгебры. Также Тимашева 1ый семестр, где аналогично Каннуникову, и 2ый семестр, где уже разбираются более теоретические задачки линала из того же Кострикина.
Время от времени в вариантах первого этапа возникают задачи по ангему, здесь же советую семинары Пенского.

Теория вероятностей
Как всегда посоветую книжечку для экономистов и семинары Сердобольской, которые отлично дополнят друг друга. Также советую, уже ставшей классикой зачеты Кондратенко, где собраны все типовые задачи, но без хорошей теоретической прокачки подступиться к ним будет непросто, ибо решения зачастую короткие.

Математический анализ
Однозначно семинары Скубачевского. Если чего-то не хватает, как например дифференцирование интеграла по параметру, то смотрим задачники Виноградовой.

Конечно мир не стоит на месте и постоянно появляются все новые и новые пособия. Если здесь не нашли своих фаворитах, то обязательно делитесь ими в комментариях!
Также для приобретения всех необходимых знаний и навыков для поступления в ШАД/магистратуры советую наши майские экспресс курсы.

@postypashki_old

Поступашки продолжают набор на курс по дискретной математике!

Мечтаешь поступить в ШАД или магистратуру? Или просто хочешь тащить собесы, но не хватает фундамента? Тогда тебе к нам!

На курсе будет разобрана специфика задач, ВСЕ идеи и подходы, используемые составителями. А также тебя ждёт пробный экзамен!

Как всегда лекции со всей необходимой систематизированной теорией, семинары (на которых вы не просто сидите в чате, а имеете возможность отвечать, как на живом уроке), домашние задачи, разбор домашних задачек, куратор и еще куча всяких плюшек!

Цена самая доступная: 6000р 4500р за курс, при покупке на одного человека.
Сегодня и завтра отдаем курс по скидке, со среды (мск) продажа идет по зачеркнутой цене.
При покупке любого курса серии дискретная математика обойдет в 3500р. (скидки не суммируются).
А при покупке двух и более курсов серии сегодня и завтра, дискретная математика в подарок!

Начинаем уже в эту пятницу! Первые лекции уже доступны, поэтому торопитесь.

После семинара доступна запись. Кураторы помогут заполнить анкету, помогут в абсолютно в любом вопросе, задаче. Вас ждет пробный экзамен, разбор реального контеста ШАДа 2025 года и персональное собеседование, как в ШАДе! А также разведка по каждому экзамену, инсайды и персональные рекомендации.

Программа и Подробности.

Для записи и вопросов: @menshe_treh

Также не забываем про другие курсы к ШАД и магистратурам

Эти пет проекты должен сделать каждый аналитик

1. Работа с данными
В любом новом продукте придется выстраивать аналитические процессы. Но для начала нужно просто привести данные к удобному виду. Так данные могут храниться как минимум не оптимально: например, есть база данных VK с одной таблицей, где хранятся посты и авторы этих постов. Скорее всего, постов будет намного больше, чем авторов, поэтому разумно создать новую таблицу, переместить туда посты, а из исходной удалить. Помимо такого не оптимального хранения, данные могут быть банально грязные: аномалии, дубликаты и пропуски, неудобный тип переменных. Для "очистки" данные пригодятся статистические методы и визуализация. Также уже на этом этапе можно формулировать какие-то гипотезы. Для выполнения такого задания достаточно открыть jupyter notebook взять любой сырой датасет c того же kaggle, имитирующий "большие данные", там же по запросу в духе "Exploratory Data Analysis" можно посмотреть примеры других пользователей.

2. Дашборды
Результаты предыдущей работы с данными нужно предоставить в удобном виде. Согласитесь, что ко всем важным показателям нашего продукта должен быть простой и быстрый доступ. Странно было бы если всей команде каждый раз приходилось писать запрос, чтобы узнать сколько у продукта пользователей. Поэтому выстраивание аналитики начинается с выведения ключевых метрик как DAU, WAU, MAU. Целевая задача состоит в визуализации и презентации, также можно повыдумывать свои метрики и сформулировать какие-то гипотезы, глядя на графики. Например, видим пик активных пользователей (маркетологи закупили рекламу), а потом видим отток — давайте посмотрим на retention и оценим насколько реклама эффективна. Также придется найти данные и настроить рабочее окружение, наиболее удачным для новичков мне кажется: ClickHouse, Redash, Superset, GitLab. Они интерактивны, к каждому есть туториал. На работе могут быть другие инструменты, но их освоения тоже не составит проблем.

3. AB тест
Здесь и пригодятся все гипотезы, сформулированные в предыдущих проектах: теперь их можно проверить. Сначала планируем эксперимент: рассчитываем необходимое кол-во пользователей, подобираем методы проверки. Огромный простор для воображения: можно подобрать более чувствительные метрики, можно потестить систему сплитования, можно использовать методы понижения дисперсии. Но лучше начать с самого простого: хоть как-то выбрать пользователей, разделить на тест и контроль и использовать t-тест, Манна - Уитни, проинтерпретировать результат + прикрутить все рабочее окружение из второго проекта. Если получится что-то рабочее, то прикручиваем хэширование с солью, АА-тест, бутстреп, cuped, бакетное преобразование и тд. Примеры AB тестов всякого качества можно посмотреть на том же kaggle, github.
А если хотите разобраться в теории и практики АВ тестирование, то советую наш курс, на который только сегодня в честь первого мая дейсвует скидка 30%!

4. Пайплан
Обычно данные хранятся в разных системах и в разных формах, аналитику нередко приходится перетаскивать данные в хранилище и выдавать их в виде графиков и табличек. Для имитации чего-то подобного можно взять данные из одной базы данных, возможно, эти источником будет также являться Kafka, положить в Hadoop, и поместить данные в другую базу данных, используя преобразования Spark, и запустить это все дело через Airflow.

5. Система алертов
На работе придется писать отчеты, поэтому лучше автоматизировать этот процесс через тг бота. Создаем, пишем скрипт для сборки отчета по выбранной бд. Подумайте, какие метрики выбрать, за какой период и как лучше представить отчет. Автоматизируйте отправку отчета с помощью Airflow. В дополнение к отчетам можно реализовать поиск аномалий: детектировать необычное поведения метрик и отправлять в чат. Выбираем метрики, срезы, частоту для мониторинга, метод детектирования. Методы можно разделить на статистические (правило трех сигм) и на основе мл алгоритмов (DBSCAN, LOF). Как всегда для начала реализовываем самое простое.

@postypashki_old