PySpark для аналитика. Как выгружать данные с помощью toPandas 🐼 и его альтернатив

Базовая задача аналитика — посчитать что-то на pySpark, а потом сделать из этого табличку.
Маленькую для презентации, побольше для нужд коллег и совсем огромную — для обучения ML-модели.

Как сделать это грамотно, и в том числе — с функцией toPandas, рассказал тимлид аналитиков и DS Саша Ледовский.
Про PySpark он тоже рассказывал ранее, рекомендуем прочитать всё.

🐼 toPandas — это сюда.
💥 to обзор PySpark — сюда.

#analytics_avitotech #habr_avitotech #статья_avitotech

Playbook / Уровни аналитиков

Аналитик Авито работает с большой аудиторией — DAU >20 mln, и это до 8 000 000 000 событий в день!

Какой путь предстоит пройти джуну до руководящей позиции и что от него требуется на каждом этапе, подробно рассказали на гитхабе.
А в карточках — общие поинты по росту аналитика в Авито.

🗂 Сохраняйте материалы по теме:

☄️ Как понять, что мидл стал синьором: процесс performance review аналитиков в Авито
Статья от Ильи Гурова, директора по аналитике. Материал будет полезен тем, кто прямо сейчас выстраивает или хочет выстроить процесс оценки у себя в команде.

⭐️ Middle или Senior: какой ваш уровень в аналитике?
Статья Лёши Малинского, руководителя продуктовой аналитики одного из наших направлений, о том, как мы понимаем, что к нам на интервью пришёл именно senior-кандидат.

📺 Как нанимать и растить тимлидов
Доклад Глеба Белогорцева, руководителя аналитики, о том, как у нас выстроены треки найма тимлидов со стороны и повышения кого-то из команды.

#playbook_avitotech #analytics_avitotech

За тем, что для пользователя «просто в использовании», стоит огромная работа второй команды из юнита AvitoID — Passport Lions.

⬇️ Рассказываем подробнее ⬇️

Раньше считалось, что 1 профиль = 1 человек. Но это не так: многие разделяют личные профили и рабочие, регистрируют их на разные номера и вынуждены перелогиниваться.

🚀 Точнее, вынуждены были до того, как ребята из Passport Lions поменяли доменную модель работы с профилями.
Теперь профили в связке: можно один раз войти и переключаться между ними, а номера телефонов становятся общими для всех профилей.

Интересно⁉️ Присоединяйтесь: мы ищем в эту команду крутого бэкендера, который поможет нам совершать подобные тектонические сдвиги на платформе.

#units_avitotech

Сравниваем скорость и оверхеды библиотек Deep Copy для Go

Егор Гартман, бэкендер Авито, знает не просто, как пройти в библиотеку, но и как создать свою. С минимальным оверхедом и Generics.

О том, как Егор тестил Deep Copy библиотеки для Go получилась целая статья.
А для Kamino — разработки Егора — страничка на Github.

Смотрите, комментируйте и копируйте большие структуры без оверхеда 💻

#backend_avitotech #статья_avitotech #habr_avitotech