Почему Jupyter ноутбукам придет замена

Jupyter ноутбуки внесли огромный вклад в развитие data science. Работа с данными и ML моделями стала доступна людям, имеющим самые базовые навыки программирования. Однако при этом они остаются достаточно кустарным инструментом с пачкой недостатков.

Для справки. Ноутбук - это такой большой файл, где подряд идет текст, код и его вывод, в том числе графики. Выглядит он как-то так. Активно используется дата сайнтистами и дата аналитиками

Не вдаваясь в подробный разбор, я хочу поделиться, чем мне не нравятся ноутбуки как техническому менеджеру, который их много читает

- Ноутбуки все-таки сложны для восприятия. Даже если вычищать ноутбуки, в них все равно копится лишний код и выводы. Графики, печатаемые в столбик, занимают очень много места.
- Проверять ноутбуки непросто. Специальных линтеров (проверщиков стиля) нет. Инструментов ревью в системе контроля версий из коробки нет (не из коробки есть, но они пока не прижились на практике).
- Визуализация не закрывает всех потребностей. Таблицы проигрывают экселю и его аналогам. Из коробки очень сложно добавлять фильтры и красить произвольные ячейки в цвет. У интерактивных элементов проблемы с рендерингом после заливки в гит.

Что по конкурентам

Проигравший конкурент ноутбуков - это формат, где на пол-экрана скрипт с кодом, а на пол-экрана отдельное окно вывода. Работать в нем пожалуй даже удобнее, но делиться работой 😳 плохо: выводы в отдельных файлах, а это могут десятки/сотни таблиц и графиков.

Какое-то время развивались 🤪 low-code системы. Это когда вы программируете квадратиками: либо пользуетесь готовыми, либо пишете квадратик со своим кодом. В чистом виде такие системы провалились (например, Azure ML). А Нирвана Яндекса и Kubeflow все-таки не альтернатива ноутбукам.

С точки зрения визуализации есть очень интересный похожий на Jupyter инструмент - это Observable. Обычного кода там нет, только sql запросы и код графиков. Очень советую посмотреть. Мне кажется, что визуальная часть ноутбуков должна выглядеть как-то так. Но проблема Observable, что он исключительно облачный, платный и 🔒 закрытый. Т.е. в гит вы их ноутбуки не положите.

💎 Итого, у текущих Jupyter ноутбуков серьезных конкурентов нет. Это действительно удачный формат. Поэтому я прогнозирую, что новым шагом в развитии будут тоже ноутбуки, только лучше. Скорее всего их сделает какая-нибудь big tech компания.

Там будет хорошая визуализация из коробки, открытый код, удобное ревью и шеринг. Может быть это будут два файла: код и визуальный ноутбук, которые связаны друг с другом. А может быть как и раньше один.

Если вы знаете хорошие инструменты для ноутбуков или их альтернативу, которые решают описанные проблемы, расскажите в комментариях!

—

#tech

🔜 Читайте также
Почему у статистики не лучшие времени
Как я улучшал бота, рекомендующего мемы
Инфляция грейдов

Года два я занимаюсь раздельным сбором мусора. Для морального удовлетворения, и потому что это входит в концепцию осознанного потребления, которая мне близка 💎

Пока я был в Красной поляне с удивлением обнаружил, насколько сортировка входит в привычку. Хотя сдавать вторсырье там было некуда, я все равно на автомате мыл и разделял бутылки, контейнеры и банки 🤷‍♂️

Читайте также
Предыдущий пост про сбор вторсырья

#lifestyle

Что происходит

Всем привет! Сейчас у меня период довольно высокой загрузки, поэтому тематического контента не будет, и я просто поделюсь что происходит.

Во-первых, на работе у нас активная стадия разработки нового продукта продвижения. Когда что-то появится в открытых источниках, я обязательно об этом расскажу.

Кроме этого, сижу над новой итерацией рекомендаций в fast food memes боте. Цель этой итерации - выкатить коллаборативную модель на прод и показать аплифт метрик. Задача на самом деле не легкая. В исследовательской части обучение втупую не дает хороших результатов. А еще нужно сделать хорошее смешивание разных движков и закодить инфру получения кандидатов.

С точки зрения контента я работаю над статьей про LogSeq. LogSeq - это графовая система ведения заметок (см. пост Приложение для заметок, которое вас удивит). Я пользуюсь приложением уже больше года и много чему научился. Статья - мой ответ на вопрос нужен ли вам LogSeq и как им правильно пользоваться. Черновик статьи уже написан, планирую ее выпустить на следующей неделе.

❓Кстати, я решил публиковаться на Вастрике, т.к. мне кажется, что там довольно много целевой аудитории. Что думаете? Где лучше публиковать статьи на тему продуктивности?

Гайд по LogSeq: персональная система управления знаниями

Закончил работу над гайдом по LogSeq 🚀 Он рассказывает, как правильно пользоваться приложением. Кажется, это единственный на данный момент гайд на русском языке именно про методику работы. Все, что я смог найти - это обзоры функционала.

LogSeq - приложение для ведения заметок, основанное на графовом подходе. В нем из коробки поддерживаются разные техники работы со знаниями, такие как журналирование, конспектирование и наработка собственных идей 🧠. В гайде я предлагаю подход, как постепенно их освоить.

Гайд по LogSeq - освоение ключевых методик ведения вашей системы заметок [Продуктивность] — Вастрик.Клуб 🤘✖️👩‍💻‍

#productivity

Мысли про уровни отношений с аналитиком

Прочитал статью от Леши (Malex) про то, как выстроить отношения продакт-аналитик.

Леша выделяет 3 уровня взаимодействия

1. Аналитик - руки продакта
2. Продакт и аналитик - партнеры
3. Аналитик - драйвер продукта по некоторым направлениям

Когда я работал в Сбере, борьба была за то, чтобы с 1 перейти на 2. Там непонятно кто был виноват, скорее и те и те. Продакты брали активностью, а не продуктовым видением. А d-people в самостоятельном плавании нередко шли совсем не туда (порой большими подразделениями). Были сильные аналитики, которые имели свои зоны ответственности. Например, делали закрепление менеджеров за клиентами, следили за выдачей кредитов или делали антифрод. Но по компании это нечастые кейсы.

В Авито же распространен именно уровень 3. Аналитики отвечают за свои зоны в продукте, например разрабатывают прайсинг. Мы как ds-ы тоже много за что отвечаем. Например, на нас лежит дизайн механизмов продвижения.

💎 И в общем это очень крутой кейс. Но не потому что у нас так интересно работать аналитикам. А что столько работы и ответственности на аналитиков можно взвалить. И эту работу они сделают действительно хорошо. Тогда аналитика уже будет не просто вспомогательная функция, которая является затратами, а полноценная вертикаль, обеспечивающая работу бизнеса. Выстроить такую систему - задача топ-менеджера и его возможность повысить эффективность компании.

🔜 Читайте также
Инфляция грейдов
Документо-ориентированное управление

#management

Data Weekend Offer

Всем привет! У нас в Авито 5-6 октября будет Data Weekend Offer для дата сайнтистов, дата инженеров и аналитиков. Это день, когда мы командами собираемся и проводим большую волну отбора новых сотрудников. Можно участвовать как онлайн, так и оффлайн у нас в офисе.

Очень рекомендую поучаствовать всем, кто потенциально интересуется работой в Авито. Точно получите 🌡 опыт. А если пройдете до оффера, получите его в эти же выходные.

#worklife

Впечатления от AI Conf

Серия осенних DS конференций продолжается. Вот какие лично у меня на радаре

- Practical ML Яндекса был пару недель назад
- В эти четверг и пятницу была AI Conf
- В эти выходные идет e-code от Озона (ML трек будет завтра, кстати рекомендую сходить)
- В ноябре проходит AI Journey Сбера (даты пока не опубликованы)

Собственно последние два дня я был на AI Conf. И вот какие у меня впечатления.

В отличии от остальных конференций, она была платной. Причем платной настолько, что за свои деньги вы туда скорее всего не пошли бы. Рассчитано на enterprise. Но как плюс, при относительно небольшом количестве участников, подавляющее большинство присутствующих было мидл+ уровня. А случайных людей не было вообще.

Доклады и организация были очень хорошего качества. В отличии от других конференций темы не были смещены в сторону хайповых LLM. Кроме того, большинство докладов были про реальный продакшн. К сожалению, записи пока не выложены в открытый доступ. Надеюсь, что спустя какое-то время будут - авторам же нужно повышать свой visibility.

Я стоял на нашем стенде и сам докладов посмотрел немного. Из выступлений других компаний особенно интересно было послушать про рекомендации Озона и Wildberries. Рассказы были подробные - хранить секреты в нашей области скорее невыгодно. Даже послушав, что сделано у конкурента, так просто это не повторить. В целом и у нас, и у них все примерно похоже и проблемы одни и те же.

Вообще, удалось много с кем познакомиться и отлично провести время между собой. Получилось что-то вроде кросс-командного DS тимбилдинга. Мы поддерживали наших выступающих: Даню Бочарникова и Юру Батракова, участвовали в ds-квизе и просто общались. Было очень душевно.

#worklife

🔜Читайте также
Впечатления с PracticalML

Хочу обратить внимание на статью Ильи Валяева из поиска Авито, в которой описано текущее состояние нашей системы. Я работаю с поиском уже почти 2 года, и питаю к нему теплые чувства (несмотря на обилие эвристик и местами запутанного старого кода - все уже стало родным 😕).

На мой взгляд статья полезна широкому DS читателю. Она даст вам представление, как устроен поиск в серьезных нагруженных приложениях и поможет тем, кто готовится к систем дизайн собесам!

Как я наблюдаю за стажерами и как я сам им когда-то был

В продолжении темы, как я ощущаю свой возраст. У нас сейчас вышло много стажеров. Если вы один/одна из них, я искренне вас поздравляю.

Стажеры выходят волнами, у них есть различные совместные активности, презентации про работу делают и т.д. И сидишь такой на кухне и слушаешь, как они обмениваются кто в какую команду вышел, кому уже дали боевые задачи, а кому нет, сравнивают офис Авито и Яндекса. Кто-то совсем скромный, кто-то наоборот понаглее. Большинство молодые, но видел и парня постарше. Напомнило сериал Новичок прям 🙂 (картинка оттуда)

Вот так смотришь на все это и вспоминаешь, что был стажером аж 10 лет назад. Я устроился аналитиком в консалтинговую фирму, и в первый рабочий день с руководителем полетел в командировку (большую часть своей полуторалетней карьеры консультанта я провел на заводах)). Помню, что меня удивило ощущение, что нормой является в середине рабочего дня куда-нибудь полететь.

Наверное новый этап жизни начинается, когда ты проходишь какие-то первые работы, дорастаешь до уровня лида.. и в какой-то момент перед тобой открывается истинное положение вещей в карьере.

Если интересно, в чем оно заключается, накидайте мне 🐳

upd Продолжение будет в субботу

#worklife