Мой товарищ Антон написал монструозную статью про то, что такое MLOps. Это результат более чем двухлетнего погружения в тему и изучения многочисленных источников.

Для справки: MLOps - это DevOps из мира ML, стандартизация разработки, обслуживания ML-моделей в продакшене или же "операционализация моделей машинного обучения".

По-простому: это когда модель не только накодили, обучили и начали использовать в каком-то боевом приложении, но еще и выстроили пайплайны для ее мониторинга, обновления и переразвертывания.

В статье помимо определений и истории развития MLOps можно найти следующее:
🔹несколько моделей уровней зрелости;
🔹огромную технологическую схему;
🔹описание основных процессов;
🔹генерируемые артефакты;
🔹взгляд на это все как на классическую информационную систему;
🔹мемасики.

В общем, все очень по-взрослому (кроме последнего пункта, конечно).

Я не видел аналогов на русском языке ни по объему, ни по качеству, если они есть - пришлите, пожалуйста.

🔗Ссылка

#MLечное

Обзор российского рынка Business Intelligence от TAdviser, которые, кажется, реально хотят стать еще одним Гартнеро-заменителем (напомню, что есть еще ежегодные обзоры рынка от Сnews).

Правда, итоги и основные числа пока только за 2021 год:
🔹объем рынка около 45 млрд рублей;
🔹рост год к году 16%;
🔹есть топы крупнейших вендоров и интеграторов;
🔹а еще собрана статистика по аудитории телеграм-каналов конкретных решений (и западных и отечественных) - не знаю, что она должна показать, но такого еще не видел.

Тренд года угадать несложно - импортозамещение (прогноз роста выручки российских решений составляет 10-12%)

🔗Ссылка

#исследования #business_intelligence #анализ_рынка

Matt Turck с коллегами запилили ML/AI/Data Landscape по состоянию на начало 2023 года. Теперь у этого артефакта есть классная аббревиатура MAD, которая отлично отражает всю сущность мира инструментов для анализа данных.

Отчет состоит из 4 частей:
🔹Part I: The Landscape;
🔹Part II: Market trends: Financings, M&A and IPOs;
🔹Part III: Trends in data infrastructure;
🔹Part IV: Trends in ML/AI.

В этом году проявилась еще и интерактивная версия.

Про прошлую версию я что-то писал тут.

#инструменты #анализ_рынка

Чем больше я смотрю на плагины и расширения Jupyter Notebook, тем больше убеждаюсь, что аналитиков хлебом не корми - дай пооптимизировать что-то.

Например, c помощью Mito можно работать с датафреймами как с Excel/Google Sheet с кнопочками, фильтрами, сводными таблицами и прочими удобствами.

Эта штука еще и код за тебя попишет. Зачем пихать это все прямо внутрь Jupyter для меня загадка, но какие-то простые вещи действительно удобно делать кнопочками без кода. Кажется, как обычно, лень - двигатель прогресса.

У инструмента есть аналоги, как минимум - bamboolib и dtale. Про различия можно почитать, например, в статье на Хабре.

Пощупал все три и Mito, в итоге, понравился больше (хотя все еще считаю это все извращением). Видео-демка и документация есть на сайте разработчиков. В дополнение можно почитать восторженные отзывы с medium по ссылке ниже:

🔗Ссылка

#инструменты

Собрали с коллегами дайджест материалов про работу с данными и машинным обучением, которые показались нам интересными. Накопилась критическая масса с начала года.

Аналитического и ML-ного примерно серединка-наполовинку, плюс какие-то материалы вы уже могли видеть в моем канале.

Вот то, о чем я мог бы, но не собрался написать подробнее:

🔹Рассуждения Benn Stancil о том, как скоро генеративные модели заменят аналитиков;
🔹Кейсы Леруа Мерлен и Почтатеха о построении enterprise дата-платформ;
🔹Новость о покупке Dbt BI-инструмента Transform;
🔹Итоги 2022 года по версии DB Engines;
🔹Подборки сервисов для исследования/визуализации данных и полезных репозиториев для дата-саентистов;
🔸Много материалов по ML/MLOps, в которых я разбираюсь похуже, но, благо, есть специально обученные люди 😉.

🔗Ссылка

#дайджест #MLечное #инфраструктурное

Продолжаю копаться в новых инструментах для аналитиков.

Если в прошлый раз мы сами заталкивали Google Sheets в Jupyter, то сейчас за нас уже затолкали Python в аналог Google Sheets: Neptyne.

Получается, что у нас обычная электронная табличка с одной стороны, IDE с другой и чуть пониже окно запроса в местный "AI" (куда уж без этого).

То есть в одном окне можно спросить у нейросети население всех стран, написать эксельные формулы для базовых вычислений, а потом кодом переобразовать в dataframe, обработать pandas-ом и вывывести обратно в табличку.

Пока даже пускают бесплатно попробовать. По ссылке ниже чуть подробнее рассказывают про инструмент (хотя на сайте все и так довольно наглядно).

🔗Ссылка

#инструменты

В продолжение темы про новые инструменты.

Интересно понаблюдать за тем, как нейросети начинают экспансию в сервисы для визуализации и аналитики. Например, вот эта штука (Data Prism), найденная @data_csv, умеет генерировать идеи визуализаций по датасету.

По поводу качества полученных результатов уже успел знатно и обоснованно поорать Рома Бунин в комментах. Мне остается только присоединиться.

#инструменты

Теперь можно не страдать с выбором типа визуализации

Директор по инновациям Noteable (это такой онлайн-аналог Jupyter Notebook — платформы для написания кода) анонсировал новый инструмент — Data Prism, который сможет подбирать много вариантов графиков для ваших данных.

В статье есть несколько примеров, а полноценный анонс состоится сегодня в 19:00 по Москве — по крайней мере, об этом гласит прямая трансляция, которая висит на страничке.

Не придумал лучшего способа вернуться к написанию постов, чем дайджест того, что больше всего приглянулось за последнее время.

ОТЧЕТЫ О РЫНКЕ
- Data Teams Survey 2023 Results 🔗Ссылка
- State of data 2023 🔗Ссылка
- The State of Data Engineering 2023 🔗Ссылка

ИНСТРУМЕНТЫ
- Introducing Microsoft Fabric: Data analytics for the era of AI 🔗Ссылка
- Qlik Acquires Talend 🔗Ссылка
- Pivot: Managed dbt made easy 🔗Ссылка

УПРАВЛЕНИЕ И КОМПЕТЕНЦИИ
- Разработчики — налево, методологи — направо: четыре шага к оптимизации работы BI-аналитиков 🔗Ссылка
- The struggles scaling data teams face 🔗Ссылка

РАЗМЫШЛЕНИЯ
- BI by another name 🔗Ссылка
- Dashboards are dead: 3 years later 🔗Ссылка

ЕЩЕ БОЛЬШЕ ДАЙДЖЕСТОВ
- Новые инструменты для работы c ML-моделями и обзор MLOps от CERN 🔗Ссылка
- Массивный курс по управлению данными и обзор новинок от NVIDIA. Дайджест полезных текстов про ML и дата-аналитику 🔗Ссылка

Telegram-папка с каналами около Data/Analytics/BI
🔗Ссылка

#дайджест

Я фанат материалов про уровни зрелости аналитических систем. Вот варианты их оценки, которые рассматривал ранее:
🔹по сложности решаемых задач;
🔹по степени влияния на принятие решений;
🔹по уровню удовлетворения основных потребностей и наличию нужных компетенций;
🔹по подходу к организации хранилищ/озер данных.

Дополню список еще одним: по степени "развитости" используемых аналитических инструментов (из статьи "Evolution of the Data Landscape").

Автор выделяет 3 ключевых уровня развития аналитического стека:
🔸Традиционный;
🔸Современный (подробнее тут);
🔸Data-First.

Материал продвигает последний из них, предлагая перейти к унифицированному подходу к построению аналитических систем с использованием общих принципов для загрузки, хранения и потребления данных. Выглядит похоже на новомодные Data Mesh/Fabric.

Рекомендую ознакомиться, если интересны верхнеуровневые архитектурные вопросы, там еще много интересного про проблемы и ограничения каждого из этапов.

🔗Ссылка

#архитектурное #уровни_зрелости

Мы добавили вам Питон в Эксель...

Новость (вчерашнего) дня: Microsoft запускает публичное превью нативного Python в Excel.

Код пишем непосредственно в ячейках, но запускаться он будет не локально, а в облаке Microsoft. Импортировать библиотеки можно.

На картинке выше показан пример того, как будет выглядеть генерация графика в seaborn.

По функциональности похоже на то, что мы уже видели в Neptyne.
Также не первый год существуют другие аналоги вроде PyXLL.

В общем, функция не то, чтобы уникальная, но посмотреть на реализацию интересно.

🔗Ссылка

#инструменты

Со следующего понедельника (4 сентября) стартует конференция по менеджменту продуктов Product Sense 2023.

В этот раз я даже взял себя в руки и смог написать о ней не день-в-день из поезда, а чуть заранее.

Если говорить про мой опыт, то это единственное ежегодное мероприятие, которое я посещу юбилейный, 5 раз подряд.

Помимо очевидных ценностей вроде докладов (качественных) и нетворкинга (в прошлый раз вернулись с новоприобретенным коллегой) я всегда нахожу для себя еще одну.

Это возможность со стороны посмотреть на:
- то что делаешь сам;
- что в этот момент делают другие;
- что у кого болит и какие решения существуют.

Короче, полный "think outside the box".

В итоге, если есть еще такие же слоупоки как я, кто пропустил все сроки - рекомендую ознакомиться с тем, что будет в этом году по ссылке ниже или любым удобным способом.

🔗Ссылка

#конференции