Новый Python: теперь намного быстрее!

💥Лучшее с майской конференции Airflow Summit 2022!
Любителям и профессионалам дата-инженерии: подборка самых интересных докладов, от тонкостей работы batch-оркестратора до передовых практики управления развертыванием и данными.
https://medium.com/apache-airflow/airflow-summit-2022-the-best-of-373bee2527fa

🪢ИИ для робототехники: новая версия Isaac Sim от NVIDIA
17 июня 2022 года NVIDIA объявила о выпуске версии инструмента моделирования робототехники и генерации синтетических данных Isaac Sim. Эта платформа ускоряет разработку, тестирование и обучение ИИ в робототехнике. С помощью Isaac Sim разработчики могут создавать наборы данных о качестве продукции для обучения ИИ-моделей, моделировать роботизированную навигацию и манипуляции, а также генерировать тестовую среду для тестирования приложений робототехники.
Isaac Sim включает средства принятия решений для обучения коллаборативных роботов (коботов), инструмент RL-обучения с ускорением на графическом процессоре, набор инструментов для генерации синтетических данных, API и рабочих процессов, а также новые возможности процедурного создания промышленных сред для генерации синтетических данных.
https://developer.nvidia.com/blog/expedite-the-development-testing-and-training-of-ai-robots-with-isaac-sim/

🌞🌸💦ТОП-5 DS-событий июля 2022:
• 06 и 08 июля – AHA!22 - техническая конференция от создателей Матемаркитенга для аналитиков и продактов об обеспечении эффективности https://aha.matemarketing.ru/
• 06 июля – Callday.Ecom - онлайн-конференция про сквозную аналитику и эффективный маркетинг в электронной торговле https://callday.ru/ecom2022
• 7 июля в 11:00 МСК – вебинар от SberCloud «Первая AI-модель для распознавания товаров и цен в розничных продуктовых сетях на платформе ML Space» https://sbercloud.ru/ru/warp/webinars/pervaia-ai-model-dlia-raspoznavaniia-tovarov-i-tsen-v-roznichnykhproduktovykh-setiakh-na-platforme-ml-space
• 21 июля в 16:00 МСК – вебинар от Яндекса «Обработка данных на Apache Airflow в Yandex Cloud» https://cloud.yandex.ru/events/587
• 30 -31 июля – PYCON RUSSIA - самая большая и душевная конференция для python-разработчиков. https://pycon.ru/

Специально для МРТ: библиотека Nilearn
Nilearn — легковесная Python-библиотека анализа данных МРТ. Она предоставляет статистические инструменты и средства машинного обучения, подробную документацию и открытое сообщество.
Nilearn теперь включает в себя функциональность библиотеки Nistats и расширяет ее новыми фичами. Она поддерживает анализ на основе общей линейной модели (GLM) и использует средства scikit-learn для многомерной статистики с такими приложениями, как прогнозное моделирование, классификация, декодирование или анализ связности. Nilearn отлично визуализирует результаты анализа в проекциях человеческого мозга.
Библиотека доступна под лицензией BSD и активно обновляется: версия 0.1.1 вышла в 2015 году, а на июнь 2022 года выпущен релиз 0.9.1. https://nilearn.github.io/stable/index.html

👌ТОП-5 MLOps-фреймворков
Сегодня тема MLOps очень востребована: ML-системы становятся все сложнее, а их разработка и поддержка включает не только вычислительные алгоритмы и прочую Data Science, но и лучшие практики разработки ПО с тонкостями развертывания в production. При этом нужно постоянно следить за дрейфом входных данных и реакции ML-модели на них, своевременно корректируя код с его версионированием. Наладить такую непрерывную цепочку помогают комплексные MLOps-фреймворки, наиболее популярными из которых считаются следующие:
• MLflow — платформа с открытым исходным кодом для управления сквозным жизненным циклом машинного обучения https://www.mlflow.org/
• Kubeflow — платформа машинного обучения с открытым исходным кодом, позволяющая использовать ML-конвейеры для управления сложными рабочими процессами, работающими в Kubernetes, например, обработка данных, затем использование TensorFlow или PyTorch для обучения модели и развертывание в TensorFlow Serving или Seldon. Kubeflow построен на основе внутреннего метода Google для развертывания моделей TensorFlow, который называется TensorFlow Extended. https://www.kubeflow.org/
• FastAPI — это современная, быстрая и высокопроизводительная веб-инфраструктура для создания API-интерфейсов с Python 3.6+ на основе стандартных подсказок типов Python. Он полностью поддерживает асинхронное программирование и может работать с Uvicorn и Gunicorn. https://fastapi.tiangolo.com/
• ZenML —платформа MLOps с открытым исходным кодом, созданная для команд машинного обучения. Она обеспечивает уровень абстракции для максимально простого переноса ML-моделей из исследований в производство. С ZenML Data Scientist получает полный контроль и право собственности на весь процесс конвейера, не вдаваясь в тонкости процессов развертывания. ZenML стандартизирует написание конвейеров ML для различных стеков MLOps, независимо от облачных провайдеров, сторонних поставщиков и базовой инфраструктуры https://zenml.io/
• Seldon Core - платформа с открытым исходным кодом, упрощает и ускоряет развертывание ML-моделей и масштабных экспериментов в Kubernetes. Seldon Core обслуживает модели, созданные в любой среде построения моделей с открытым исходным кодом или в коммерческой среде. Можно использовать мощные функции Kubernetes, такие как настраиваемые определения ресурсов, для управления графами модели. Есть возможность подключить CI/CD-инструменты, чтобы масштабировать и обновлять развертывание. Seldon обеспечивает масштабирование до тысяч производственных ML-моделей и предоставляет готовые расширенные возможности машинного обучения, включая расширенные метрики, регистрацию запросов, эксплейнеры, детекторы выбросов, A/B-тесты, Canary и многое другое. https://www.seldon.io/solutions/open-source-projects/core

🪢Пара библиотек для модульного тестирования Python-скриптов
Модульное тестирование позволяет разработчику убедиться, что код работает должным образом на атомарном уровне. Суть модульного тестирования сводится к проверке того, что каждая отдельная функция делает то, что она должна делать. Для этого можно использовать следующие инструменты:
• Pytest — это платформа для написания небольших читаемых тестов, которую можно масштабировать для поддержки сложного функционального тестирования приложений и библиотек. Требуется: Python 3.7+ или PyPy3. https://docs.pytest.org/en/7.1.x/
• Сhispa предоставляет быстрые вспомогательные методы тестирования PySpark, которые выводят описательные сообщения об ошибках. Эта библиотека упрощает написание высококачественного кода PySpark. Интересно, что chispa в переводе с испанского означает искра, т.е. Spark по-английски. https://github.com/MrPowers/chispa

💥Python-библиотека для отправки PySpark-скриптов в кластер Spark через REST API Livy
Разработчики Spark-приложений знают, что есть два подхода к программной отправке заданий в кластер Apache Spark, и каждый из них имеет некоторые ограничения для достижения взаимодействия в реальном времени: spark-submit и spark-shell.
Однако, на практике бывают случаи, что надо отправлять Spark-задания в интерактивном режиме из веб- или мобильного приложения. При этом кластер Apache Spark размещен в локальной инфраструктуре, а нужно, чтобы много пользователей одновременно потребляли и выполняли тяжелые агрегации с источниками данных со своих мобильных телефонов, веб- или десктопных приложений. В этом случае поможет сервисный подход, Spark-as-a-Service, включая предоставление доступа к источникам данных JDBC/ODBC через резервный сервер Spark или использование Apache Livy - службы, которая позволяет легко взаимодействовать с кластером Apache Spark через REST API.
Для Livy пригодится Python-пакет livyc – он хорошо работает для динамической и асинхронной отправки PySpark-скриптов на сервер Apache Livy, прозрачно взаимодействуя с кластером Apache Spark. https://github.com/Wittline/livyc

🗣7 инструментов распознавания речи
Чтобы разработать собственную ML-систему распознавания речи, можно воспользоваться следующими фреймворками и библиотеками:
• wav2letter – open-course набор инструментов с открытым исходным кодом от Facebook AI Research, объединенный с более крупной библиотекой под названием Flashlight https://github.com/flashlight/wav2letter
• DeepSpeech на базе Baidu DeepSpeech, который помоможет расшифровать аудиофайл, используя предварительно обученные модели, или настроить/обучить пользовательский набор данных https://deepspeech.readthedocs.io/en/r0.9/?badge=latest
• TensorFlowASR – пакет с открытым исходным кодом от Tensorflow реализует некоторые эталонные модели, обученные с использованием RNN с CTC https://github.com/TensorSpeech/TensorFlowASR
• OpenSeq2Seq - исследовательский проект от NVIDIA по проблемам преобразования последовательностей в последовательности https://github.com/NVIDIA/OpenSeq2Seq/blob/master/Streaming-ASR.ipynb
• SpeechRecognition - проект предоставляет доступ к нескольким моделям автоматического распознавания речи, включая оболочки для речевых API от Google, Microsoft Azure и IBM https://github.com/Uberi/speech_recognition

Также отметим 2 готовых сервиса, которые предоставляют API для доступа к возможностям сервисов, от распознавания речи до генерации «естественных» голосовых данных:
• SmartSpeech от СберDevices https://sberdevices.ru/smartspeech/
• Yandex SpeechKit от Яндекса https://cloud.yandex.ru/services/speechkit

🙌🏼7 платформ федеративного ML
Федеративное обучение также называют совместным, поскольку ML-модели обучаются на нескольких децентрализованных периферийных устройствах или серверах, содержащих локальные выборки данных, без обмена ими. Этот подход отличается от традиционных централизованных ML-методов, когда все локальные наборы данных загружаются на один сервер, а также от более классических децентрализованных подходов с одинаковом распределением локальных данных. Сегодня федеративное обучение активно применяется в оборонной промышленности, телекоммуникациях, фармацевтике и платформах Интернета вещей.
Впервые идеи федеративного Machine Learning были представлены Google в 2017 году для улучшения прогнозирования текста на мобильной клавиатуре с использованием моделей машинного обучения, обученных на основе данных с нескольких устройств. В федеративном ML модели обучаются на нескольких локальных датасетах на локальных узлах без явного обмена данными, но с переодическим обменом параметрами, например, весами и смещениями глубокой нейросети между локальными узлами для создания общей глобальной модели. В отличие от распределенного обучения, изначально направленного на распараллеливание вычислений, федеративное нацелено на обучение разнородным наборам данных. В федеративном ML наборы данных обычно сильно неоднородны по размеру. А клиенты, т.е. конечные устройства, где обучаются локальные модели, могут быть ненадежными и больше подвержены сбоям, чем в системах распределенного обучения, где узлами являются центры обработки данных с мощными вычислительными возможностями. Поэтому, чтобы обеспечить распределенные вычисления и синхронизацию его результатов, федеративное ML требует частого обмена данными между узлами.
Из-за своих архитектурных особенностей федеративное ML имеет ряд недостатков:
• неоднородность между различными локальными наборами данных - каждый узел имеет погрешность по отношению к генеральной совокупности, а размеры выборок могут значительно различаться;
• временная неоднородность - распределение каждого локального датасета меняется со временем;
• необходимо обеспечить совместимость набора данных на всех узлах;
• скрытие обучающих датасетов чревато риском внедрения уязвимостей в глобальную модель;
• отсутствие доступа к глобальным обучающим данным затрудняет выявление нежелательных предубеждений во входных данных для обучения;
• есть риск потери обновлений локальных ML-моделей из-за сбоев на отдельных узлах, что может повлиять на глобальную модель.
Сегодня федеративное ML поддерживается следующими платформами:
• FATE (Federated AI Technology Enabler) https://fate.fedai.org/
• Substra https://www.substra.ai/
• Python-библиотеки PySyft и PyGrid https://github.com/OpenMined/PySyft, https://github.com/OpenMined/PyGrid, https://github.com/OpenMined/pygrid-admin
• Open FL https://github.com/intel/openfl
• TensorFlow Federated (TFF) https://www.tensorflow.org/federated
• IBM Federated Learning https://ibmfl.mybluemix.net/
• NVIDIA CLARA https://developer.nvidia.com/clara

🙌🏼Вычислительная сложность ML-алгоритмов
Когда объем данных невелик, почти любой ML-алгоритм дает приемлемую точность и подходит для решения соответствующей задачи. Но когда объем и размер данных становятся большими, нужно выбирать для обучения ML-модели такой алгоритм, который не требует слишком много вычислительных ресурсов. Лучше выбрать простой или менее затратный в вычислительном отношении алгоритм, чем алгоритм, требующий больших вычислительных ресурсов, когда точность прогнозирования и сложность выполнения аналогичны или даже немного хуже.
Выбор алгоритма зависит от следующих факторов:
• порядок времени (Time Complexity), необходимого для вычисления алгоритма - функция параметров, связанных с данными, самого алгоритма, объема и количества фич
• сложность вычислительного пространства (Space Complexity) - порядок пространства, требуемый во время вычисления алгоритма - функция параметров, связанных с алгоритмом, таких как количество фичей, коэффициентов, скрытых слоев нейросети. Сложность пространства включает в себя как размер входных данных, так и вспомогательное пространство (Auxiliary Space), используемое алгоритмом во время выполнения;.
Например, сортировка слиянием (Mergesort) имеет вспомогательное пространство 𝑂(𝑛) и пространственную сложность 𝑂(𝑛), а быстрая сортировка (Quicksort) имеет вспомогательное пространство 𝑂(1) и пространственную сложность 𝑂(𝑛). В итоге и сортировка слиянием, и быстрая сортировка имеют временную сложность 𝑂(𝑛log𝑛).
https://medium.com/datadailyread/computational-complexity-of-machine-learning-algorithms-16e7ffcafa7d

Computational Complexity of Machine Learning Algorithms

👍ТОП-4 совета по dbt для дата-аналитика и инженера данных
dbt (data build tool) — это фреймворк с открытым исходным кодом для выполнения, тестирования и документирования SQL-запросов, который позволяет автоматизировать процесс анализа данных, включая структурирование и написание запросов, их поиск, вложенные вызовы, запуск по расписание, документирование и тестирование. Например, можно использовать dbt CLI или dbt Cloud для работы с конвейером данных, чтобы извлекать, преобразовывать и загружать данные в хранилище, создавая БД с динамической архитектурой по расписанию. Повысить эффективность применения dbt для тестирования динамически создаваемых схем, источников и моделей данных помогут следующие советы:
• файл Schema.yml может находиться только в папке моделей dbt. Инструмент позволяет создать модульный тест, который за считанные секунды проверяет столбцы на наличие нулевых значений.
• В тестах данных dbt есть строгое правило, согласно которому они должны возвращать нулевые строки, чтобы пройти тест. Вместо поиска значения, такого как сумма определенного набора строк, тест данных должен быть написан так, чтобы он ожидал найти нулевые строки, если результаты не равны правильному значению суммы. Поэтому при разработке теста данных надо сразу думать, как вернуть 0 строк в рассматриваемом кейсе, но при этом проверить нужное число. Можно использовать операторы != или <= для проверки данных.
• Повысить скорость тестирования можно, увеличив количество потоков в профиле проекта, в файле profiles.yml. Например, если есть 30 тестов, понадобится 40 потоков, определенных в файле profiles.yml. Это позволит запустить 30 тестов данных и схемы за 4 секунды.
• Каждому тесту нужно осмысленное имя. Хотя dbt автоматически присваивает имена тестам схемы, рекомендуется пометить их самостоятельно. Поскольку dbt не дает большого контроля над запуском небольших наборов тестов, нужно иметь возможность видеть все имена запущенных тестов. Аналогично тому, как разработчикам рекомендуют называть функции и переменные семантически понятными именами, так и в тестировании нужно давать тестам осмысленные имена. Иначе во время выполнения тестов будет трудно определить, какой из них прошел или не прошел проверку. При запуске команды тестирования в dbt, все тесты схемы и данных будут выполняться вместе. Нельзя просто запустить один каталог в папке тестов данных, но можно именовать их «тест dbt — схема» или «тест dbt — данные», чтобы быстро определять, какие тесты надо запустить.

https://corissa-haury.medium.com/4-quick-facts-about-dbt-testing-5c32b487b8cd

🚀 @machinelearning_interview - здесь мы собираем все возможные вопросы и ответы с собеседований по Машинному обучению, нейронным сетям и Глубокому обучению. Для всех уровней разработчиков при поддержке авторов популярного канала Machine learning. Канал реально поможет пройти data science собеседование.

🔥Нужен MLOps на Python? Легко с PyMLPipe!
PyMLPipe - это легковесный Python-пакет для MLOps-процессов. Он помогает автоматизировать:
• Мониторинг модели и схемы данных
• Версионирование ML-модели и данных
• Сравнение производительности моделей
• Развертывание API в один клик
Эта библиотека с открытым исходным кодом поддерживает Scikit-Learn, XGBoost, LightGBM и Pytorch. Она имеет модульную структуру, представленную набором Python-функций, упакованных в API, и наглядный GUI. PyMLPipe отлично подходит для работы с табличными данными.
https://neelindresh.github.io/pymlpipe.documentation.io/

🌸🌤В последний месяц лета 2022 можно успеть на следующие ивенты:
3 августа - вебинар «Возможности Yandex SpeechKit и голосовых роботов МТТ VoiceBox». Онлайн, 16:00 МСК https://cloud.yandex.ru/events/593
4 августа - митап «Виртуализация на отечественном: готовы ли отечественные решения к применению в реальных проектах?». Москва, StartHub.Moscow Красный Октябрь, Берсеневская набережная д. 6, с. 3, этаж 4 https://meetup.jet.su/virtualization
4 августа - вебинар "Public cloud на российской виртуализации vStack: обзор и сценарии применения". Онлайн, 11:00 МСК https://itglobal.com/ru-ru/company/events/public-cloud-na-rossijskoj-virtualizaczii-vstack-obzor-i-sczenarii-primeneniya/
5-7 августа - хакатон DATA HACK от компании SENSE Group, ГК «Иннотех» и «Акселератор Возможностей» при ИНТЦ МГУ «Воробьёвы Горы». Кейсы: разработка статического анализатора Spark SQL-кода, разработка генератора фейковых данных для сложных запросов, создание прототипа ETL-движка из Postgres, Oracle, ClickHouse в HDFS на Spark, который будет шаблонизирован через конфигурацию. Регистрация до 01.08.2022. Призовой фонд — 300 000 рублей, а также специальные призы и подарки от партнёров. https://data-hack.ru/
11 августа – вебинар «Управляемый сервис YDB: настройка, применение, мониторинг». Онлайн, 21:00 МСК. https://cloud.yandex.ru/events/597
13 августа - Auto Tech Challenge 2022 - технологический конкурс, призванный найти инновационные решения для автомобильной промышленности и внедрить востребованные продукты и сервисы в корпорации. Конкурс проводится под эгидой группы «ГАЗ», с привлечением экспертов из «Меркатор Холдинг», «АИР Магистраль», НТИ «Автонет», МГТУ им. Н. Э. Баумана и Московского политехнического университета. https://i.moscow/tech_contests/autotech2022