🖥 Асинхронное программирование в ML-системах

Поскольку концепция MLOps стремится устранить разрывы между разработкой ML-модели и ее имплементацией в эффективный программный код, сегодня поговорим про важную идею программирования, связанную с синхронностью и асинхронностью вызовов. Что такое асинхронное программирования, зачем это нужно в Machine Learning и какие Python-библиотеки поддерживают это.

➡️ Читать дальше

@machinelearning_ru

🌐 DeepPrivacy2 - A Toolbox for Realistic Image Anonymization

DeepPrivacy2 обнаруживает и анонимизирует людей с помощью трех нейронных сетей.

🖥 Github: https://github.com/hukkelas/deep_privacy2

⏩ Статья: https://arxiv.org/abs/2211.09454v1

🖥 Dataset: https://paperswithcode.com/dataset/fdh

@machinelearning_ru

💨 Построение автоэнкодеров для поиска и сравнения похожих изображений

Модель поиска похожих изображений

Поиск похожих изображений — очень активная и быстро развивающаяся область исследований в последнее десятилетие. Исследования в данной области позволили разработать модели, которые могут помочь в работе в различных областях, например:

— чтобы найти похожие изображения;

— поиск фотографий-плагиатов;

— создание возможностей для обратных ссылок;

— знакомство с людьми, местами и продуктами;

— поиск товаров по фотографии;

— обнаружение поддельных аккаунтов, поиск преступников и т.д.

Наиболее известными системами являются Google Image Search и Pinterest Visual Pin Search. В посте будет проведено знакомство с созданием простой системы поиска похожих изображений с использованием специального типа нейронной сети, называемой автоэнкодер. Изображения в данном способе не используют меток, т.е. дополнительных текстовых или числовых элементов, которые классифицируют изображения по категориям. Извлечение признаков из изображения будет происходить только с помощью их визуального содержимого (текстуры, формы, …). Этот тип извлечения изображений называется поиск изображений на основе содержимого (CBIR), в отличие от поиска ключевых слов или изображений на основе текста.

CBIR при использовании глубокого обучения и поиска изображений можно назвать формой обучения без учителя:

При обучении автоэнкодера не используется никаких меток для классов
Автоэнкодер используется для преобразования изображения в векторное представление (т. е. нашего “вектора признаков” для данного изображения)
Затем, во время поиска похожих изображений, вычисляется расстояние между векторами преобразованных изображений — чем меньше расстояние, тем более релевантными/визуально похожими являются два изображения.

⏩ Читать дальше
⏩ Ссылки на датасет
⏩ О сверточных автоэнкодерах
⏩ Про построение сверточных нейронных сетей

@machinelearning_ru

💨 Нейронная сеть для распознавания образов с Tensorflow

В посте хочу поделиться опытом о том, как можно начать использовать TensorFlow в целях распознавания образов. Целью работы является распознавание боковых зубов (маляров) на рентгеновских снимках с использованием нейронной сети. Для реализации цели необходимо выполнить несколько следующих этапов. Данные этапы составляют процесс настройки, обучения, тестирования нейронной сети с использованием TensorFlow.

Этап 1. Установка программного обеспечения

На данном этапе необходимо установить Anaconda. Если вы собираетесь обучать нейронную сеть на GPU, то обязательно нужно установить cuDNN и CUDA – программно-аппаратный инструментарий увеличивающий вычислительные мощности.

➡️ Читать дальше

@machinelearning_ru

🖥 Как работает обратное распространение в нейронных сетях

Нейронные сети обучаются путем итеративной настройки параметров (весов и смещений) на этапе обучения. В начале параметры инициализируются случайно сгенерированными весами, а смещения устанавливаются равными нулю. Затем данные пропускаются через сеть в прямом направлении, чтобы получить выходные данные модели. И наконец, выполняется обратное распространение. Процесс обучения модели обычно включает в себя несколько итераций прямого прохода, обратного распространения и обновления параметров.

В этой статье мы поговорим о том, как обратное распространение обновляет параметры после прямого прохода, и рассмотрим простой, но подробный пример обратного распространения. Прежде чем приступить, определимся с данными и архитектурой, которые будем использовать.

➡️ Читать дальше

@machinelearning_ru

🖥 Numpy для машинного обучения 1 часть.Как рассчитать мощность матрицы.

Numpy linalg.matrix_rank() используется для вычисления степени n квадратной матрицы. Что это означает, что если у нас есть квадратная матрица M и целое число n, и эта функция используется для вычисления Mn?

➡️ Читать

@machinelearning_ru

💨 Как ускорить генерации в Stable Diffusion

https://youtu.be/Oi_KryJ2PPw

@machinelearning_ru

❇️ DeepFaceLab

DeepFaceLab – Набор python-проектов для создания DeepFake

В наборе вы найдете софт для создания множества эффектов - начиная от изменения возраста персонажа на видео до замены головы

🖥 Github

@machinelearning_ru

⭐️ Как распознать образы с помощью TensorFlow?

Целью работы является распознавание боковых зубов (маляров) на рентгеновских снимках с использованием нейронной сети. Для реализации цели необходимо выполнить несколько следующих этапов. Данные этапы составляют процесс настройки, обучения, тестирования нейронной сети с использованием TensorFlow.

➡️ Читать дальше

@machinelearning_ru

⭐️ Создание новостного выпуска с помощью нейросети

Нейросеть , с помощью которой можно создавать новости в видеоформате прямо в браузере. Нужно только написать текст, выбрать диктора и фон.

✅ Проект

@machinelearning_ru

⭐️ Lbl2Vec

Lbl2Vec — это алгоритм для неконтролируемой классификации документов и неконтролируемого поиска документов.

pip install lbl2vec

🖥 Github
📜 Paper
📌 Dataset

@machinelearning_ru

ℹ️ OpenVINO™ Training Extensions

OpenVINO™ Training Extensions (OTE) — это среда интерфейса командной строки (CLI), предназначенная для обучения модели глубокого обучения с минимальным кодом. OTE позволяет разработчикам обучать/выводить/оптимизировать модели с разнообразным сочетанием архитектур моделей и методов обучения с помощью встроеннного набора инструментов.

🖥 Github: https://github.com/openvinotoolkit/training_extensions

🗒 Paper: https://arxiv.org/pdf/2211.17170v1.pdf

📍 Roadmap: https://github.com/openvinotoolkit/training_extensions#roadmap

@machinelearning_ru

⭐️ AI Модель от Google Health впервые будет внедрена в клиническую практику

Google Health продала лицензию на свои AI-модели для обнаружения рака молочной железы и анализа маммографий медицинской компании iCAD, которая интегрирует их в свои инструменты визуализации. Это первый случай, когда модель от Google Health будет внедрена в клиническую практику. Технология Google Health позволяет выявлять рак молочной железы на ранних стадиях, когда успешное лечение наиболее вероятно.

Технология iCAD используется в клиниках и МРТ-центрах в США и во всем мире. Акции iCAD подскочили на 25% сразу после объявления о заключении сделки с Google Health, принадлежащей Alphabet Inc.

В соответствии с подписанным соглашением Google передала iCAD лицензию на использование технологии искусственного интеллекта для лечения рака молочной железы и оценки рисков развития заболевания. iCAD собирается применять лицензированную технологию для дальнейшего улучшения своих алгоритмов анализа раковых опухолей на 3D и 2D снимках и коммерциализировать разработанные продукты. ICAD будет использовать инфраструктуру Google Cloud.

❤️ Читать

@machinelearning_ru

✔️ DAMO-YOLO - Python модуль для быстрого и точного обнаружения объектов. В репозитории также доступны для скачивания несколько мощных, предобученных моделей.

🖥 GitHub

@machinelearning_ru

💨 Переосмысление анализа Survival: Как заставить вашу модель выдавать кривые Survival

В компаниях, управляемых данными, приложения для определения времени до события играют решающую роль в принятии решений (и даже больше, чем мы можем себе представить). Под анализом времени до события мы имеем в виду все методы, используемые для измерения времени, которое проходит до тех пор, пока не произойдут интересующие нас события. Это простое определение может сразу же обозначить все преимущества разработки приложений для работы с событиями времени в бизнес-контексте (и не только).

Происхождение времени до события связано с областью медицины, чтобы ответить на такие вопросы, как: «Как долго живут анализируемые лица?». По этой причине термины «выживаемость» и «время до события» обычно используются как синонимы. В настоящее время, с широкомасштабным внедрением машинного обучения, методологии выживания обычно находят применение и в компаниях, не относящихся к медицинскому/клиническому сектору. Производитель может быть заинтересован в оценке ожидаемого срока службы некоторых двигателей; поставщику услуг может потребоваться рассчитать ожидаемый срок службы своих клиентов; финансовое учреждение может оценить риск неплатежеспособности заемщика с течением времени.

С практической точки зрения, для моделирования проблемы времени до события существует надлежащий набор методологий. Было выпущено множество сред выживания, от классических линейных статистических методов до более сложных подходов к машинному обучению и передовых решений для глубокого обучения. Все они замечательны, но они должны учитывать допущение, свойственное теории моделирования выживания, что может привести к низкой адаптивности или ограничениям для реальных случаев использования. По этим причинам удобный способ заниматься анализом выживаемости может состоять в том, чтобы рассматривать моделирование времени до события как проблему классификации.

В этом посте мы предлагаем обобщение для проведения анализа выживания с прогностическими возможностями. Мы стремимся смоделировать время, прошедшее между временем начала и интересующим событием, как проблему множественной бинарной классификации. При правильной и простой постобработке мы можем получить надежные и надежные индивидуальные кривые выживания. Мы можем сделать это, используя наш любимый алгоритм классификации, сделав поиск по параметрам, как всегда, и учитывая возможность калибровки наших результатов, чтобы сделать их более надежными.

❤️ Читать

@machinelearning_ru