🖥 THINGSvision

Thingsvision — это пакет Python, который позволяет легко извлекать изображений из множества современных нейронных сетей для задач компьютерного зрения.

$ pip install --upgrade thingsvision


🖥 Github
🖥 Colab

@machinelearning_ru

Настройка нейронной сети с помощью keras python

Построение нейронной сети является актуальной темой в самых разных задачах — от классификации продуктов на категории до распознавания лиц на видео. Однако для получения качественного результата необходимо грамотно настроить ее параметры.

Сегодня я рассмотрю процесс построения нейронной сети и регулирования ее гиперпараметров с помощью keras python.

Анализ будет проведен на примере открытого датасета из kaggle “Otto group product classification challenge”. Количество строк в данном датасете составляет примерно 62 тысячи. Каждая строка соответствует одному продукту. Необходимо классифицировать продукты компании по 9-ти категориям, основываясь на 93 характеристиках. Каждая категория – это тип продукта, например, мода, электроника. Классы несбалансированы, что можно увидеть на графике.

➡️ Читать дальше
➡️ Датасет

@machinelearning_ru

🪐 GALACTICA — это модель научного языка общего назначения. Он обучен на большом корпусе научных текстов и данных. Он может выполнять научные задачи НЛП на высоком уровне, а также такие задачи, как предсказание цитирования, математические рассуждения, предсказание молекулярных свойств и аннотация белков.

➡️ Github

@machinelearning_ru

⭐️ Создание и исследование лога процесса выполнения программы с помощью process mining

Чтобы не использовать код внутреннего приложения, для примера возьму одну из известных задач по анализу данных кадастровых участков на сайте Росреестра. У меня был список номеров по которым необходимо было найти адрес, проверить наличие и посчитать занимаемую площадь зданий на участке. Используя библиотеки selenium и opencv я написал программу для сбора информации и расчёта необходимых параметров участка. Код этого приложения я и буду исследовать при помощи нестандартного метода используя лог запуска приложения и построенный на его основе граф.

Для проведения исследования процесса выполнения программы необходимо получить лог файл запуска блоков кода. Можно добавить блок с логгером в каждый конструктор каждого создаваемого класса, но этот метод не подходит, так как нежелательно менять исходный код исследуемого приложения. Для анализа необходимо записать время запуска и время окончания запуска функции конструктора — для этого можно воспользоваться декоратором. Декоратор – это специальная функция, которая позволяет расширить функциональность кода без его изменения.

➡️ Читать дальше

@machinelearning_ru

⭐️ Аннотирование текста для машинного обучения

Несмотря на масштабный переход к цифровым технологиям, часть наиболее сложных данных по-прежнему хранится в виде текста в статьях или официальных документах. В условиях изобилия публично доступной информации возникают трудности с управлением неструктурированными сырыми данными и их преобразования в понятный для машин вид. С текстом это сделать сложнее, чем с изображениями и видео. Возьмём для примера простое предложение: «They nailed it!». Люди бы поняли его как выражение одобрения, подбадривания или признания заслуг, однако традиционная модель обработки естественного языка (Natural Language Processing, NLP), скорее всего, воспримет только поверхностное понимание слова, упустив смысл. А именно, она бы ассоциировала слово «nail» с забиванием гвоздей молотком. Точные аннотации текста помогают моделям лучше понимать передаваемые им данные, что приводит к безошибочной интерпретации текста.

➡️ Читать дальше

@machinelearning_ru

Математика искусственного интеллекта


Первый же вопрос наметил задачу кластеризации самого понятия «искусственный интеллект».

1. За счет чего искусственному интеллекту удается вычислять свойства огромного числа объектов?

Стоит сразу определиться, что называть искусственным интеллектом. Это понятие было введено достаточно давно и с тех пор многократно трансформировалось. Наше понимание искусственного интеллекта недостаточно определено, по крайней мере сейчас мало кто способен представить, на что будет похож настоящий искусственный интеллект — мечта многих, способная мыслить как человек или лучше, чем человек, этот супер-ИИ. То что нам известно, принятое по отношению к искусственному интеллекту — зачастую не является таковым. Нет еще ничего созданного, что бы действительно повторяло и превосходило человеческий мозг во всех его проявлениях.

Тем не менее, никто не отменял способность машины к очень быстрым вычислениям, поэтому существенные достижения частично всё же есть. К примеру, распознавание образов и речи. В начале это был яркий пример достижений в области того, что в кавычках называется искусственным интеллектом. Сейчас многие уже не относят эти технологии к как таковому ИИ, настолько классической уже стала эта задача — теперь мы понимаем под ней обычный алгоритм.

И где эта грань — что мы считаем обычным алгоритмом, а что уже искусственным интеллектом? Может быть, он себя еще никоим образом и не проявил. Или наоборот, посмотрим шире и будем относить любые программы, в том числе и нашу первую программу из далекой молодости, “Hello world!”, к работе ИИ. Это широкое поле, где сложно провести какую-то границу, а самое интересное, что ее проведение — подчас тоже задача искусственного интеллекта.

➡️ Читать дальше

@machinelearning_ru

✔️ Регрессия в нейросетях: предсказываем загрязнение воздуха

Задача нейросети будет в предсказании значения концентрации PM10 вредных частиц, содержащихся в воздухе, основываясь на других измерениях приборов.

Кратко о данных. Специальное оборудование производило замеры содержания в воздухе различных газов и взвешенных частиц, температуры воздуха, скорости ветра, атмосферного давления, даты и времени. Измерения производились каждые 20 минут в течении полутора лет. Следовательно, датасет содержит около 34 тыс. строк.

После осмотра файлов выяснилось, что в данных присутствуют сбойные измерения, от этих строк необходимо избавиться.

➡️ Читать дальше

@machinelearning_ru

🖥 Асинхронное программирование в ML-системах

Поскольку концепция MLOps стремится устранить разрывы между разработкой ML-модели и ее имплементацией в эффективный программный код, сегодня поговорим про важную идею программирования, связанную с синхронностью и асинхронностью вызовов. Что такое асинхронное программирования, зачем это нужно в Machine Learning и какие Python-библиотеки поддерживают это.

➡️ Читать дальше

@machinelearning_ru

🌐 DeepPrivacy2 - A Toolbox for Realistic Image Anonymization

DeepPrivacy2 обнаруживает и анонимизирует людей с помощью трех нейронных сетей.

🖥 Github: https://github.com/hukkelas/deep_privacy2

⏩ Статья: https://arxiv.org/abs/2211.09454v1

🖥 Dataset: https://paperswithcode.com/dataset/fdh

@machinelearning_ru

💨 Построение автоэнкодеров для поиска и сравнения похожих изображений

Модель поиска похожих изображений

Поиск похожих изображений — очень активная и быстро развивающаяся область исследований в последнее десятилетие. Исследования в данной области позволили разработать модели, которые могут помочь в работе в различных областях, например:

— чтобы найти похожие изображения;

— поиск фотографий-плагиатов;

— создание возможностей для обратных ссылок;

— знакомство с людьми, местами и продуктами;

— поиск товаров по фотографии;

— обнаружение поддельных аккаунтов, поиск преступников и т.д.

Наиболее известными системами являются Google Image Search и Pinterest Visual Pin Search. В посте будет проведено знакомство с созданием простой системы поиска похожих изображений с использованием специального типа нейронной сети, называемой автоэнкодер. Изображения в данном способе не используют меток, т.е. дополнительных текстовых или числовых элементов, которые классифицируют изображения по категориям. Извлечение признаков из изображения будет происходить только с помощью их визуального содержимого (текстуры, формы, …). Этот тип извлечения изображений называется поиск изображений на основе содержимого (CBIR), в отличие от поиска ключевых слов или изображений на основе текста.

CBIR при использовании глубокого обучения и поиска изображений можно назвать формой обучения без учителя:

При обучении автоэнкодера не используется никаких меток для классов
Автоэнкодер используется для преобразования изображения в векторное представление (т. е. нашего “вектора признаков” для данного изображения)
Затем, во время поиска похожих изображений, вычисляется расстояние между векторами преобразованных изображений — чем меньше расстояние, тем более релевантными/визуально похожими являются два изображения.

⏩ Читать дальше
⏩ Ссылки на датасет
⏩ О сверточных автоэнкодерах
⏩ Про построение сверточных нейронных сетей

@machinelearning_ru

💨 Нейронная сеть для распознавания образов с Tensorflow

В посте хочу поделиться опытом о том, как можно начать использовать TensorFlow в целях распознавания образов. Целью работы является распознавание боковых зубов (маляров) на рентгеновских снимках с использованием нейронной сети. Для реализации цели необходимо выполнить несколько следующих этапов. Данные этапы составляют процесс настройки, обучения, тестирования нейронной сети с использованием TensorFlow.

Этап 1. Установка программного обеспечения

На данном этапе необходимо установить Anaconda. Если вы собираетесь обучать нейронную сеть на GPU, то обязательно нужно установить cuDNN и CUDA – программно-аппаратный инструментарий увеличивающий вычислительные мощности.

➡️ Читать дальше

@machinelearning_ru

🖥 Как работает обратное распространение в нейронных сетях

Нейронные сети обучаются путем итеративной настройки параметров (весов и смещений) на этапе обучения. В начале параметры инициализируются случайно сгенерированными весами, а смещения устанавливаются равными нулю. Затем данные пропускаются через сеть в прямом направлении, чтобы получить выходные данные модели. И наконец, выполняется обратное распространение. Процесс обучения модели обычно включает в себя несколько итераций прямого прохода, обратного распространения и обновления параметров.

В этой статье мы поговорим о том, как обратное распространение обновляет параметры после прямого прохода, и рассмотрим простой, но подробный пример обратного распространения. Прежде чем приступить, определимся с данными и архитектурой, которые будем использовать.

➡️ Читать дальше

@machinelearning_ru

🖥 Numpy для машинного обучения 1 часть.Как рассчитать мощность матрицы.

Numpy linalg.matrix_rank() используется для вычисления степени n квадратной матрицы. Что это означает, что если у нас есть квадратная матрица M и целое число n, и эта функция используется для вычисления Mn?

➡️ Читать

@machinelearning_ru

💨 Как ускорить генерации в Stable Diffusion

https://youtu.be/Oi_KryJ2PPw

@machinelearning_ru

❇️ DeepFaceLab

DeepFaceLab – Набор python-проектов для создания DeepFake

В наборе вы найдете софт для создания множества эффектов - начиная от изменения возраста персонажа на видео до замены головы

🖥 Github

@machinelearning_ru

⭐️ Как распознать образы с помощью TensorFlow?

Целью работы является распознавание боковых зубов (маляров) на рентгеновских снимках с использованием нейронной сети. Для реализации цели необходимо выполнить несколько следующих этапов. Данные этапы составляют процесс настройки, обучения, тестирования нейронной сети с использованием TensorFlow.

➡️ Читать дальше

@machinelearning_ru

⭐️ Создание новостного выпуска с помощью нейросети

Нейросеть , с помощью которой можно создавать новости в видеоформате прямо в браузере. Нужно только написать текст, выбрать диктора и фон.

✅ Проект

@machinelearning_ru