➡️ Ускорение вычислений при помощи фреймворка машинного обучения JAX

В процессе написания научной работы, я столкнулся с такой проблемой, как относительно невысокая скорость выполнения вычислений. Из-за этого приходится тратить больше времени или жертвовать точностью вычислений, но что делать, если не хочется идти на компромисс и чем-то жертвовать? Воспользоваться новым фреймворком JAX от google. В связке с различными ускорителями, например, GPU (Graphics Processing Unit, или графический процессор) или TPU (Tensor Processing Unit, или тензорный процессор), он покажет достойный результат.

- Поговорим об этом по подробнее. Google JAX – фреймворк машинного обучения, разработанный командой исследователей компании Google, для высокопроизводительных вычислений и исследований. В его основе лежит два компонента:

- библиотека Autograd от PyTorch
компилятор XLA (Accelerated Linear Algebra, или ускоренная линейная алгебра) разработанный компанией TensorFlow

➡️ Читать дальше

@machinelearning_ru

⏭ EasyNMT

EasyNMT – мини-библиотека для машинного перевода, которая использует несколько предобученных моделей

pip install -U easynmt

Поддерживается более 150 языков, включая русский, также есть автодетекция языка

🖥 Github

@machinelearning_ru

🖥 Алгоритмы Data Science и их практическая реализация на Python. 2022

Рассмотрен полный каскад разработки моделей искусственного интеллекта. Проанализирована область Data Science, из которой выделены все необходимые для прикладной сферы алгоритмы машинного обучения, расположенные по уровню возрастания сложности работы с ними.
Для студентов, изучающих информационные технологии. Может быть полезно как начинающим программистам, так и специалистам высокого уровня.

➡️ Книга

@machinelearning_ru

🖥 Простой способ решить алгоритм Apriori с нуля

Среди методов машинного обучения — ассоциации, корреляции, классификации и кластеризации — акцент в этом руководстве сделан на обучении ассоциативным правилам, по которым выявляется набор элементов и атрибутов, встречающихся вместе в таблице.

➡️ Читать дальше

@machinelearning_ru

⭐️ Тестовое задание для DS в Accenture Moscow

Время на выполнение 3-4 дня
Решение лучше кидайте в комменты в виде jupyter notebook’а.

Задание #1:
Таблица (task2.txt) содержит 11 столбцов чисел. Первые 10 столбцов - входные переменные (x_1 , …. , x_10), 11-й столбец - выходная прогнозируемая переменная y. Каждая строка в файле - это один обучающий пример для построения статистической модели для зависимости y = y(x_1,x_2,..,x_10). Конкретный вид связи между выходной и входными переменными не известен.
Требуется провести разведочный анализ данных, выбрать критерий для точности модели, и указать степень важности (информативности) каждой из 10 входных переменных с точки зрения точности модели. Что еще можно предложить чтобы улучшить получившийся результат?
Файл: tesk2.txt

Задание #2:
Нужно предложить и обосновать подход для группировки идентичных наименований товаров.
Пример входа:
[1] "Кисломолочный напиток Актимель ежевично-черничный 100 г"
[2] "Напиток Данон Актимель черника/ежевика 2,5% 6*0,1л Россия"
[3] "Гель для душа Роскошная мягкость Черная орхидея Palmolive, 250 мл". [4] "Гель Palmolive Naturals д/душа Роскошная мягкость Черная орхидея 250мл Италия"
[5] "Гель для душа Palmolive "Черная орхидея" 250 мл"
[6] "Корм Whiskas говядина/кролик канапе новогодний 85г Россия"
Пример выхода: [1 2] [3 4 5] 6 (см. вложенный файл).
Файл: test_task_NLP.json.
final_top.csv

➡️ Решение
➡️ Решение 2

Другие решения: Решение от одного из DS Accenture (для задания 1):
https://github.com/pdudukin/Regression-Guide/blob/master/Regression%20Guide.ipynbRegression%20Guide.ipynb

@machinelearning_interview

💨Тематическое моделирование с использованием LDA

Что такое скрытое распределение Дирихле (Latent Dirichlet Allocation)?

Скрытое распределение Дирихле (LDA) - популярная модель, когда речь идет об анализе больших объемов текста. Это генеративная вероятностная модель, которая позволяет пользователям обнаруживать скрытые («латентные») темы из коллекции документов. LDA моделирует каждый документ как созданный в процессе многократной выборки слов и тем из статистических распределений. Применяя умные алгоритмы, LDA может восстановить наиболее вероятные распределения, которые использовались в этом генеративном процессе (Blei, 2003). Эти дистрибутивы рассказывают нам кое-что о том, какие темы существуют и как они распределены между каждым документом.

➡️ Читать дальше

@machinelearning_ru

🖥 THINGSvision

Thingsvision — это пакет Python, который позволяет легко извлекать изображений из множества современных нейронных сетей для задач компьютерного зрения.

$ pip install --upgrade thingsvision


🖥 Github
🖥 Colab

@machinelearning_ru

Настройка нейронной сети с помощью keras python

Построение нейронной сети является актуальной темой в самых разных задачах — от классификации продуктов на категории до распознавания лиц на видео. Однако для получения качественного результата необходимо грамотно настроить ее параметры.

Сегодня я рассмотрю процесс построения нейронной сети и регулирования ее гиперпараметров с помощью keras python.

Анализ будет проведен на примере открытого датасета из kaggle “Otto group product classification challenge”. Количество строк в данном датасете составляет примерно 62 тысячи. Каждая строка соответствует одному продукту. Необходимо классифицировать продукты компании по 9-ти категориям, основываясь на 93 характеристиках. Каждая категория – это тип продукта, например, мода, электроника. Классы несбалансированы, что можно увидеть на графике.

➡️ Читать дальше
➡️ Датасет

@machinelearning_ru

🪐 GALACTICA — это модель научного языка общего назначения. Он обучен на большом корпусе научных текстов и данных. Он может выполнять научные задачи НЛП на высоком уровне, а также такие задачи, как предсказание цитирования, математические рассуждения, предсказание молекулярных свойств и аннотация белков.

➡️ Github

@machinelearning_ru

⭐️ Создание и исследование лога процесса выполнения программы с помощью process mining

Чтобы не использовать код внутреннего приложения, для примера возьму одну из известных задач по анализу данных кадастровых участков на сайте Росреестра. У меня был список номеров по которым необходимо было найти адрес, проверить наличие и посчитать занимаемую площадь зданий на участке. Используя библиотеки selenium и opencv я написал программу для сбора информации и расчёта необходимых параметров участка. Код этого приложения я и буду исследовать при помощи нестандартного метода используя лог запуска приложения и построенный на его основе граф.

Для проведения исследования процесса выполнения программы необходимо получить лог файл запуска блоков кода. Можно добавить блок с логгером в каждый конструктор каждого создаваемого класса, но этот метод не подходит, так как нежелательно менять исходный код исследуемого приложения. Для анализа необходимо записать время запуска и время окончания запуска функции конструктора — для этого можно воспользоваться декоратором. Декоратор – это специальная функция, которая позволяет расширить функциональность кода без его изменения.

➡️ Читать дальше

@machinelearning_ru

⭐️ Аннотирование текста для машинного обучения

Несмотря на масштабный переход к цифровым технологиям, часть наиболее сложных данных по-прежнему хранится в виде текста в статьях или официальных документах. В условиях изобилия публично доступной информации возникают трудности с управлением неструктурированными сырыми данными и их преобразования в понятный для машин вид. С текстом это сделать сложнее, чем с изображениями и видео. Возьмём для примера простое предложение: «They nailed it!». Люди бы поняли его как выражение одобрения, подбадривания или признания заслуг, однако традиционная модель обработки естественного языка (Natural Language Processing, NLP), скорее всего, воспримет только поверхностное понимание слова, упустив смысл. А именно, она бы ассоциировала слово «nail» с забиванием гвоздей молотком. Точные аннотации текста помогают моделям лучше понимать передаваемые им данные, что приводит к безошибочной интерпретации текста.

➡️ Читать дальше

@machinelearning_ru

Математика искусственного интеллекта


Первый же вопрос наметил задачу кластеризации самого понятия «искусственный интеллект».

1. За счет чего искусственному интеллекту удается вычислять свойства огромного числа объектов?

Стоит сразу определиться, что называть искусственным интеллектом. Это понятие было введено достаточно давно и с тех пор многократно трансформировалось. Наше понимание искусственного интеллекта недостаточно определено, по крайней мере сейчас мало кто способен представить, на что будет похож настоящий искусственный интеллект — мечта многих, способная мыслить как человек или лучше, чем человек, этот супер-ИИ. То что нам известно, принятое по отношению к искусственному интеллекту — зачастую не является таковым. Нет еще ничего созданного, что бы действительно повторяло и превосходило человеческий мозг во всех его проявлениях.

Тем не менее, никто не отменял способность машины к очень быстрым вычислениям, поэтому существенные достижения частично всё же есть. К примеру, распознавание образов и речи. В начале это был яркий пример достижений в области того, что в кавычках называется искусственным интеллектом. Сейчас многие уже не относят эти технологии к как таковому ИИ, настолько классической уже стала эта задача — теперь мы понимаем под ней обычный алгоритм.

И где эта грань — что мы считаем обычным алгоритмом, а что уже искусственным интеллектом? Может быть, он себя еще никоим образом и не проявил. Или наоборот, посмотрим шире и будем относить любые программы, в том числе и нашу первую программу из далекой молодости, “Hello world!”, к работе ИИ. Это широкое поле, где сложно провести какую-то границу, а самое интересное, что ее проведение — подчас тоже задача искусственного интеллекта.

➡️ Читать дальше

@machinelearning_ru

✔️ Регрессия в нейросетях: предсказываем загрязнение воздуха

Задача нейросети будет в предсказании значения концентрации PM10 вредных частиц, содержащихся в воздухе, основываясь на других измерениях приборов.

Кратко о данных. Специальное оборудование производило замеры содержания в воздухе различных газов и взвешенных частиц, температуры воздуха, скорости ветра, атмосферного давления, даты и времени. Измерения производились каждые 20 минут в течении полутора лет. Следовательно, датасет содержит около 34 тыс. строк.

После осмотра файлов выяснилось, что в данных присутствуют сбойные измерения, от этих строк необходимо избавиться.

➡️ Читать дальше

@machinelearning_ru

🖥 Асинхронное программирование в ML-системах

Поскольку концепция MLOps стремится устранить разрывы между разработкой ML-модели и ее имплементацией в эффективный программный код, сегодня поговорим про важную идею программирования, связанную с синхронностью и асинхронностью вызовов. Что такое асинхронное программирования, зачем это нужно в Machine Learning и какие Python-библиотеки поддерживают это.

➡️ Читать дальше

@machinelearning_ru

🌐 DeepPrivacy2 - A Toolbox for Realistic Image Anonymization

DeepPrivacy2 обнаруживает и анонимизирует людей с помощью трех нейронных сетей.

🖥 Github: https://github.com/hukkelas/deep_privacy2

⏩ Статья: https://arxiv.org/abs/2211.09454v1

🖥 Dataset: https://paperswithcode.com/dataset/fdh

@machinelearning_ru