🌠 Автоматическое МО (AutoML) с использованием PyCaret: основные принципы

Почему AutoML?
Когда-то давно модели машинного обучения с автоматическим обучением были мечтой исследователей данных. Типичная работа специалиста по изучению данных проходит по следующему алгоритму:

- Определение
- Понимание
- Получение
- Анализ
- Подготовка
- Обучение
- Оценка
- Передача

➡️ Читать дальше

@machinelearning_ru

💨 Ускорение алгоритмов машинного обучения.

С ростом потребности в распараллеливании алгоритмов машинного обучения из-за экспоненциального увеличения размеров данных и даже размеров моделей было бы очень полезно, если бы у нас был инструмент, который мог бы помочь распараллелить нашиPandasобработка DataFrame, которая может парализовать нашNumpyвычисления, и даже распараллелить наши алгоритмы машинного обучения (возможно, алгоритмы изsklearnа такжеtensorflow) без особых хлопот.

Но такая библиотека существует, и ее имя Dask,Dask библиотека параллельных вычислений, которая не только помогает распараллелить существующие инструменты машинного обучения (Pandasа такжеNumpy) [то есть используя коллекцию высокого уровня], но также помогает распараллеливать задачи / функции низкого уровня и может обрабатывать сложные взаимодействия между этими функциями, создавая график задач. [то есть используя планировщики низкого уровня] Это похоже на многопроцессорные или многопроцессорные модули Python.

➡️ Читать дальше

@machinelearning_ru

🤖 Является ли новый искусственный интеллект Google таким же умным, как человек?

➡️ Смотреть
➡️ Статья

@machinelearning_ru

machinelearning_interview - канал подготовит к собеседованию по машинному обучению, статисике ,алгоритмам и науке о данных.

golang_interview - Вопросы с настоящих Golang собеседований, помогут Вам получить успешно пройти интервью.

python_job_interview - здесь собраны все возможные вопросы и ответы с собеседований по Python.

data_analysis_ml - аналитика данных.

🤖🎨 ИИ для рисования: раскрываем секреты нейронного переноса стиля

Раскладываем по полочками, как «думает» нейронная сеть VGG-19, когда ей прилетает задача скопировать стиль художника из вида Homo sapiens.

➡️ Читать дальше
⚙️ Ноутбук на Kaggle
⚙️ Код
🧠 Нейронный алгоритм переноса стиля

@machinelearning_ru

Полный список вопросов с собеседований по Python для дата-сайентистов и инженеров

Бывает, что компания ищет дата-сайентиста, а на самом деле ей нужен Python-разработчик. Поэтому при подготовке к собеседованию есть смысл освежить в памяти информацию по Python, а не только штудировать алгоритмы.

➡️ Читать дальше

@machinelearning_ru

🌉 Ансамбли методов в алгоритмах поиска выбросов

Большое число практических задач, например, поиск мошеннических операций, выявление брака или аномалий, обнаружение вирусных атак на основе нетипичной активности сводятся к задачам определения выбросов в данных. Для определения выбросов обычно используют стандартные методы, например, метод ближайших соседей (KNN) или метод локального уровня выбросов (LOF). Применение ансамблей позволяет улучшить точность работы стандартных методов. В посте рассмотрю, как это сделать.

Идея ансамблей методов проста. Буду делать подвыборки из обучающей выборки и обучать на них базовые алгоритмы. Получаю набор из независимых детекторов (этот набор называется ансамбль), которые выдают оценки для каждой точки данных. Комбинируя оценки выбросов от базовых алгоритмов, обученных на различных подвыборках, получаю более точное предсказание выбросов.

➡️ Читать дальше

@machinelearning_ru

Лассо- и ридж-регрессии: интуитивное сравнение

Чтобы понять, зачем нужны эти методы, обсудим дилемму смещения-дисперсии.

Дилемма смещения-дисперсии. Источник
В контролируемой среде у модели может быть два основных источника ошибок.

Смещение — ошибка, связанная с неверными предположениями в алгоритме обучения. Высокое смещение приводит к тому, что алгоритм упускает значимые взаимосвязи между признаками и целью (также называется “недостаточно близкой подгонкой”).
Дисперсия — ошибка, связанная с чувствительностью к малейшим флуктуациям в обучающих данных. Высокая дисперсия заставляет алгоритм моделировать случайный шум обучающих данных (также называется “чрезмерно близкой подгонкой”).

➡️ Читать дальше

@machinelearning_ru

💻 Как легко развертывать модели МО в 2022 году с помощью Streamlit, BentoML и DagsHub

Вы создали модель машинного обучения. Что делать дальше? Хранить в ноутбуке Jupyter, как ценный актив, чтобы ее никто не видел? Вместо этого лучше самым простым и доступным образом дать возможность другим пользователям экспериментировать с вашей работой и делиться ей. Другими словами, модель необходимо развернуть.

Как это сделать? Просто распространить модель в виде файла? Такой вариант не подойдет.

А может в виде контейнера Docker? Это более удобный способ: пользователь получит необходимые данные для локального запуска модели. Однако делать это все равно придется в среде программирования, что не очень удобно.

А как насчет API? Довольно тяжело объяснить его принцип работы человеку, далекому от программирования.

А если создать веб-приложение? Это самый лучший вариант. Но разве для этого не нужны специальные знания?

К счастью, ничего из вышеперечисленного делать не придется. В этой статье представлен метод развертывания, который позволит представить модель в виде API, контейнера Docker и веб-приложения — и все это за несколько минут с помощью пары коротких скриптов Python.

➡️ Читать дальше
📖 Dataset
⚙ Github

@machinelearning_ru

OpenAI’s DALL-E 2 - AI-Based Art Is Here! 🧑‍🎨

https://www.youtube.com/watch?v=FCf8OA4GPvI

Разбор статьи: https://openai.com/blog/dall-e-2-extending-creativity/

@machinelearning_ru

Probabilistic Machine Learning: An Introduction by Kevin P. Murphy

Черновик второго издания книги в GitHub.

https://probml.github.io/pml-book/

@machinelearning_ru

🌊 Моделирование жидкости. Симуляция 1 000 000 000 частиц!

🎞 Видео
🗒 Статья

@machinelearning_ru

⚙️ Как упростить работу с временными рядами: 14 библиотек машинного обучения

Ритейл, банкинг, телеком и многие другие бизнесы используют машинное обучение (machine learning, ML) для работы с данными. ML позволяет анализировать большие объемы информации, выделять закономерности, прогнозировать будущие состояния, проводить эксперименты и в целом решать сложные задачи, особенно при достаточности исходных данных. Как правило, для ML-специалистов (дата-сайентистов) всегда есть интересные и нетривиальные проекты.

Зачем писать 20 строк кода для преобразования временных рядов к классическому табличному виду, если с помощью библиотек можно работать непосредственно с исходными временными рядами и уложиться в две строки для обучения модели? Расскажу, какие библиотеки лучше подходят для решения основных задач на временных рядах.

Временной ряд — упорядоченная последовательность точек или признаков, измеренные через определенные временные интервалы, и которая представляет характеристику процесса.

➡️ Читать дальше

@machinelearning_ru

Stable Diffusion: DALL-E 2 For Free, For Everyone

🎞Разбор статьи
⚙️ Github
🗒 Статья

@machinelearning_ru

⚡️ Инструкция по Работе с Библиотекой PyTorch-Ignite

PyTorch — среда глубокого обучения, которая была принята такими технологическими гигантами, как Tesla, OpenAI и Microsoft для ключевых исследовательских и производственных рабочих нагрузок.

PyTorch-Ignite — это библиотека высокого уровня, помогающая гибко и прозрачно обучать и оценивать нейронные сети в PyTorch. Основная проблема с реализацией глубокого обучения заключается в том, что коды могут быстро расти, становиться повторяющимися и слишком длинными. Рассматривать данную библиотеку буду, решая задачу оценки вероятности отнесения изображения к определенному классу на примере датасета CIFAR10. Чуть позже расскажу о нем подробнее. А сейчас начнем подготовку с установки и импорта необходимых библиотек.

Установка и импорт необходимых библиотек.

Советую работать в сервисе GoogleColab

pip install pytorch-ignite


🗒 Читать дальше
⚙️ Github

@machinelearning_ru

🏮 Google представил нейросеть для детекции туберкулеза на радиограммах

Каждый год туберкулез убивает 1,4 миллиона человек по всему миру. Google присоединился к борьбе с болезнью, разработав нейронную сеть для автоматизации обнаружения и ускорения лечения туберкулеза. Применять ее планируется в местах, где не хватает квалифицированных врачей.

Глубоко обученная модель (DLS) от Google AI показала лучшие результаты, чем рентгенологи, при обнаружении туберкулеза на рентгенограммах грудной клетки. Симуляции показывают, что применение DLS для выявления туберкулеза по рентгенограммам грудной клетки снижает стоимость процедуры на 40–80% в расчете на одного пациента.

Google — не первая компания, разработавшая DLS для выявления туберкулеза, и ее инструмент вряд ли в ближайшее время снизит уровень смертности. Но сторонние эксперты говорят, что первые результаты очень многообещающие, учитывая постоянство результатов при тестировании на различных группах пациентов. Модель превысила бенчмарки, установленные ВОЗ: чувствительность — 90%, специфичность — 70%

➡️ Читать дальше
🗒 Статья

@machinelearning_ru

💬 Text-Free Learning of a Natural Language Interface for Pretrained Face Generators

Fast text2StyleGAN, интерфейс на естественном языке, который адаптирует предварительно обученные GAN для синтеза человеческого лица из текста.

pip install git+https://github.com/openai/CLIP.git

Github: https://github.com/duxiaodan/fast_text2stylegan

Статья: https://arxiv.org/abs/2209.03177v1

Датасет: https://paperswithcode.com/dataset/ffhq

@machinelearning_ru

🔥 Полезнейшая Подборка каналов

🦾 Machine learning
@ai_machinelearning_big_data – все о машинном обучении
@data_analysis_ml – все о анализе данных.
@machinelearning_ru – машинное обучении на русском от новичка до профессионала.
@machinelearning_interview – подготовка к собеседования Data Science
@datascienceiot – бесплатные книги Machine learning
@ArtificialIntelligencedl – канал о искусственном интеллекте
@neural – все о нейронных сетях
@machinee_learning – чат о машинном обучении
@datascienceml_jobs - работа ds, ml

☕️ Java
@javatg - Java для програмистов
@javachats Java чат
@java_library - книги Java
@android_its Android разработка
@java_quizes - тесты Java
@Java_workit - работа Java
@progersit - шпаргалки ит

💡 Javascript / front
@javascriptv - javascript изучение
@about_javascript - javascript продвинутый
@JavaScript_testit -тесты JS
@htmlcssjavas - web
@hashdev - web разработка

🦫 Golang
@golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков.
@Golang_google - go для разработчиков
@golangtests - тесты и задачи GO
@golangl - чат Golang
@GolangJobsit - вакансии и работа GO
@golang_jobsgo - чат вакансий
@golang_books - книги Golang
@golang_speak - обсуждение задач Go
🐍 Python
@pythonl – python для датасаентиста
@pro_python_code – python на русском
@python_job_interview – подготовка к Python собеседованию
@python_testit тесты на python
@pythonlbooks - книги Python
@Django_pythonl django
@python_djangojobs - работа Python

🐧 Linux
@inux_kal - чат kali linux
@inuxkalii - linux kali
@linux_read - книги linux

👷‍♂️ IT работа

@hr_itwork - ит-ваканнсии

🔋 SQL
@sqlhub - базы данных
@chat_sql - базы данных чат

🤡It memes
@memes_prog - ит-мемы

⚙️ Rust
@rust_code - язык программирования rust
@rust_chats - чат rust

#️⃣ c# c++
@csharp_ci - c# c++кодинг
@csharp_cplus чат

🖼 ImageAI

Библиотека, которая датет разработчикам возможность создавать приложения и системы с автономными возможностями компьютерного зрения.

Созданный с учетом простоты, ImageAI поддерживает список современных алгоритмов машинного обучения для прогнозирования изображений, прогнозирования пользовательских изображений, обнаружения объектов, обнаружения видео, отслеживания видеообъектов и обучения прогнозированию изображений.

ImageAI также поддерживает обнаружение объектов, обнаружение видео и отслеживание объектов с использованием RetinaNet, YOLOv3 и TinyYOLOv3, обученных на наборе данных COCO. Наконец, ImageAI позволяет обучать пользовательские модели обнаружению и распознаванию новых объектов.

В итоге, ImageAI обеспечит поддержку более широких и специализированных аспектов компьютерного зрения, включая, помимо прочего, распознавание изображений в особых средах и специальных областях.

⚙️ Github
🗒 Инструкция
➡️ Docs

@machinelearning_ru

Google’s New AI: Fly INTO Photos!


🎞Разбор статьи
🗒 Github

@machinelearning_ru

ML при маржинальной торговле

Ошибочное определение уровня риска клиента может привести к низкой доходности банка и повышенному риску для банка, в т.ч. репутационному, так как недостаточная квалификация клиента может привести к неграмотным инвестициям, что снизит его основные экономические параметры: финансовый результат, оборот средств, а, следовательно, снизит и комиссионный доход банка.

Основополагающим документом для присвоения уровня риска клиенту при маржинальной торговле является Указание Банка России от 26 ноября 2020 г. № 5636-У «О требованиях к осуществлению брокерской деятельности при совершении брокером отдельных сделок за счет клиента» Пункт 30.

Как показывает практика, один только объем денежных средств не является достаточным основанием для перевода клиента в повышенный уровень риска (далее ПУР). Денежные средства могут размещаться на брокерском счёте без дальнейшего совершения операций. В этом случае банк повышенных рисков не несет. Для оптимизации процесса оценки перевода клиента в ПУР предлагается использовать построенную модель классификации на основе алгоритма K ближайших соседей. В качестве предикторов используются следующие экономические критерии:

Оборот денежных средств по брокерскому счету.
Стратегия инвестирования.
Диверсификация портфеля.
Сумма сделки.

➡️ Читать дальше

@machinelearning_ru