Машинное обучение RU
17.7K subscribers
1.57K photos
207 videos
11 files
2.04K links
Все о машинном обучении

админ - @workakkk

@data_analysis_ml - анализ даннных

@ai_machinelearning_big_data - Machine learning

@itchannels_telegram -лучшие ит-каналы

@pythonl - Python

@pythonlbooks- python 📚

@datascienceiot - 📚

РКН: clck.ru/3FmrUw
Download Telegram
CMGAN: Conformer-Based Metric-GAN for Monaural Speech Enhancement

мы предлагаем основанную на конформере метрическую генеративную состязательную сеть (CMGAN) для SE в частотно-временной (TF) области.

⚙️ Github
🗒 Статья
💻 Demo

@machinelearning_ru
👍82🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
⚜️ Руководство по созданию интерактивных визуализаций на Python

Визуализация данных — один из важнейших этапов проекта в области науки о данных и аналитики данных. Она помогает как изучать и понимать данные, так и эффективно обмениваться результатами.

Самыми распространенными библиотеками для создания визуализаций на Python являются Matplotlib и Seaborn, но существует и множество других инструментов.

В этом руководстве мы изучим инструменты HoloViz, а точнее Panel и hvPlot  — библиотеки с открытым исходным кодом, которые используются для создания интерактивных диаграмм и контрольных панелей. Также узнаем, как легко развернуть и поделиться контрольной панелью с помощью Jupyter Notebook.

В этом проекте мы будем использовать данные о различных покемонах, доступные на Kaggle и Wikipedia, а также данные о продажах игр про покемонов.

Краткий обзор
Мы выполним следующие задачи.

Создадим простой интерактивный график, используя hvPlot и Pandas.
Построим более сложные визуализации, используя Panel для создания виджетов, которые будут фильтровать данные, и hvPlot для отображения этих данных.
Создадим контрольную панель, показывающую табличные данные, информацию о проекте, а также различные интерактивные диаграммы.
Узнаем, как развертывать контрольную панель на Heroku, чтобы проектом можно было делиться.

➡️ Читать дальше
⚙️ Код

@machinelearning_ru
👍8🔥3🥰2
This media is not supported in your browser
VIEW IN TELEGRAM
👱‍♂️ Редактор 3D лиц в онлайн

C данным алгоритмом можно легко и просто сгенерить на основе GAN лицо и отредактировать его в 3D.
Исследователи из Tencent AI Lab, ByteDance и Университета Цинхуа представили IDE-3D, новую генеративную модель для рисования лица в режиме свободного просмотра, редактирования и управления стилем. Система, работающая на базе GAN, обеспечивает локальное управление формой и текстурой лица, а также интерактивное редактирование в режиме онлайн.
Тем, кто следит за нашими постами, очевидно, что совместили сразу несколько GAN нейросетей, добавив визуальный редактор.

Установка

git clone --recursive https://github.com/MrTornado24/IDE-3D.git
cd IDE-3D
conda env create -f environment.yml


➡️ Проект
⚙️ Код
🗒 Статья

@machinelearning_ru
👍94🔥2
📌 MGAD-multimodal-guided-artwork-diffusion

Алгоритм создания цифровых иллюстраций на основе диффузии, который использует мультимодальные подсказки в качестве руководства для управления моделью.

git clone https://github.com/openai/CLIP
pip install -e ./CLIP
pip install -e ./guided-diffusion
pip install lpips

⚙️ Код
🗒 Статья

@machinelearning_ru
👍5🔥21
📎 TVLT: Textless Vision-Language Transformer

conda create -n TVLT python=3.8 # You can also use other environment.


⚙️ Код
🗒 Статья
Colab
➡️ Dataset

@machinelearning_ru
👍51🔥1
✔️ 6 алгоритмов машинного обучения, которые должен знать каждый исследователь данных

Алгоритмы машинного обучения делятся на контролируемые и неконтролируемые.

Алгоритмы контролируемого обучения моделируют отношения между помеченными входными и выходными данными (также известными как целевые данные). Впоследствии такая модель используется для предсказания метки новых наблюдений с помощью новых помеченных входных данных. Если целевая переменная дискретная, алгоритм решает задачи классификации, а если целевая переменная непрерывная  —  алгоритм используется для задач регрессии.

В отличие от контролируемого, неконтролируемое обучение не опирается на помеченные входные/выходные данные, а обрабатывает непомеченные данные.

➡️ Читать дальше

@machinelearning_ru
👍81🔥1
🎓 Stanford CS25 бесплатный курс по Трансформерам

✔️ Курс: https://web.stanford.edu/class/cs25/

➡️ Лекции: https://www.youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM

@machinelearning_ru
👍71🔥1
🔋 Denoising of 3D MR images using a voxel-wise hybrid residual MLP-CNN model to improve small lesion diagnostic confidence

⚙️ Код
🗒 Статья
➡️ Dataset


@machinelearning_ru
👍5🥰2🔥1
Как масштабировать многопроцессорность Python до кластера с помощью одной строчки кода

Программы начинаются с малого. Будь то исследовательский анализ данных или построение модели машинного обучения, важно как можно быстрее заставить что-то простое работать. Однако со временем требования меняются, и некогда небольшие программы необходимо масштабировать, чтобы обрабатывать больше данных или использовать больше вычислительных ресурсов. К сожалению, изменение программы для масштабирования на несколько ядер или нескольких машин часто требует переписывания ее с нуля, не говоря уже о решении множества сложностей, связанных с параллелизмом и распределенными системами.

Многопроцессорность Python предлагает одно решение этой проблемы, предоставляя набор удобных API-интерфейсов, которые позволяют программам Python использовать преимущества нескольких ядер на одной машине. Однако, хотя это может помочь масштабировать приложение в 10 или даже 50 раз, оно все же ограничено параллелизмом одной машины, и выход за рамки этого потребует переосмысления и переписывания приложения.

В этом сообщении в блоге я расскажу, как можно преодолеть это ограничение, беспрепятственно масштабируясь до многоузлового кластера с помощью ray.util.multiprocessing.Pool API, выпущенного вместе с Ray - без переписывания своей программы!

➡️ Читать дальше

@machinelearning_ru
👍83🔥1
🖥 Библиотека PyOD: сравниваем алгоритмы поиска выбросов

Предлагаем рассмотреть несколько алгоритмов поиска выбросов, проведём первичное сравнение на различных датасетах и определим несколько наиболее оптимальных из них.

Выбросы (или аномалии) в статистике — результаты измерения, выделяющиеся из общей выборки. Обнаружение выбросов важно во многих областях и процессах. В электронике поиск выбросов может помочь при обнаружении неисправных устройств. В банковских операциях поиск выбросов может помочь при обнаружении нетипичных для клиента операций. Давайте рассмотрим, как можно решить задачу поиска выбросов с помощью языка Python и библиотеки PyOD.

Библиотека PyOD включает в себя более 40 алгоритмов обнаружения выбросов, от классических LOF, PCA и kNN до новейших ROD, SUOD и ECOD.

Более подробно ознакомиться со всеми алгоритмами и наборами данных можно по ссылке https://github.com/newtechaudit/pyod.

Давайте сравним скорость и точность нескольких реализованных в этой библиотеке алгоритмов. Возьмём на тестирование 10 алгоритмов из различных категорий.

➡️ Читать дальше

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍4🔥2
Google's AI: Stable Diffusion On Steroids! 💪

Google AI представил новый вариант stable diffusion, с возможностью редактировать изначально сгенерированное изображение через изменения описаний. Теперь, если первое изображение вас устраивает только частично, можно вносить коррективы и не беспокоиться, что какое-нибудь красивое дерево с пейзажа убежит, когда вы редактируете животное на переднем планет.


🎞 Разбор статьи
🗒 Статья
⚙️ Код

@machinelearning_ru
👍6🔥31👏1
🖥 Чем отличаются модели МО в науке и производстве

Сейчас типичная исследовательская статья по МО выглядит примерно так:

ПРЕДЛАГАЕМ НОВУЮ АРХИТЕКТУРУ МОДЕЛИ X. КАК ВЫЯСНИЛОСЬ, X ПРЕВОСХОДИТ SOTA (SELF-ORGANISING TREE ALGORITHM, САМООРГАНИЗУЮЩИЙСЯ ДРЕВОВИДНЫЙ АЛГОРИТМ) НА Y%. ТАКИМ ОБРАЗОМ, X ЛУЧШЕ, ЧЕМ ТЕКУЩИЙ SOTA. НАШ КОД ДОСТУПЕН ОНЛАЙН.

И на этом академические исследования обычно заканчиваются. Однако с точки зрения производства этого не достаточно. Нет никакой гарантии, что модель, которая хорошо выглядит “на бумаге”, станет эффективной в производстве.

В этой статье будут рассмотрены дополнительные задачи, сопутствующие созданию моделей не только для научных исследований, но и для производства. Вы узнаете:

- почему производительность в офлайне не гарантирует производительность в онлайне;
- почему не все ошибки одинаковы;
- почему, помимо производительности модели, важны время - задержки и объяснимость;
- почему не стоит доверять спискам лидеров МО.

➡️ Читать дальше

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍61🔥1
🔥 Полезнейшая Подборка каналов

🖥 Machine learning
@ai_machinelearning_big_data – все о машинном обучении
@data_analysis_ml – все о анализе данных.
@machinelearning_ru – машинное обучении на русском от новичка до профессионала.
@machinelearning_interview – подготовка к собеседования Data Science
@datascienceiot – бесплатные книги Machine learning
@ArtificialIntelligencedl – канал о искусственном интеллекте
@neural – все о нейронных сетях
@machinee_learning – чат о машинном обучении
@datascienceml_jobs - работа ds, ml

🖥 Python

@pro_python_code – погружение в python
@python_job_interview – подготовка к Python собеседованию
@python_testit тесты на python
@pythonlbooks - книги Python
@Django_pythonl django
@python_djangojobs - работа Python

🖥 Java
@javatg - Java для програмистов
@javachats Java чат
@java_library - книги Java
@android_its Android разработка
@java_quizes - тесты Java
@Java_workit - работа Java
@progersit - шпаргалки ит

🖥 Javascript / front
@javascriptv - javascript изучение
@about_javascript - javascript продвинутый
@JavaScript_testit -тесты JS
@htmlcssjavas - web
@hashdev - web разработка

👣 Golang
@golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков.
@Golang_google - go для разработчиков
@golangtests - тесты и задачи GO
@golangl - чат Golang
@GolangJobsit - вакансии и работа GO
@golang_jobsgo - чат вакансий
@golang_books - книги Golang
@golang_speak - обсуждение задач Go

🖥 Linux
@linux_kal - чат kali linux
@linuxkalii - linux kali
@linux_read - книги linux
👷‍♂️ IT работа

@hr_itwork - ит-ваканнсии

🖥 SQL
@sqlhub - базы данных
@chat_sql - базы данных чат

🤡It memes
@memes_prog - ит-мемы

⚙️ Rust
@rust_code - язык программирования rust
@rust_chats - чат rust

#️⃣ c# c++
@csharp_ci - c# c++кодинг
@csharp_cplus чат

📓 Книги

@programming_books_it
@datascienceiot
@pythonlbooks
@golang_books
@frontendbooksit
@progersit
@linux_read
@java_library
@frontendbooksit

📢 English for coders

@english_forprogrammers - Английский для программистов

🖥 Github
@github_code
Please open Telegram to view this post
VIEW IN TELEGRAM
5👍2
🐼 Топ-10 вопросов о Pandas на StackOverflow

Объем структурированных табличных данных увеличивается с каждым днем. Именно поэтому дата-сайентисту так важно уметь анализировать табличные данные с помощью Pandas. Хотя самообучение  —  отличный способ повысить квалификацию, иногда может пригодиться и опыт коллег, которые быстрее нашли ответы на актуальные вопросы.

Хотите продвинуться в этом направлении и “прокачать” навыки работы в Pandas? Сделать это вам помогут решения, которые отвечают на десять вопросов из категории Pandas на StackOverflow, собравших наибольшее количество голосов.

Код для этой статьи можно найти здесь.

↪️ Читать дальше

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍132🔥1
🖥 7 малоизвестных команд и приемов Git

Cегодня Git является стандартным инструментом для хранения кодовых баз ПО. Практически любая команда разработчиков использует инструменты и сервисы удаленного хостинга Git, поддерживающие разные способы работы с кодовыми базами. Одни программисты довольствуются лишь официальным интерфейсом Git CLI (Command-Line Interface). Другие дополнительно используют инструменты визуализации, такие как Gitk. Между тем есть разработчики, которые редко работают с CLI, но часто используют GUI, даже для staging и committing.

Git CLI предлагает комплексное решение для управления репозиториями Git через терминальные интерфейсы. Кроме того, множество сокращенных параметров командной строки позволяют максимизировать производительность.

Всем известны повседневно используемые команды Git для подготовки файлов (staging), фиксации состояния репозитария (committing), ветвления и слияния файлов, управления удаленными репозиториями. Несмотря на то, что интерфейс командной строки Git предоставляет множество опций и субкоманд, мы обычно пользуемся привычным набором. А ведь в Git есть еще и другие полезные скрытые возможности. Рассмотрим несколько таких команд и приемов.

↪️ Читать дальше

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥21
⚙️ Как визуализировать модели причинно-следственных связей с помощью интуитивно понятных таблиц условной вероятности

В этой статье мы рассмотрим, как создать интуитивно понятные и полные таблицы условной вероятности для визуализации и понимания моделей причинно-следственных связей в 1 строке кода Python.

К концу этой статьи вы сможете генерировать визуально богатые таблицы условной вероятности всего за одну строку Python, и у вас будет полный доступ к исходному коду и документации.

Причинно-следственный вывод является горячей темой на данный момент, но различные существующие библиотеки могут быть усложнены противоречивой документацией и примерами, и большинство доступных статей и сообщений сосредоточены на конкретном аспекте причинно-следственного вывода, не охватывая все, что нужно знать специалисту по данным.

↪️ Читать дальше

@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍101🔥1