🕘 Модель Orbit для прогнозирования временных рядов

Временные ряды и бизнес
Большое количество современных данных имеют временную структуру. Такой структурой, например, обладают экономические и финансовые переменные (ВВП, инфляция, цены акций), продажи и другие. Многим компаниям необходимо планирование, поэтому прогнозирование с помощью моделей временных рядов является неотъемлемой частью анализа данных в бизнесе. Интерес к этой теме заметен и по количеству инструментов, которое выпускается компаниями. Модель Orbit, про которую я расскажу была создана в компании Uber, её предшественником был Prophet. Обе модели были выпущены в виде Python-библиотек для открытого использования.

➡️ Читать дальше
🔩 Github

@machinelearning_ru

🖥 Погружаемся в графы. Изучаем применение графов в аналитике данных.

Графы — это способ аналитики данных, который был известен ещё с древних времён. С увеличением вычислительных мощностей процессоров и развитием компьютерных алгоритмов удалось приспособить их для решения современных сложных задач. Рассказываем о графовой аналитике, практических решениях и первых шагах для новичков.

Графы — одна из самых древних структур представления информации. Как только люди научились рисовать кружочки и проводить между ними линии, стало понятно, что таким образом можно представлять связи объектов друг с другом.

Графы позволяют находить взаимосвязи и предсказывать вероятные связи в сложных взаимосвязанных структурах. Например, в социальных сетях мы можем предположить, что Иван Иванович знаком с Иваном Васильевичем, потому что у них один и тот же круг общения. Графы помогают строить маршруты в навигаторах, а также выявлять фрод.

➡️ Читать дальше

@machinelearning_ru

🖥 Пишите эффективный код на Python: определение и измерение эффективности кода

В качестве специалиста по данным, вы должны тратить большую часть своего времени на получение информации из данных, не дожидаясь завершения работы вашего кода. Написание эффективного кода Python может помочь сократить время выполнения и сэкономить вычислительные ресурсы, что в конечном итоге освободит вас для выполнения более важных задач.

В этой статье мы обсудим, что такое эффективный код Python и как использовать различные встроенные структуры данных, функции и модули Python для написания более чистого, быстрого и эффективного кода. Мы рассмотрим, как рассчитать время и профилировать код, чтобы найти узкие места. Затем в следующей статье мы попрактикуемся в устранении этих узких мест и других плохих шаблонов проектирования, используя библиотеки Python, наиболее часто используемые специалистами по данным: NumPy и pandas.

➡️ Читать дальше

@machinelearning_ru

🖥 AWS Personalize для рекомендации новых фильмов пользователям на основе их оценок по сравнению с другими похожими фильмами.

Amazon Personalize позволяет разработчикам, не имеющим опыта машинного обучения, легко встраивать сложные возможности персонализации в свои приложения. С помощью Personalize вы предоставляете поток действий из своего приложения, а также список элементов, которые хотите порекомендовать, и Personalize обработает данные для обучения модели персонализации, настроенной для ваших данных.

➡️ Читать дальше

@machinelearning_ru

📚 Phenaki

Проект для генерации видео любой длины из текстовых описаний.

⏩ Проект: https://phenaki.video/index.html
⏩ Статья: https://openreview.net/forum?id=vOEXS39nOF

@machinelearning_ru

⏩ Как увеличить скорость Pandas и обрабатывать 10 млн необработанных наборов данных за миллисекунды

За последние годы использование Pandas выросло в бесчисленное количество раз. Покажу вам, как использовать Pandas максимально быстрым способом. Потому что вы не можете ускорить то, что и так быстро работает.

Было бы странным использовать функции, которые в документации Pandas четко указаны как медленные, а не как самые быстрые методы.

В этой статье покажем вам лучшие практики некоторых наиболее распространенных операций с данными в Pandas. Вы даже можете рассматривать эти рекомендации как «здравый смысл», потому что именно так создатель Pandas намеревался использовать свою библиотеку.

➡️ Читать дальше

@machinelearning_ru

Новый ИИ от Google: DALL-E, но теперь 3D! 🤯

⭐️ Разбор статьи
➡️ Статья
➡️ Примеры генерации

@machinelearning_ru

🖥 Нейронные сети решают задачу массового обслуживания

Применение современного аппарата искусственных нейронных сетей в различных технических системах способствует повышению эффективности их функционирования. Рассмотрю это на примере организации движения транспортных средств. Была поставлена задача разработать интеллектуальную систему управления светофорами, которая позволит управлять транспортными потоками на основе данных о загрузке направлений перекрестка и дорог, выходящих с соседних перекрестков.

Для решения этой задачи используется алгоритм, который предполагает реализацию принципа декомпозиции выработки решений. Он считается общепринятым для сетевых адаптивных методов управления.

В основе декомпозиции управления лежит разбиение района города на взаимно пересекающиеся дороги.

➡️ Читать дальше

@machinelearning_ru

🖥 @github_code - лучшие проекты с Github теперь доступны в одном канале.

Проекты , которые реально помогут в разработке и помогут прокачать навыки программирования.

⭐️ Musika! Fast Infinite Waveform Music Generation

Моментальная генерация стереомузыки:
Техно, Метал, Лофи (пример в видео).

Возможность обучать Musika на своем собственном музыкальном наборе данных .

conda create -n musika python=3.9

🔩 GitHub
➡️ Попробовать
🚀 Demo

@machinelearning_ru

🖥 Зачем вам нужно использовать активное обучение при обучении нейронных сетей

Часто разметка данных оказывается самой серьёзной преградой для машинного обучения — сбор больших объёмов данных, их обработка и разметка для создания достаточно производительной модели могут занимать недели или даже месяцы. Активное обучение позволяет обучать модели машинного обучения на гораздо меньшем количестве размеченных данных. Лучшие компании в сфере ИИ, например, Tesla, уже используют активное обучение. Мы считаем, что и вам тоже оно необходимо.

В этом посте мы расскажем, что такое активное обучение, рассмотрим инструменты для его практического применения и продемонстрируем, как мы сами упрощаем внедрение активного обучения в процесс NLP.

➡️ Читать дальше

@machinelearning_ru

🖥 Большие данные: 70 невероятных бесплатных источников данных.

Вся отличная визуализация данных начинается с хороших, чистых данных. Большинство считают, что сбор больших данных будет трудной работой, но это неправда. На сайте доступны тысячи бесплатных наборов данных, готовых для анализа и просмотра любым пользователем.

Здесь мы собрали 70 источников свободных данных на правительство, преступности, здравоохранения, финансовых и экономических данных, маркетинга и социальных сетей, журналистики и средств массовой информации, недвижимости, каталог, обзор бизнеса и многое другое.

➡️ Читать дальше

@machinelearning_ru

🖥 EnCodec: высокоточное нейронное сжатие звука

pip install -U encodec # stable release
pip install -U git+https://git@github.com/facebookresearch/encodec#egg=encodec # bleeding edge
# of if you cloned the repo locally
pip install .

➡️ Github
📃 Статья
↪️ Образец

@machinelearning_ru

⭐️ DiffusionDB

DiffusionDB — это первый крупный набор данных для преобразования текста в изображение. Он содержит 2 миллиона изображений, сгенерированных Stable Diffusion с использованием подсказок и гиперпараметров, заданных реальными пользователями. Беспрецедентный масштаб и разнообразие этого набора данных, открывают захватывающие возможности для исследований в понимании работы с генеративными моделями, обнаружении дипфейков и разработке инструментов взаимодействия человека и ИИ, чтобы упростить пользователям использование этих моделей.

🖥 Github
🗒 Статья:
➡️ Датасет

@machinelearning_ru

📚 Сегментация изображений с использованием сети обратного внимания

Большинство методов семантической сегментации на основе СNN (convolutional neural network, сверточной нейронной сети) сосредоточены на простом получении правильных предсказаний без обучения модели различать классы. По этой причине характеристики менее распространенных классов могут быть проигнорированы.

Из-за визуального сходства классы обладают общими высокоуровневыми признаками, что может привести к запутанным результатам в областях, где классы смешиваются или граничат между собой. Например, фон может сливаться с объектом, поскольку они имеют схожую силу активации.

➡️ Читать дальше

@machinelearning_ru

🔥 Best it channels

🖥 Machine learning
@ai_machinelearning_big_data – все о машинном обучении
@data_analysis_ml – все о анализе данных.
@machinelearning_ru – машинное обучении на русском от новичка до профессионала.
@machinelearning_interview – подготовка к собеседования Data Science
@datascienceiot – бесплатные книги Machine learning
@ArtificialIntelligencedl – канал о искусственном интеллекте
@neural – все о нейронных сетях
@machinee_learning – чат о машинном обучении
@datascienceml_jobs - работа ds, ml
@machinelearning_books - ml notes
@bigdatai - big data
@vistehno - ai news

🖥 Python
@pythonl
@python_job_interview – подготовка к Python собеседованию
@pro_python_code – погружение в python
@python_testit тесты на python
@pythonlbooks - книги Python
@Django_pythonl django
@python_djangojobs - работа Python

📢 English for coders

@english_forprogrammers - Английский для программистов

🖥 Java
@javatg - Java для програмистов
@javachats Java чат
@java_library - книги Java
@android_its Android разработка
@java_quizes - тесты Java
@Java_workit - работа Java
@progersit - шпаргалки ит

🖥 Javascript / front
@react_tg - react js
@javascriptv - js канал
@about_javascript - javascript продвинутый
@JavaScript_testit -тесты JS
@htmlcssjavas - web
@hashdev - web разработка

👣 Golang
@Golang_google - go для разработчиков
@golang_interview - вопросы и ответы с собеседований по Go.
@golangtests - тесты и задачи GO
@golangl - чат Golang
@GolangJobsit - вакансии и работа GO
@golang_jobsgo - чат вакансий
@golang_books - книги Golang
@golang_speak - обсуждение задач Go

🖥 Linux
@linux_kal - чат kali linux
@linuxkalii - linux kali
@linux_read - книги linux

👷‍♂️ IT работа

@hr_itwork - ит-вакансии
@GolangJobsit
@python_djangojobs - python jobs
@javascriptjobjs - js jobs
@Java_workit - java jobs

🖥 SQL
@sqlhub - базы данных
@chat_sql - базы данных чат

🤡It memes
@memes_prog - ит-мемы

⚙️ Rust
@rust_code - язык программирования rust
@rust_chats - чат rust

#️⃣ c# c++
@csharp_ci - c# c++кодинг
@csharp_cplus чат

📓 Книги

@programming_books_it
@datascienceiot
@pythonlbooks
@golang_books
@frontendbooksit
@progersit
@linux_read
@java_library
@frontendbooksit

🖥 Github
@github_code

🖥 Shapash

Shapash делает модели машинного обучения прозрачными и понятными каждому. Инструмент предоставляет несколько видов визуализации, которые отображают явные метки, понятные каждому.

🔩 Github

@machinelearning_ru

⭐️ 8 паттернов проектирования, которые должен знать каждый ML-разработчик

Паттерны проектирования предлагают комплексные решения проблем, с которыми разработчики сталкиваются каждый день. В этой статье мы рассмотрим 8 паттернов проектирования с примерами кода на Python.

➡️ Читать дальше

@machinelearning_ru

📓 Прикладной анализ текстовых данных на Python. Машинное обучение и создание приложений обработки естественного языка

Технологии анализа текстовой информации стремительно меняются под влиянием машинного обучения. Нейронные сети из теоретических научных исследований перешли в реальную жизнь, и анализ текста активно интегрируется в программные решения.
Нейронные сети способны решать самые сложные задачи обработки естественного языка, никого не удивляет машинный перевод, «беседа» с роботом в интернет-магазине, перефразирование, ответы на вопросы и поддержание диалога.

➡️ Книга

@machinelearning_ru

⭐️ Как помочь pandas в обработке больших объёмов данных? От Pandas к Dask

Библиотека pandas — это один из лучших инструментов для разведочного анализа данных. Но это не означает, что pandas — это универсальное средство, подходящее для решения любых задач. В частности, речь идёт об обработке больших объемов данных. Мне довелось провести очень и очень много времени, ожидая, пока pandas прочтёт множество файлов, или обработает их, вычислив на основе находящихся в них сведений какие-то интересующие меня показатели. Дело в том, что pandas не поддерживает механизмы параллельной обработки данных. В результате этому пакету не удаётся на полную мощность воспользоваться возможностями современных многоядерных процессоров. Большие наборы данных в pandas обрабатываются медленно.

➡️Читать дальше
🗒 Dask документация

@machinelearning_ru