Как масштабировать многопроцессорность Python до кластера с помощью одной строчки кода
Программы начинаются с малого. Будь то исследовательский анализ данных или построение модели машинного обучения, важно как можно быстрее заставить что-то простое работать. Однако со временем требования меняются, и некогда небольшие программы необходимо масштабировать, чтобы обрабатывать больше данных или использовать больше вычислительных ресурсов. К сожалению, изменение программы для масштабирования на несколько ядер или нескольких машин часто требует переписывания ее с нуля, не говоря уже о решении множества сложностей, связанных с параллелизмом и распределенными системами.
Многопроцессорность Python предлагает одно решение этой проблемы, предоставляя набор удобных API-интерфейсов, которые позволяют программам Python использовать преимущества нескольких ядер на одной машине. Однако, хотя это может помочь масштабировать приложение в 10 или даже 50 раз, оно все же ограничено параллелизмом одной машины, и выход за рамки этого потребует переосмысления и переписывания приложения.
В этом сообщении в блоге я расскажу, как можно преодолеть это ограничение, беспрепятственно масштабируясь до многоузлового кластера с помощью ray.util.multiprocessing.Pool API, выпущенного вместе с Ray - без переписывания своей программы!
➡️ Читать дальше
@machinelearning_ru
Программы начинаются с малого. Будь то исследовательский анализ данных или построение модели машинного обучения, важно как можно быстрее заставить что-то простое работать. Однако со временем требования меняются, и некогда небольшие программы необходимо масштабировать, чтобы обрабатывать больше данных или использовать больше вычислительных ресурсов. К сожалению, изменение программы для масштабирования на несколько ядер или нескольких машин часто требует переписывания ее с нуля, не говоря уже о решении множества сложностей, связанных с параллелизмом и распределенными системами.
Многопроцессорность Python предлагает одно решение этой проблемы, предоставляя набор удобных API-интерфейсов, которые позволяют программам Python использовать преимущества нескольких ядер на одной машине. Однако, хотя это может помочь масштабировать приложение в 10 или даже 50 раз, оно все же ограничено параллелизмом одной машины, и выход за рамки этого потребует переосмысления и переписывания приложения.
В этом сообщении в блоге я расскажу, как можно преодолеть это ограничение, беспрепятственно масштабируясь до многоузлового кластера с помощью ray.util.multiprocessing.Pool API, выпущенного вместе с Ray - без переписывания своей программы!
➡️ Читать дальше
@machinelearning_ru
👍8❤3🔥1
Предлагаем рассмотреть несколько алгоритмов поиска выбросов, проведём первичное сравнение на различных датасетах и определим несколько наиболее оптимальных из них.
Выбросы (или аномалии) в статистике — результаты измерения, выделяющиеся из общей выборки. Обнаружение выбросов важно во многих областях и процессах. В электронике поиск выбросов может помочь при обнаружении неисправных устройств. В банковских операциях поиск выбросов может помочь при обнаружении нетипичных для клиента операций. Давайте рассмотрим, как можно решить задачу поиска выбросов с помощью языка Python и библиотеки PyOD.
Библиотека PyOD включает в себя более 40 алгоритмов обнаружения выбросов, от классических LOF, PCA и kNN до новейших ROD, SUOD и ECOD.
Более подробно ознакомиться со всеми алгоритмами и наборами данных можно по ссылке https://github.com/newtechaudit/pyod.
Давайте сравним скорость и точность нескольких реализованных в этой библиотеке алгоритмов. Возьмём на тестирование 10 алгоритмов из различных категорий.
➡️ Читать дальше
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍4🔥2
Google's AI: Stable Diffusion On Steroids! 💪
Google AI представил новый вариант stable diffusion, с возможностью редактировать изначально сгенерированное изображение через изменения описаний. Теперь, если первое изображение вас устраивает только частично, можно вносить коррективы и не беспокоиться, что какое-нибудь красивое дерево с пейзажа убежит, когда вы редактируете животное на переднем планет.
🎞 Разбор статьи
🗒 Статья
⚙️ Код
@machinelearning_ru
Google AI представил новый вариант stable diffusion, с возможностью редактировать изначально сгенерированное изображение через изменения описаний. Теперь, если первое изображение вас устраивает только частично, можно вносить коррективы и не беспокоиться, что какое-нибудь красивое дерево с пейзажа убежит, когда вы редактируете животное на переднем планет.
🎞 Разбор статьи
🗒 Статья
⚙️ Код
@machinelearning_ru
YouTube
Google's AI: Stable Diffusion On Steroids! 💪
❤️ Check out Weights & Biases and sign up for a free demo here: https://wandb.com/papers
❤️ Their mentioned post is available here: http://wandb.me/prompt2prompt
📝 The paper "Prompt-to-Prompt Image Editing with Cross Attention Control" is available here:…
❤️ Their mentioned post is available here: http://wandb.me/prompt2prompt
📝 The paper "Prompt-to-Prompt Image Editing with Cross Attention Control" is available here:…
👍6🔥3❤1👏1
Сейчас типичная исследовательская статья по МО выглядит примерно так:
ПРЕДЛАГАЕМ НОВУЮ АРХИТЕКТУРУ МОДЕЛИ X. КАК ВЫЯСНИЛОСЬ, X ПРЕВОСХОДИТ SOTA (SELF-ORGANISING TREE ALGORITHM, САМООРГАНИЗУЮЩИЙСЯ ДРЕВОВИДНЫЙ АЛГОРИТМ) НА Y%. ТАКИМ ОБРАЗОМ, X ЛУЧШЕ, ЧЕМ ТЕКУЩИЙ SOTA. НАШ КОД ДОСТУПЕН ОНЛАЙН.
И на этом академические исследования обычно заканчиваются. Однако с точки зрения производства этого не достаточно. Нет никакой гарантии, что модель, которая хорошо выглядит “на бумаге”, станет эффективной в производстве.
В этой статье будут рассмотрены дополнительные задачи, сопутствующие созданию моделей не только для научных исследований, но и для производства. Вы узнаете:
- почему производительность в офлайне не гарантирует производительность в онлайне;
- почему не все ошибки одинаковы;
- почему, помимо производительности модели, важны время - задержки и объяснимость;
- почему не стоит доверять спискам лидеров МО.
➡️ Читать дальше
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6❤1🔥1
🔥 Полезнейшая Подборка каналов
🖥 Machine learning
@ai_machinelearning_big_data – все о машинном обучении
@data_analysis_ml – все о анализе данных.
@machinelearning_ru – машинное обучении на русском от новичка до профессионала.
@machinelearning_interview – подготовка к собеседования Data Science
@datascienceiot – бесплатные книги Machine learning
@ArtificialIntelligencedl – канал о искусственном интеллекте
@neural – все о нейронных сетях
@machinee_learning – чат о машинном обучении
@datascienceml_jobs - работа ds, ml
🖥 Python
@pro_python_code – погружение в python
@python_job_interview – подготовка к Python собеседованию
@python_testit тесты на python
@pythonlbooks - книги Python
@Django_pythonl django
@python_djangojobs - работа Python
🖥 Java
@javatg - Java для програмистов
@javachats Java чат
@java_library - книги Java
@android_its Android разработка
@java_quizes - тесты Java
@Java_workit - работа Java
@progersit - шпаргалки ит
🖥 Javascript / front
@javascriptv - javascript изучение
@about_javascript - javascript продвинутый
@JavaScript_testit -тесты JS
@htmlcssjavas - web
@hashdev - web разработка
👣 Golang
@golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков.
@Golang_google - go для разработчиков
@golangtests - тесты и задачи GO
@golangl - чат Golang
@GolangJobsit - вакансии и работа GO
@golang_jobsgo - чат вакансий
@golang_books - книги Golang
@golang_speak - обсуждение задач Go
🖥 Linux
@linux_kal - чат kali linux
@linuxkalii - linux kali
@linux_read - книги linux
👷♂️ IT работа
@hr_itwork - ит-ваканнсии
🖥 SQL
@sqlhub - базы данных
@chat_sql - базы данных чат
🤡It memes
@memes_prog - ит-мемы
⚙️ Rust
@rust_code - язык программирования rust
@rust_chats - чат rust
#️⃣ c# c++
@csharp_ci - c# c++кодинг
@csharp_cplus чат
📓 Книги
@programming_books_it
@datascienceiot
@pythonlbooks
@golang_books
@frontendbooksit
@progersit
@linux_read
@java_library
@frontendbooksit
📢 English for coders
@english_forprogrammers - Английский для программистов
🖥 Github
@github_code
@ai_machinelearning_big_data – все о машинном обучении
@data_analysis_ml – все о анализе данных.
@machinelearning_ru – машинное обучении на русском от новичка до профессионала.
@machinelearning_interview – подготовка к собеседования Data Science
@datascienceiot – бесплатные книги Machine learning
@ArtificialIntelligencedl – канал о искусственном интеллекте
@neural – все о нейронных сетях
@machinee_learning – чат о машинном обучении
@datascienceml_jobs - работа ds, ml
@pro_python_code – погружение в python
@python_job_interview – подготовка к Python собеседованию
@python_testit тесты на python
@pythonlbooks - книги Python
@Django_pythonl django
@python_djangojobs - работа Python
@javatg - Java для програмистов
@javachats Java чат
@java_library - книги Java
@android_its Android разработка
@java_quizes - тесты Java
@Java_workit - работа Java
@progersit - шпаргалки ит
@javascriptv - javascript изучение
@about_javascript - javascript продвинутый
@JavaScript_testit -тесты JS
@htmlcssjavas - web
@hashdev - web разработка
@golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков.
@Golang_google - go для разработчиков
@golangtests - тесты и задачи GO
@golangl - чат Golang
@GolangJobsit - вакансии и работа GO
@golang_jobsgo - чат вакансий
@golang_books - книги Golang
@golang_speak - обсуждение задач Go
@linux_kal - чат kali linux
@linuxkalii - linux kali
@linux_read - книги linux
👷♂️ IT работа
@hr_itwork - ит-ваканнсии
@sqlhub - базы данных
@chat_sql - базы данных чат
🤡It memes
@memes_prog - ит-мемы
⚙️ Rust
@rust_code - язык программирования rust
@rust_chats - чат rust
#️⃣ c# c++
@csharp_ci - c# c++кодинг
@csharp_cplus чат
📓 Книги
@programming_books_it
@datascienceiot
@pythonlbooks
@golang_books
@frontendbooksit
@progersit
@linux_read
@java_library
@frontendbooksit
@english_forprogrammers - Английский для программистов
@github_code
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍2
🐼 Топ-10 вопросов о Pandas на StackOverflow
Объем структурированных табличных данных увеличивается с каждым днем. Именно поэтому дата-сайентисту так важно уметь анализировать табличные данные с помощью Pandas. Хотя самообучение — отличный способ повысить квалификацию, иногда может пригодиться и опыт коллег, которые быстрее нашли ответы на актуальные вопросы.
Хотите продвинуться в этом направлении и “прокачать” навыки работы в Pandas? Сделать это вам помогут решения, которые отвечают на десять вопросов из категории Pandas на StackOverflow, собравших наибольшее количество голосов.
Код для этой статьи можно найти здесь.
↪️ Читать дальше
@machinelearning_ru
Объем структурированных табличных данных увеличивается с каждым днем. Именно поэтому дата-сайентисту так важно уметь анализировать табличные данные с помощью Pandas. Хотя самообучение — отличный способ повысить квалификацию, иногда может пригодиться и опыт коллег, которые быстрее нашли ответы на актуальные вопросы.
Хотите продвинуться в этом направлении и “прокачать” навыки работы в Pandas? Сделать это вам помогут решения, которые отвечают на десять вопросов из категории Pandas на StackOverflow, собравших наибольшее количество голосов.
Код для этой статьи можно найти здесь.
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤2🔥1
Cегодня Git является стандартным инструментом для хранения кодовых баз ПО. Практически любая команда разработчиков использует инструменты и сервисы удаленного хостинга Git, поддерживающие разные способы работы с кодовыми базами. Одни программисты довольствуются лишь официальным интерфейсом Git CLI (Command-Line Interface). Другие дополнительно используют инструменты визуализации, такие как Gitk. Между тем есть разработчики, которые редко работают с CLI, но часто используют GUI, даже для staging и committing.
Git CLI предлагает комплексное решение для управления репозиториями Git через терминальные интерфейсы. Кроме того, множество сокращенных параметров командной строки позволяют максимизировать производительность.
Всем известны повседневно используемые команды Git для подготовки файлов (staging), фиксации состояния репозитария (committing), ветвления и слияния файлов, управления удаленными репозиториями. Несмотря на то, что интерфейс командной строки Git предоставляет множество опций и субкоманд, мы обычно пользуемся привычным набором. А ведь в Git есть еще и другие полезные скрытые возможности. Рассмотрим несколько таких команд и приемов.
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥2❤1
В этой статье мы рассмотрим, как создать интуитивно понятные и полные таблицы условной вероятности для визуализации и понимания моделей причинно-следственных связей в 1 строке кода Python.
К концу этой статьи вы сможете генерировать визуально богатые таблицы условной вероятности всего за одну строку Python, и у вас будет полный доступ к исходному коду и документации.
Причинно-следственный вывод является горячей темой на данный момент, но различные существующие библиотеки могут быть усложнены противоречивой документацией и примерами, и большинство доступных статей и сообщений сосредоточены на конкретном аспекте причинно-следственного вывода, не охватывая все, что нужно знать специалисту по данным.
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10❤1🔥1
🎞 Разбор статьи
🗒 Статья
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Watch NVIDIA’s AI Teach This Human To Run! 🏃♂️
❤️ Check out Cohere and sign up for free today: https://cohere.ai/papers
📝 The paper "Accelerated Policy Learning with Parallel Differentiable Simulation" is available here:
https://short-horizon-actor-critic.github.io/
❤️ Watch these videos in early access…
📝 The paper "Accelerated Policy Learning with Parallel Differentiable Simulation" is available here:
https://short-horizon-actor-critic.github.io/
❤️ Watch these videos in early access…
👍8
Данные и алгоритмы находятся в центре внимания специалиста по науке о данных. Понимание данных помогает ему принимать приоритетные решения, а понимание алгоритмов — моделировать данные в соответствии с точными расчетами. Линейная регрессия считается отправным пунктом, с которого новички в области науки о данных приступают к моделированию данных.
Цель этой статьи — дать представление об алгоритме линейной регрессии, его реализации на языке программирования Python и практическом применении. Для начала выясним, что такое алгоритм линейной регрессии.
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11❤1🔥1
Авторы рассказывают о принципах решения задач в глубоком обучении и способах внедрения его алгоритмов.
📓 Книга
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🔥2❤1
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Ray Tracing: How NVIDIA Solved the Impossible!
❤️ Check out Lambda here and sign up for their GPU Cloud: https://lambdalabs.com/papers
📝 The showcased papers are available here:
https://research.nvidia.com/publication/2021-07_rearchitecting-spatiotemporal-resampling-production
https://research.nvidi…
📝 The showcased papers are available here:
https://research.nvidia.com/publication/2021-07_rearchitecting-spatiotemporal-resampling-production
https://research.nvidi…
👍12❤2🔥1
🕘 Модель Orbit для прогнозирования временных рядов
Временные ряды и бизнес
Большое количество современных данных имеют временную структуру. Такой структурой, например, обладают экономические и финансовые переменные (ВВП, инфляция, цены акций), продажи и другие. Многим компаниям необходимо планирование, поэтому прогнозирование с помощью моделей временных рядов является неотъемлемой частью анализа данных в бизнесе. Интерес к этой теме заметен и по количеству инструментов, которое выпускается компаниями. Модель Orbit, про которую я расскажу была создана в компании Uber, её предшественником был Prophet. Обе модели были выпущены в виде Python-библиотек для открытого использования.
➡️ Читать дальше
🔩 Github
@machinelearning_ru
Временные ряды и бизнес
Большое количество современных данных имеют временную структуру. Такой структурой, например, обладают экономические и финансовые переменные (ВВП, инфляция, цены акций), продажи и другие. Многим компаниям необходимо планирование, поэтому прогнозирование с помощью моделей временных рядов является неотъемлемой частью анализа данных в бизнесе. Интерес к этой теме заметен и по количеству инструментов, которое выпускается компаниями. Модель Orbit, про которую я расскажу была создана в компании Uber, её предшественником был Prophet. Обе модели были выпущены в виде Python-библиотек для открытого использования.
➡️ Читать дальше
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8❤2🔥2
Графы — это способ аналитики данных, который был известен ещё с древних времён. С увеличением вычислительных мощностей процессоров и развитием компьютерных алгоритмов удалось приспособить их для решения современных сложных задач. Рассказываем о графовой аналитике, практических решениях и первых шагах для новичков.
Графы — одна из самых древних структур представления информации. Как только люди научились рисовать кружочки и проводить между ними линии, стало понятно, что таким образом можно представлять связи объектов друг с другом.
Графы позволяют находить взаимосвязи и предсказывать вероятные связи в сложных взаимосвязанных структурах. Например, в социальных сетях мы можем предположить, что Иван Иванович знаком с Иваном Васильевичем, потому что у них один и тот же круг общения. Графы помогают строить маршруты в навигаторах, а также выявлять фрод.
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥2❤1
В качестве специалиста по данным, вы должны тратить большую часть своего времени на получение информации из данных, не дожидаясь завершения работы вашего кода. Написание эффективного кода Python может помочь сократить время выполнения и сэкономить вычислительные ресурсы, что в конечном итоге освободит вас для выполнения более важных задач.
В этой статье мы обсудим, что такое эффективный код Python и как использовать различные встроенные структуры данных, функции и модули Python для написания более чистого, быстрого и эффективного кода. Мы рассмотрим, как рассчитать время и профилировать код, чтобы найти узкие места. Затем в следующей статье мы попрактикуемся в устранении этих узких мест и других плохих шаблонов проектирования, используя библиотеки Python, наиболее часто используемые специалистами по данным: NumPy и pandas.
➡️ Читать дальше
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥2❤1
Amazon Personalize позволяет разработчикам, не имеющим опыта машинного обучения, легко встраивать сложные возможности персонализации в свои приложения. С помощью Personalize вы предоставляете поток действий из своего приложения, а также список элементов, которые хотите порекомендовать, и Personalize обработает данные для обучения модели персонализации, настроенной для ваших данных.
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Проект для генерации видео любой длины из текстовых описаний.
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥2❤1
За последние годы использование Pandas выросло в бесчисленное количество раз. Покажу вам, как использовать Pandas максимально быстрым способом. Потому что вы не можете ускорить то, что и так быстро работает.
Было бы странным использовать функции, которые в документации Pandas четко указаны как медленные, а не как самые быстрые методы.
В этой статье покажем вам лучшие практики некоторых наиболее распространенных операций с данными в Pandas. Вы даже можете рассматривать эти рекомендации как «здравый смысл», потому что именно так создатель Pandas намеревался использовать свою библиотеку.
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8❤2🔥2
Новый ИИ от Google: DALL-E, но теперь 3D! 🤯
⭐️ Разбор статьи
➡️ Статья
➡️ Примеры генерации
@machinelearning_ru
@machinelearning_ru
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
Google’s New AI: DALL-E, But Now In 3D! 🤯
❤️ Check out Weights & Biases and sign up for a free demo here: https://wandb.com/papers
📝 The paper "DreamFusion: Text-to-3D using 2D Diffusion" is available here:
https://dreamfusion3d.github.io/
Unofficial open source implementation: https://github…
📝 The paper "DreamFusion: Text-to-3D using 2D Diffusion" is available here:
https://dreamfusion3d.github.io/
Unofficial open source implementation: https://github…
🔥4👍3❤1