🖥 Чем отличаются модели МО в науке и производстве

Сейчас типичная исследовательская статья по МО выглядит примерно так:

ПРЕДЛАГАЕМ НОВУЮ АРХИТЕКТУРУ МОДЕЛИ X. КАК ВЫЯСНИЛОСЬ, X ПРЕВОСХОДИТ SOTA (SELF-ORGANISING TREE ALGORITHM, САМООРГАНИЗУЮЩИЙСЯ ДРЕВОВИДНЫЙ АЛГОРИТМ) НА Y%. ТАКИМ ОБРАЗОМ, X ЛУЧШЕ, ЧЕМ ТЕКУЩИЙ SOTA. НАШ КОД ДОСТУПЕН ОНЛАЙН.

И на этом академические исследования обычно заканчиваются. Однако с точки зрения производства этого не достаточно. Нет никакой гарантии, что модель, которая хорошо выглядит “на бумаге”, станет эффективной в производстве.

В этой статье будут рассмотрены дополнительные задачи, сопутствующие созданию моделей не только для научных исследований, но и для производства. Вы узнаете:

- почему производительность в офлайне не гарантирует производительность в онлайне;
- почему не все ошибки одинаковы;
- почему, помимо производительности модели, важны время - задержки и объяснимость;
- почему не стоит доверять спискам лидеров МО.

➡️ Читать дальше

@machinelearning_ru

🔥 Полезнейшая Подборка каналов

🖥 Machine learning
@ai_machinelearning_big_data – все о машинном обучении
@data_analysis_ml – все о анализе данных.
@machinelearning_ru – машинное обучении на русском от новичка до профессионала.
@machinelearning_interview – подготовка к собеседования Data Science
@datascienceiot – бесплатные книги Machine learning
@ArtificialIntelligencedl – канал о искусственном интеллекте
@neural – все о нейронных сетях
@machinee_learning – чат о машинном обучении
@datascienceml_jobs - работа ds, ml

🖥 Python

@pro_python_code – погружение в python
@python_job_interview – подготовка к Python собеседованию
@python_testit тесты на python
@pythonlbooks - книги Python
@Django_pythonl django
@python_djangojobs - работа Python

🖥 Java
@javatg - Java для програмистов
@javachats Java чат
@java_library - книги Java
@android_its Android разработка
@java_quizes - тесты Java
@Java_workit - работа Java
@progersit - шпаргалки ит

🖥 Javascript / front
@javascriptv - javascript изучение
@about_javascript - javascript продвинутый
@JavaScript_testit -тесты JS
@htmlcssjavas - web
@hashdev - web разработка

👣 Golang
@golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков.
@Golang_google - go для разработчиков
@golangtests - тесты и задачи GO
@golangl - чат Golang
@GolangJobsit - вакансии и работа GO
@golang_jobsgo - чат вакансий
@golang_books - книги Golang
@golang_speak - обсуждение задач Go

🖥 Linux
@linux_kal - чат kali linux
@linuxkalii - linux kali
@linux_read - книги linux
👷‍♂️ IT работа

@hr_itwork - ит-ваканнсии

🖥 SQL
@sqlhub - базы данных
@chat_sql - базы данных чат

🤡It memes
@memes_prog - ит-мемы

⚙️ Rust
@rust_code - язык программирования rust
@rust_chats - чат rust

#️⃣ c# c++
@csharp_ci - c# c++кодинг
@csharp_cplus чат

📓 Книги

@programming_books_it
@datascienceiot
@pythonlbooks
@golang_books
@frontendbooksit
@progersit
@linux_read
@java_library
@frontendbooksit

📢 English for coders

@english_forprogrammers - Английский для программистов

🖥 Github
@github_code

🐼 Топ-10 вопросов о Pandas на StackOverflow

Объем структурированных табличных данных увеличивается с каждым днем. Именно поэтому дата-сайентисту так важно уметь анализировать табличные данные с помощью Pandas. Хотя самообучение  —  отличный способ повысить квалификацию, иногда может пригодиться и опыт коллег, которые быстрее нашли ответы на актуальные вопросы.

Хотите продвинуться в этом направлении и “прокачать” навыки работы в Pandas? Сделать это вам помогут решения, которые отвечают на десять вопросов из категории Pandas на StackOverflow, собравших наибольшее количество голосов.

Код для этой статьи можно найти здесь.

↪️ Читать дальше

@machinelearning_ru

🖥 7 малоизвестных команд и приемов Git

Cегодня Git является стандартным инструментом для хранения кодовых баз ПО. Практически любая команда разработчиков использует инструменты и сервисы удаленного хостинга Git, поддерживающие разные способы работы с кодовыми базами. Одни программисты довольствуются лишь официальным интерфейсом Git CLI (Command-Line Interface). Другие дополнительно используют инструменты визуализации, такие как Gitk. Между тем есть разработчики, которые редко работают с CLI, но часто используют GUI, даже для staging и committing.

Git CLI предлагает комплексное решение для управления репозиториями Git через терминальные интерфейсы. Кроме того, множество сокращенных параметров командной строки позволяют максимизировать производительность.

Всем известны повседневно используемые команды Git для подготовки файлов (staging), фиксации состояния репозитария (committing), ветвления и слияния файлов, управления удаленными репозиториями. Несмотря на то, что интерфейс командной строки Git предоставляет множество опций и субкоманд, мы обычно пользуемся привычным набором. А ведь в Git есть еще и другие полезные скрытые возможности. Рассмотрим несколько таких команд и приемов.

↪️ Читать дальше

@machinelearning_ru

⚙️ Как визуализировать модели причинно-следственных связей с помощью интуитивно понятных таблиц условной вероятности

В этой статье мы рассмотрим, как создать интуитивно понятные и полные таблицы условной вероятности для визуализации и понимания моделей причинно-следственных связей в 1 строке кода Python.

К концу этой статьи вы сможете генерировать визуально богатые таблицы условной вероятности всего за одну строку Python, и у вас будет полный доступ к исходному коду и документации.

Причинно-следственный вывод является горячей темой на данный момент, но различные существующие библиотеки могут быть усложнены противоречивой документацией и примерами, и большинство доступных статей и сообщений сосредоточены на конкретном аспекте причинно-следственного вывода, не охватывая все, что нужно знать специалисту по данным.

↪️ Читать дальше

@machinelearning_ru

🔵 Посмотрите, как искусственный интеллект NVIDIA научит этого человека бегать!

🎞 Разбор статьи
🗒 Статья

@machinelearning_ru

🖥 Введение в алгоритмы машинного обучения: линейная регрессия

Данные и алгоритмы находятся в центре внимания специалиста по науке о данных. Понимание данных помогает ему принимать приоритетные решения, а понимание алгоритмов — моделировать данные в соответствии с точными расчетами. Линейная регрессия считается отправным пунктом, с которого новички в области науки о данных приступают к моделированию данных.

Цель этой статьи — дать представление об алгоритме линейной регрессии, его реализации на языке программирования Python и практическом применении. Для начала выясним, что такое алгоритм линейной регрессии.

➡️ Читать дальше
🔩 Код

@machinelearning_ru

🖥 Основы глубокого обучения. Создание алгоритмов для искусственного интеллекта следующего поколения

Авторы рассказывают о принципах решения задач в глубоком обучении и способах внедрения его алгоритмов.

📓 Книга

@machinelearning_ru

🕘 Модель Orbit для прогнозирования временных рядов

Временные ряды и бизнес
Большое количество современных данных имеют временную структуру. Такой структурой, например, обладают экономические и финансовые переменные (ВВП, инфляция, цены акций), продажи и другие. Многим компаниям необходимо планирование, поэтому прогнозирование с помощью моделей временных рядов является неотъемлемой частью анализа данных в бизнесе. Интерес к этой теме заметен и по количеству инструментов, которое выпускается компаниями. Модель Orbit, про которую я расскажу была создана в компании Uber, её предшественником был Prophet. Обе модели были выпущены в виде Python-библиотек для открытого использования.

➡️ Читать дальше
🔩 Github

@machinelearning_ru

🖥 Погружаемся в графы. Изучаем применение графов в аналитике данных.

Графы — это способ аналитики данных, который был известен ещё с древних времён. С увеличением вычислительных мощностей процессоров и развитием компьютерных алгоритмов удалось приспособить их для решения современных сложных задач. Рассказываем о графовой аналитике, практических решениях и первых шагах для новичков.

Графы — одна из самых древних структур представления информации. Как только люди научились рисовать кружочки и проводить между ними линии, стало понятно, что таким образом можно представлять связи объектов друг с другом.

Графы позволяют находить взаимосвязи и предсказывать вероятные связи в сложных взаимосвязанных структурах. Например, в социальных сетях мы можем предположить, что Иван Иванович знаком с Иваном Васильевичем, потому что у них один и тот же круг общения. Графы помогают строить маршруты в навигаторах, а также выявлять фрод.

➡️ Читать дальше

@machinelearning_ru

🖥 Пишите эффективный код на Python: определение и измерение эффективности кода

В качестве специалиста по данным, вы должны тратить большую часть своего времени на получение информации из данных, не дожидаясь завершения работы вашего кода. Написание эффективного кода Python может помочь сократить время выполнения и сэкономить вычислительные ресурсы, что в конечном итоге освободит вас для выполнения более важных задач.

В этой статье мы обсудим, что такое эффективный код Python и как использовать различные встроенные структуры данных, функции и модули Python для написания более чистого, быстрого и эффективного кода. Мы рассмотрим, как рассчитать время и профилировать код, чтобы найти узкие места. Затем в следующей статье мы попрактикуемся в устранении этих узких мест и других плохих шаблонов проектирования, используя библиотеки Python, наиболее часто используемые специалистами по данным: NumPy и pandas.

➡️ Читать дальше

@machinelearning_ru

🖥 AWS Personalize для рекомендации новых фильмов пользователям на основе их оценок по сравнению с другими похожими фильмами.

Amazon Personalize позволяет разработчикам, не имеющим опыта машинного обучения, легко встраивать сложные возможности персонализации в свои приложения. С помощью Personalize вы предоставляете поток действий из своего приложения, а также список элементов, которые хотите порекомендовать, и Personalize обработает данные для обучения модели персонализации, настроенной для ваших данных.

➡️ Читать дальше

@machinelearning_ru

📚 Phenaki

Проект для генерации видео любой длины из текстовых описаний.

⏩ Проект: https://phenaki.video/index.html
⏩ Статья: https://openreview.net/forum?id=vOEXS39nOF

@machinelearning_ru

⏩ Как увеличить скорость Pandas и обрабатывать 10 млн необработанных наборов данных за миллисекунды

За последние годы использование Pandas выросло в бесчисленное количество раз. Покажу вам, как использовать Pandas максимально быстрым способом. Потому что вы не можете ускорить то, что и так быстро работает.

Было бы странным использовать функции, которые в документации Pandas четко указаны как медленные, а не как самые быстрые методы.

В этой статье покажем вам лучшие практики некоторых наиболее распространенных операций с данными в Pandas. Вы даже можете рассматривать эти рекомендации как «здравый смысл», потому что именно так создатель Pandas намеревался использовать свою библиотеку.

➡️ Читать дальше

@machinelearning_ru

Новый ИИ от Google: DALL-E, но теперь 3D! 🤯

⭐️ Разбор статьи
➡️ Статья
➡️ Примеры генерации

@machinelearning_ru

🖥 Нейронные сети решают задачу массового обслуживания

Применение современного аппарата искусственных нейронных сетей в различных технических системах способствует повышению эффективности их функционирования. Рассмотрю это на примере организации движения транспортных средств. Была поставлена задача разработать интеллектуальную систему управления светофорами, которая позволит управлять транспортными потоками на основе данных о загрузке направлений перекрестка и дорог, выходящих с соседних перекрестков.

Для решения этой задачи используется алгоритм, который предполагает реализацию принципа декомпозиции выработки решений. Он считается общепринятым для сетевых адаптивных методов управления.

В основе декомпозиции управления лежит разбиение района города на взаимно пересекающиеся дороги.

➡️ Читать дальше

@machinelearning_ru

🖥 @github_code - лучшие проекты с Github теперь доступны в одном канале.

Проекты , которые реально помогут в разработке и помогут прокачать навыки программирования.

⭐️ Musika! Fast Infinite Waveform Music Generation

Моментальная генерация стереомузыки:
Техно, Метал, Лофи (пример в видео).

Возможность обучать Musika на своем собственном музыкальном наборе данных .

conda create -n musika python=3.9

🔩 GitHub
➡️ Попробовать
🚀 Demo

@machinelearning_ru