DenoiseLAB
486 subscribers
1.33K photos
159 videos
3 files
1.57K links
Блог DenoiseLAB (машинное обучение, аналитика)

Информация в канале служит только для ознакомления и не является призывом к действию. Не нарушайте законы РФ и других стран. Мы не несем отвественность за ваши действия или бездействия.
Download Telegram
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_118 (Часть_1)

🔠Q_118: Что такое Apache NiFi ?

Apache Nifi - это открытая платформа для обработки и распределения данных в реальном времени. Она разработана для работы с большими объемами данных и позволяет создавать сложные потоки данных для их обработки, маршрутизации и преобразования. Apache Nifi имеет визуальный интерфейс, который облегчает процесс создания и настройки потоков данных.

Сcылка: https://nifi.apache.org

#ApacheNifi #DataProcessing #RealTimeData #DataDistribution #DataStreams #DataRouting #DataTransformation #DataIntegration #DataManagement #DataAutomation #BigData #DataSources #Databases #Files #IOT #DataMonitoring #BusinessProcesses #Filtering #Routing #Transformation #Aggregation
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_118 (Часть_2)

🔠Q_118: Что такое Apache NiFi ?

С помощью Apache Nifi можно интегрировать различные источники данных, такие как базы данных, файлы, сенсоры IoT и другие, а также управлять потоками данных в режиме реального времени. Это позволяет организациям эффективно обрабатывать и мониторить данные, а также автоматизировать различные бизнес-процессы. Apache Nifi поддерживает большое количество операций обработки данных, включая фильтрацию, маршрутизацию, трансформацию, агрегацию и др.

Сcылка: https://nifi.apache.org

#ApacheNifi #DataProcessing #RealTimeData #DataDistribution #DataStreams #DataRouting #DataTransformation #DataIntegration #DataManagement #DataAutomation #BigData #DataSources #Databases #Files #IOT #DataMonitoring #BusinessProcesses #Filtering #Routing #Transformation #Aggregation
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_141

🔠 Какие еще методы нормализации данных существуют помимо Min-Max и Z-нормализации? (Часть_2)

🧪Ответ:

3/ Масштабирование на основе распределения (Distribution-based scaling): Этот метод основан на статистических свойствах распределения данных, таких как среднее и стандартное отклонение. Он масштабирует данные таким образом, чтобы они имели определенное распределение, например, нормальное распределение или равномерное распределение.

4/ Масштабирование на основе рангов (Rank-based scaling): Этот метод основан на ранжировании значений данных. Он преобразует данные в их ранговые значения, чтобы сохранить порядок значений, не обращая внимания на их конкретные числовые значения. Это полезно, когда данные содержат выбросы или несимметричные распределения.

#scaling #scaling #statistical properties #mean #standarddeviation #datadistribution #normaldistribution

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_143

🔠Какой метод нормализации подходит для данных с нелинейной зависимостью? (Часть_1)

🧪Ответ:

Для данных с нелинейной зависимостью подходит полиномиальное масштабирование (Polynomial scaling). Этот метод позволяет захватить нелинейные взаимосвязи между переменными и улучшить моделирование.

При использовании полиномиального масштабирования данные преобразуются с помощью полиномиальных функций. Обычно используются функции, такие как полиномы Лежандра, полиномы Чебышева или полиномы Лагерра. Эти функции позволяют учитывать нелинейные зависимости и взаимодействия между переменными.

#scaling #scaling #statistical #mean #standarddeviation #datadistribution #normaldistribution

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_143

🔠Какой метод нормализации подходит для данных с нелинейной зависимостью? (Часть_2)

Полиномиальное масштабирование может быть полезным, когда в данных присутствуют квадратичные, кубические или более высокие нелинейные зависимости. Применение полиномиального масштабирования позволяет моделировать и учитывать такие зависимости, что может привести к более точным и предсказательным моделям.

Однако при использовании полиномиального масштабирования необходимо быть осторожным, так как он может привести к увеличению размерности данных и возникновению проблемы проклятия размерности (curse of dimensionality). Если размерность данных слишком высока, это может привести к увеличению сложности модели и переобучению.

#scaling #scaling #statistical #mean #standarddeviation #datadistribution #normaldistribution

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM