❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_157

🔠Что такое Spark и как он устроен ? (Часть_4)

5. Оптимизация и интеграция с другими инструментами: Spark включает различные оптимизации, такие как ленивые вычисления, определение оптимального плана выполнения и кэширование промежуточных результатов. Он также интегрируется с другими инструментами, такими как Hadoop, Hive, HBase и другими, что позволяет использовать существующую инфраструктуру и инструменты.

#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_158

🔠Какие есть аналоги Spark ?

1. Hadoop MapReduce: Это фреймворк для обработки больших объемов данных, основанный на модели MapReduce. Он предоставляет распределенную обработку данных на кластере и является основным компонентом Apache Hadoop.

2. Apache Flink: Это распределенная система обработки потоковых данных и пакетных данных. Flink предлагает высокую производительность, низкую задержку и обработку данных в реальном времени. Он также обладает гибким API для различных операций над данными.

#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_158

🔠Какие есть аналоги Spark ? (Часть_2)

3. Apache Storm: Это фреймворк для обработки потоковых данных в реальном времени. Storm предоставляет возможность обрабатывать высокоскоростные потоки данных в режиме реального времени с гарантированными характеристиками надежности.

4. Databricks: Это облачная платформа для анализа данных, основанная на Apache Spark. Databricks предлагает среду для разработки, выполнения и мониторинга Spark-приложений, а также инструменты для визуализации и совместной работы с данными.

#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_158

🔠Какие есть аналоги Spark ? (Часть_3)

5. Google Cloud Dataflow: Это управляемый сервис для обработки потоковых и пакетных данных в облаке Google Cloud Platform. Dataflow предоставляет гибкость в выборе модели программирования, поддерживая как модель MapReduce, так и модель обработки потоков данных.

#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_159

🔠 Apache Storm - что это и как он устроен ? (Часть_1)

Apache Storm - это распределенный и масштабируемый фреймворк для обработки потоковых данных в реальном времени. Он предоставляет возможность обрабатывать высокоскоростные потоки данных с низкой задержкой и гарантированными характеристиками надежности.

#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_160

🔠 Apache Storm - что это и как он устроен ? (Часть_2)

Некоторые ключевые особенности Apache Storm:

1. Модель обработки данных: Storm базируется на модели потоковых данных (streaming data model), где данные обрабатываются по мере их поступления в систему. Он обеспечивает непрерывную и независимую обработку данных, что позволяет анализировать и реагировать на данные в реальном времени.

#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_160

🔠 Apache Storm - что это и как он устроен ? (Часть_3)

2. Распределенная обработка: Storm может быть развернут на кластере из множества узлов, что позволяет обрабатывать данные параллельно и масштабировать систему для обработки больших объемов данных и высоких нагрузок.

3. Гарантированная обработка данных: Storm обеспечивает гарантированную обработку данных, что означает, что данные не будут потеряны и обработаны хотя бы один раз. Он использует механизмы переупорядочивания и повторной обработки (replay) для обеспечения надежности обработки данных.

#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_160

🔠 Apache Storm - что это и как он устроен ? (Часть_3)

4. Масштабируемость и отказоустойчивость: Storm обладает встроенными механизмами для обнаружения сбоев и автоматического восстановления. Он может автоматически переназначать задачи (tasks) на другие узлы в случае сбоя, обеспечивая непрерывную работу системы.

5. Расширяемость и гибкость: Storm предоставляет гибкое API и возможность разработки пользовательских компонентов для обработки данных. Он также интегрируется с другими инструментами и системами, такими как Apache Hadoop, Apache Kafka и другими.

#ApacheSpark #bigdataprocessing #distributedcomputing #parallelprocessing #dataanalysis #highperformancecomputing #dataprocessing #API

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_161

🔠 Как проверить нормальность набора данных или признака? (Часть_1)

✔️Ответ: W-тест Шапиро-Уилка:

1. Рассчитывается выборочное среднее и ковариационная матрица выборки;
2. Затем вычисляются статистики заказа (например, i-е наименьшее число в выборке) и ожидаемые значения из статистики заказа, выбранные из стандартного нормального распределения;
3. Наконец, вычисляется W-статистика, которая сравнивается с критическим значением, полученным через моделирование Монте-Карло;
4. Если W-статистика значима, то гипотеза о нормальном распределении данных отвергается, то есть данные, не следуют нормальному распределению;

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DataAnalysis #NormalityTest #SampleMean #CovarianceMatrix #OrderStatistics #StandardNormalDistribution #WStatistic #MonteCarloSimulation

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_161

🔠 Как проверить нормальность набора данных или признака? (Часть_2)

✔️Ответ: Тест Мартинеса-Иглевича:

1. Вычисляются квантили выборки;
2. Эти квантили сравниваются с квантилями стандартного нормального распределения;
3. Расстояние между квантилями выборки и стандартного нормального распределения вычисляется для каждого квантиля;
4. Если все расстояния меньше некоторого критического значения, то гипотеза о нормальном распределении данных принимается.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DataAnalysis #NormalityTest #SampleMean #CovarianceMatrix #OrderStatistics #StandardNormalDistribution #WStatistic #MonteCarloSimulation

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_161

🔠 Как проверить нормальность набора данных или признака? (Часть_3)

✔️Ответ: Тест Д'Агостино

1. Вычисляются эксцесс и асимметрия выборки и эти значения сравниваются с ожидаемыми значениями для нормального распределения;
2. Расстояние между вычисленными и ожидаемыми значениями вычисляется для каждого из них;
3. Если оба расстояния меньше некоторого критического значения, то гипотеза о нормальном распределении данных принимается.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DataAnalysis #NormalityTest #SampleMean #CovarianceMatrix #OrderStatistics #StandardNormalDistribution #WStatistic #MonteCarloSimulation

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_162

🔠 Что означает термин "Variance Inflation Factor" и как он интерпретируется и есть ли ему аналоги ? (Част ь_1)

✔️Ответ: "Variance Inflation Factor" (VIF) относится к статистическому показателю, используемому для измерения степени мультиколлинеарности в модели линейной регрессии. Мультиколлинеарность происходит, когда две или более независимые переменные в модели сильно коррелируют друг с другом, что может исказить результаты регрессии.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DataAnalysis #NormalityTest #SampleMean #CovarianceMatrix #OrderStatistics #StandardNormalDistribution #WStatistic #MonteCarloSimulation

😎Ребят всем кому интересно, повысить свою квалификацию по облакам. В первую очередь будет интересно DevOps. Экзамен бесплатный 50 вопросов.

👉https://forms.yandex.ru/cloud/654b815543f74f10618809e2?utm_source=share2&utm_content=success
Регистрация на пилотный экзамен — Yandex Forms

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_162

🔠 Что означает термин "Variance Inflation Factor" и как он интерпретируется и есть ли ему аналоги ? (Част ь_2)

✔️Ответ: VIF равен 1, когда вектор предиктора ортогонален каждому столбцу матрицы проектирования для регрессии предиктора на другие ковариаты. В противном случае, если вектор предиктора не ортогонален всем столбцам матрицы проектирования для регрессии предиктора на другие ковариаты, VIF будет больше 1.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DataAnalysis #NormalityTest #SampleMean #CovarianceMatrix #OrderStatistics #StandardNormalDistribution #WStatistic #MonteCarloSimulation

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_162

🔠 Что означает термин "Variance Inflation Factor" и как он интерпретируется и есть ли ему аналоги ? (Часть_3)

Интерпретация VIF следующая: если VIF предиктора равен 5.27 (корень из 5.27 = 2.3), это означает, что стандартная ошибка для коэффициента этого предиктора в 2.3 раза больше, чем если этот предиктор имел бы корреляцию 0 с другими предикторами в модели. VIF измеряет количество завышенных дисперсий, вызванных мультиколлинеарностью.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DataAnalysis #NormalityTest #SampleMean #CovarianceMatrix #OrderStatistics #StandardNormalDistribution #WStatistic #MonteCarloSimulation

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_162

🔠 Что означает термин "Variance Inflation Factor" и как он интерпретируется и есть ли ему аналоги ? (Часть_4)

В качестве аналога VIF можно рассмотреть "Tolerance Index" (TI), который также используется для измерения степени мультиколлинеарности в модели. TI также представляет собой отношение дисперсии оценок параметра к дисперсии модели.

https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#DataAnalysis #NormalityTest #SampleMean #CovarianceMatrix #OrderStatistics #StandardNormalDistribution #WStatistic #MonteCarloSimulation