❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_70

🔠Q_70: Можете ли вы назвать что в своем составе содержит Cloudera CDH ?

✔️Ответ:

- инструменты для управления потоками данных (Flume, Sqoop);
- фреймворки распределённой и потоковой обработки, а также брокеры сообщений (Spark, Kafka);
- СУБД для Big Data аналитики (HBase, Hive, Impala);
- высокоуровневый процедурный язык для выполнения запросов к большим слабоструктурированным наборам данных (Pig);
- координаторы и планировщики задач (Zookeeper, Oozie);
- средства Machine Learning (Mahout);
- набор библиотек для запуска облачных сервисов (Whirr).

#work #свр #apache #bigdata #cloudear #type #mapreduce #learning

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_71

🔠Q_71: Что такое Cloudera Manager ?

✔️Ответ:

Cloudera Manager — собственная специализированная подсистема управления кластером. Она включает сценарии развёртывания Hadoop-инфраструктуры и средства Apache Maven, что позволяет автоматизировать создание и модификацию локальных и облачных Hadoop-сред, отслеживать и анализировать эффективность выполнения заданий, настраивать оповещения о наступлении событий, связанных с эксплуатацией инфраструктуры распределённой обработки данных

#work #cdh #apache #bigdata #cloudear #type #mapreduce #learning

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_72

🔠Q_72: В чем суть алгоритма Краскала ?

✔️Ответ:

Алгоритм Краскала - это алгоритм для построения минимального остовного дерева взвешенного неориентированного графа. Он основан на жадной стратегии, которая добавляет ребра с наименьшим весом, при условии, что они не образуют цикл с уже добавленными ребрами.

Вот основные шаги алгоритма Краскала:

1. Сортируем все ребра графа по возрастанию их весов.
2. Создаем пустое остовное дерево (граф без циклов).
3. Последовательно перебираем ребра в отсортированном порядке.
4. Для каждого ребра проверяем, не создаст ли его добавление цикл в уже существующем остовном дереве. Если нет, то добавляем это ребро в остовное дерево.
5. Повторяем шаг 4 до тех пор, пока все ребра не будут перебраны.

После выполнения алгоритма, мы получаем минимальное остовное дерево, которое содержит все вершины графа и имеет минимальную сумму весов ребер.

#work #algorithms #coding #ml #dl #cloudear #type #mapreduce #learning