❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_61

🔠Q_61: Как работает Hadoop ? Часть_2

✔️Ответ:

3. Управление данными: Hadoop имеет распределенную файловую систему HDFS (Hadoop Distributed File System), которая обеспечивает надежное и эффективное хранение данных на узлах кластера. HDFS автоматически обнаруживает отказы и восстанавливает утраченные данные.

4. Масштабируемость: Hadoop обеспечивает горизонтальное масштабирование, т.е. возможность расширения кластера компьютеров при добавлении новых узлов. Это позволяет обрабатывать большие объемы данных путем добавления новых узлов в кластер.

Основные технологии: Hadoop Common, HDS, YARN, MapReduce

#work #ml #hadoop #server #dl #bigdata #hdfs #yarn #mapreduce #learning

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_62

🔠Q_62: Что такое Pruning ?

✔️Ответ:

Pruning, в контексте моделей машинного обучения, относится к процессу удаления ненужных параметров или связей в модели с целью сокращения её размера и улучшения её эффективности. В результате pruning'а, модель может стать более компактной и требовать меньше вычислительных ресурсов для работы, но сохранять при этом подобное или даже лучшее качество предсказаний. Pruning обычно применяется к моделям с большим количеством параметров, таким как нейронные сети, и может быть выполнен как во время обучения модели, так и после него.

#work #ml #pruning #model #ml #bigdata #hdfs #yarn #mapreduce #learning

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_63

🔠Q_63: Что такое AVRO ?

✔️Ответ:

Avro представляет собой систему сериализации данных, которая предоставляет компактное и эффективное представление данных для передачи и хранения. Этот формат независим от языка программирования, что делает его очень удобным для обмена данными между различными системами. Avro также обеспечивает поддержку эволюции данных, что означает, что можно добавлять, изменять или удалять поля данных без необходимости модификации всей структуры данных. Avro сохраняет схему в независимом от реализации текстовом формате JSON.

#work #ml #avro #model #ml #bigdata #hdfs #yarn #mapreduce #learning

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_65

🔠Q_65: Какие плюсы и минусы AVRO ?

✔️Ответ:

Плюсы AVRO:
1. Схематизация данных: AVRO предоставляет строгую схему для сериализации данных, что обеспечивает однородную структуру и упрощает работу с данными в процессе машинного обучения.
2. Эффективность: формат данных AVRO компактный и эффективный в использовании ресурсов.

Минусы AVRO :
1. Сложность чтения: AVRO данные обычно сохраняются в бинарном формате. Для чтения и интерпретации данных требуется знание схемы данных.
2. Неудобство при отладке: из-за компактности формата данных AVRO, отладка становится сложнее в случае возникновения ошибок или проблем с данными.

#work #avro #model #ml #bigdata #hdfs #yarn #mapreduce #learning

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_108

🔠Q_108: Что такое Flume ?

✔️Ответ:

Flume является фреймворком для сбора, агрегации и доставки больших объемов данных из различных источников в хранилища данных, такие как Apache Hadoop HDFS или Apache HBase. Он обеспечивает масштабируемость и отказоустойчивость при сборе данных, используя распределенные агенты, называемые агентами Flume.

#flume #apache_hadoop #hdfs #apache_hbase #flume_agents

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_110

🔠Q_110: Что такое Hadoop User Experience ?

✔️Ответ:

Hue (Hadoop User Experience) - это веб-интерфейс для управления и мониторинга кластера Hadoop. Он обеспечивает пользовательский доступ к различным компонентам Hadoop, таким как HDFS, Hive, Impala, Pig, Sqoop, Oozie и др., и предоставляет графические инструменты для выполнения запросов, создания рабочих нагрузок и визуализации данных.

#hue #hadoop #webinterface #userexperience #clustermanagement #monitoring #hdfs #hive #impala #pig #sqoop #oozie #datavisualization #graphicaltools #queryexecution #workloadcreation

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_111

🔠Q_111: Что такое HttpFS ?

✔️Ответ:

HttpFS - это сервис, предоставляющий HTTP-интерфейс для доступа к данным в Hadoop HDFS. Он позволяет пользователям взаимодействовать с файловой системой Hadoop и выполнять операции чтения, записи и администрирования с помощью стандартных HTTP-команд и запросов. HttpFS обеспечивает безопасность и авторизацию для доступа к данным HDFS.

#httpfs #httpinterface #hadoophdfs #hadoopfilesystem #dataaccess #readoperation #writeoperation #administration #httpcommands #httprequests #security #authorization #hdfs