❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_61

🔠Q_61: Как работает Hadoop ? Часть_2

✔️Ответ:

3. Управление данными: Hadoop имеет распределенную файловую систему HDFS (Hadoop Distributed File System), которая обеспечивает надежное и эффективное хранение данных на узлах кластера. HDFS автоматически обнаруживает отказы и восстанавливает утраченные данные.

4. Масштабируемость: Hadoop обеспечивает горизонтальное масштабирование, т.е. возможность расширения кластера компьютеров при добавлении новых узлов. Это позволяет обрабатывать большие объемы данных путем добавления новых узлов в кластер.

Основные технологии: Hadoop Common, HDS, YARN, MapReduce

#work #ml #hadoop #server #dl #bigdata #hdfs #yarn #mapreduce #learning

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_62

🔠Q_62: Что такое Pruning ?

✔️Ответ:

Pruning, в контексте моделей машинного обучения, относится к процессу удаления ненужных параметров или связей в модели с целью сокращения её размера и улучшения её эффективности. В результате pruning'а, модель может стать более компактной и требовать меньше вычислительных ресурсов для работы, но сохранять при этом подобное или даже лучшее качество предсказаний. Pruning обычно применяется к моделям с большим количеством параметров, таким как нейронные сети, и может быть выполнен как во время обучения модели, так и после него.

#work #ml #pruning #model #ml #bigdata #hdfs #yarn #mapreduce #learning

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_63

🔠Q_63: Что такое AVRO ?

✔️Ответ:

Avro представляет собой систему сериализации данных, которая предоставляет компактное и эффективное представление данных для передачи и хранения. Этот формат независим от языка программирования, что делает его очень удобным для обмена данными между различными системами. Avro также обеспечивает поддержку эволюции данных, что означает, что можно добавлять, изменять или удалять поля данных без необходимости модификации всей структуры данных. Avro сохраняет схему в независимом от реализации текстовом формате JSON.

#work #ml #avro #model #ml #bigdata #hdfs #yarn #mapreduce #learning

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_65

🔠Q_65: Какие плюсы и минусы AVRO ?

✔️Ответ:

Плюсы AVRO:
1. Схематизация данных: AVRO предоставляет строгую схему для сериализации данных, что обеспечивает однородную структуру и упрощает работу с данными в процессе машинного обучения.
2. Эффективность: формат данных AVRO компактный и эффективный в использовании ресурсов.

Минусы AVRO :
1. Сложность чтения: AVRO данные обычно сохраняются в бинарном формате. Для чтения и интерпретации данных требуется знание схемы данных.
2. Неудобство при отладке: из-за компактности формата данных AVRO, отладка становится сложнее в случае возникновения ошибок или проблем с данными.

#work #avro #model #ml #bigdata #hdfs #yarn #mapreduce #learning