❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_86

🔠Q_86: Какие процессы и объекты затрагивает DevOps ?

✔️Ответ:

1 Code (Код) – разработка и анализ, контроль версий и слияния кода;
2 Build (Сборка) – непрерывная интеграция различных сборок;
3 Test (Тест) – непрерывное тестирование, обеспечивающее обратную связь по бизнес-рискам;
4 Operate (Работа с пакетами) – репозиторий артефактов, предварительная установка приложения;
5 Release (Выпуск) – управление изменениями, официальное утверждение выпуска, автоматизация выпуска;
6 Deploy (Развертывание конфигурации) – управление инфраструктурой как кодом;
7 Monitor (Мониторинг) – мониторинг производительности приложений, опыт работы с конечным пользователем.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #devops #coding

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_87

🔠Q_87: Какие процессы технологии и процессы применяет DevOps ?

✔️Ответ:

1/ Распределенный контроль версий (Git, Mercurial, Subversion, CVS);
2/ Контейнеризация (Docker, Rocket, Kubernetes);
3/ Непрерывная интеграция – сборка и тестирование конечного продукта (Jenkins, TeamCity, Bamboo);
4/ Управление инфраструктурой как кодом (Puppet, Chef, Ansible);
5/ Виртуализация (Vagrant);
6/ Балансировка облачных ресурсов (VMware DRS).

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #devops #coding

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_87

🔠Q_87: Какие процессы технологии и процессы применяет DevOps ?

✔️Ответ:

1/ Распределенный контроль версий (Git, Mercurial, Subversion, CVS);
2/ Контейнеризация (Docker, Rocket, Kubernetes);
3/ Непрерывная интеграция – сборка и тестирование конечного продукта (Jenkins, TeamCity, Bamboo);
4/ Управление инфраструктурой как кодом (Puppet, Chef, Ansible);
5/ Виртуализация (Vagrant);
6/ Балансировка облачных ресурсов (VMware DRS).

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #devops #coding

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_88

🔠Q_88: Что такое Apache Flink ?

✔️Ответ:

Apache Flink - это мощный и масштабируемый фреймворк для обработки потоковых и пакетных данных. Он предоставляет высокую производительность и надежность в области распределенных вычислений и обработки данных в реальном времени.

Apache Flink поддерживает обработку данных в формате стрима (поточная обработка) и батча (параллельная обработка). Это позволяет анализировать и обрабатывать данные непрерывно в реальном времени, а также выполнять масштабные задачи обработки данных по требованию.

Apache Flink спользует подход ориентированного графа, устраняя необходимость в отображении.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #devops #coding #apache #flink

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_88

🔠Q_89: Как устроен Apache Flink ?

✔️Ответ:

Он поддерживает различные источники данных, включая Apache Kafka, Apache Hadoop HDFS, Amazon S3 и другие.

Архитектура Flink состоит из нескольких ключевых компонентов. Одним из них является JobManager, который управляет выполнением задачи, планирует и назначает задачи на исполнение. TaskManager отвечает за реализацию и исполнение конкретных задач, работающих на каждом узле кластера. Кластер Flink также включает в себя ресурсы, такие как JobManager или TaskManager.

Flink поддерживает различные API для написания приложений, включая DataStream API и DataSet API. DataStream API позволяет обрабатывать потоковые данные, в то время как DataSet API предназначен для работы с пакетными данными.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #devops #coding #apache #flink

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_88

🔠Q_89: Что такое glove ?

✔️Ответ:

Global Vectors for Word Representation (GloVe) - это метод представления слов в виде векторов в компьютерных моделях. Он позволяет представить семантические и синтаксические отношения между словами в числовой форме. Эти векторы могут быть использованы для обработки естественного языка, анализа текстов и других задач.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #devops #coding #apache #glove

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_90

🔠Q_90: Что такое hbase ?

✔️Ответ:

HBase (Hadoop Database) - это распределенная система хранения данных, которая работает на основе Apache Hadoop. Она предоставляет возможность хранить и обрабатывать большие объемы структурированных данных в реальном времени. HBase базируется на модели ключ-значение и построена на основе Hadoop Distributed File System (HDFS). Она предоставляет высокую отказоустойчивость, масштабируемость и производительность при обработке больших данных. HBase широко используется в области аналитики, поиска и хранения данных в реальном времени для различных приложений.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #devops #coding #apache #glove

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_91

🔠Q_91: Что такое HDInsight ?

✔️Ответ:

HDInsight - это облачная платформа анализа больших данных, предоставляемая компанией Microsoft. Она позволяет организациям обрабатывать и анализировать огромные объемы данных с использованием инструментов и технологий с открытым исходным кодом, таких как Hadoop, Spark, Hive, HBase и другие. HDInsight обеспечивает масштабируемость, надежность и гибкость для работы с данными и решениями анализа Big Data.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #devops #coding #apache #glove

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_92

🔠Q_92: Как устроен Apache Hive ? (Часть_1)

✔️Ответ:

Внутренне Hive состоит из следующих компонентов:

1. Hive Query Language (HQL): HQL - это SQL-подобный язык запросов, который позволяет пользователям писать запросы для анализа и обработки данных. HQL компилируется в MapReduce-задачи, которые выполняются в рамках Hadoop кластера.

2. Metastore: Metastore - это регистр метаданных, который хранит информацию о схемах данных, таблицах, столбцах и других объектах Hive. Metastore может использовать различные базы данных, такие как Apache Derby, MySQL, PostgreSQL и другие.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #devops #coding #apache #glove

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_92

🔠Q_92: Как устроен Apache Hive ? (Часть_2)

✔️Ответ:

3. Query Compiler: Query Compiler - это компонент, ответственный за компиляцию HQL запросов в MapReduce-задачи. Query Compiler анализирует запросы, оптимизирует их выполнение и создает соответствующие задачи для распределенного выполнения.

4. Execution Engine: Execution Engine - это компонент, который выполняет компилированные MapReduce-задачи на Hadoop кластере. Execution Engine доставляет данные из источников данных, выполняет запросы и сохраняет результаты в соответствующих местах хранения.

5. Driver: Driver - это компонент, который принимает запросы HQL и координирует выполнение всех вышеперечисленных компонентов. Driver обрабатывает пользовательские запросы, управляет взаимодействием с Metastore, вызывает Query Compiler и запускает Execution Engine для выполнения запросов.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #devops #coding #apache #glove