DenoiseLAB
486 subscribers
1.33K photos
159 videos
3 files
1.57K links
Блог DenoiseLAB (машинное обучение, аналитика)

Информация в канале служит только для ознакомления и не является призывом к действию. Не нарушайте законы РФ и других стран. Мы не несем отвественность за ваши действия или бездействия.
Download Telegram
100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_95

🔠Q_95: Какие службы управляют потоками в HortonWorks ? (Часть_2)

✔️Ответ:

3. Apache Storm: масштабируемая и распределенная система обработки потоков данных в реальном времени. Storm позволяет анализировать, обрабатывать и обновлять потоки данных на ходу.

4. Apache Flink: распределенная система обработки потоков данных и аналитики в реальном времени. Flink предлагает высокую пропускную способность, низкую задержку и точность гарантии обработки данных.

5. Apache Spark Streaming: позволяет проводить потоковую обработку данных с использованием машинного обучения, графовых алгоритмов и SQL-запросов.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #hortonworks
100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_96

🔠Q_96: Что такое Cloudera Impala ?

✔️Ответ:

Cloudera Impala - это интерактивная аналитическая база данных с открытым исходным кодом, которая предоставляет мощную и быструю аналитику для обработки больших объемов данных в реальном времени.

Impala была разработана компанией Cloudera и предоставляет SQL-подобный интерфейс для чтения, записи и аналитической обработки данных, хранящихся в Apache Hadoop.

Она позволяет пользователям выполнять сложные запросы и анализировать данные в режиме реального времени без необходимости перемещать данные из Hadoop в другие системы для обработки.

Написана на С++, и распространяется по лицензии Apache 2.0. Это MPP-движок, распределенная СУБД и база данных стека SQL-on-Hadoop.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #impala
100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_97

🔠Q_97: Как происходит взаимодействие с Cloudera Impala ?

✔️Ответ:

Взаимодействие с Cloudera Impala осуществляется через клиентские приложения или с использованием языка SQL.

1. Клиентские приложения: Cloudera Impala предоставляет клиентские приложения для взаимодействия с базой данных. Некоторыми из них являются impala-shell и impala JDBC/ODBC драйверы. Пользователи могут использовать эти приложения для подключения к Impala-узлам и выполнения SQL-запросов.

2. Язык SQL: Impala поддерживает SQL-диалект, основанный на стандарте SQL-2011. Пользователи могут использовать язык SQL для написания запросов и выполнения операций с базой данных, таких как запросы SELECT, INSERT, UPDATE и DELETE.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #impala
100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_97

🔠Q_97: Как происходит взаимодействие с Cloudera Impala ? (Часть_1)

✔️Ответ:

1. Impala Daemon (Impalad): Это основной серверный компонент Impala, который выполняет запросы SQL в реальном времени и взаимодействует с клиентами.

2. Query Planner: Он отвечает за планирование и оптимизацию запросов перед их выполнением. Он определяет наиболее эффективные способы выполнения запросов, включая выбор индексов, управление параллелизмом запросов и др.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #impala
100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_98

🔠Q_98: Как происходит взаимодействие с Cloudera Impala ? (Часть_2)

✔️Ответ:

5. Distributed File System (HDFS): Используется для хранения данных, доступных для обработки Impala. Данные хранятся в формате блоков и распределены по узлам кластера.

6. Metastore: Это хранилище метаданных для данных Hive и Impala. Он хранит информацию о таблицах, столбцах, типах данных и других свойствах данных.

7. Impala Shell: Интерактивная командная оболочка, которая предоставляет средства для взаимодействия с Impala и выполнения запросов SQL.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #impala
100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_98

🔠Q_98: Как происходит взаимодействие с Cloudera Impala ? (Часть_2)

✔️Ответ:

8. Impala JDBC/ODBC drivers: Обеспечивают подключение к Impala из сторонних приложений и инструментов, позволяя использовать эти приложения для выполнения запросов SQL и получения данных из Impala.

9. Impala UI: Веб-интерфейс для мониторинга и администрирования кластера Impala. Позволяет отслеживать выполнение запросов, просматривать статистику выполнения и управлять ресурсами.

10. Impala Statestore: Это сервис, отвечающий за поддержание состояния кластера Impala, включая информацию о доступных узлах и их загруженности, для балансировки запросов и распределения задач.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #impala
100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_98

🔠Q_98: Плюсы и минусы Cloudera Impala ? (Часть_1)

✔️Ответ:

Плюсы Cloudera Impala:
1. Высокая производительность: Cloudera Impala предлагает быстрый доступ к данным с помощью обработки запросов в памяти. Он предоставляет низкую задержку при выполнении запросов, особенно когда речь идет о сложных запросах, включающих большие объемы данных.

2. Интерактивные запросы: Cloudera Impala обеспечивает возможность выполнения интерактивных запросов непосредственно к данным в Hadoop-кластере, что позволяет аналитикам быстро получать реальные временные отчеты и выводить результаты в режиме реального времени.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #impala
100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_98

🔠Q_98: Плюсы и минусы Cloudera Impala ? (Часть_1)

✔️Ответ:

Плюсы Cloudera Impala:
3. Интеграция с Hadoop-экосистемой: Cloudera Impala полностью интегрируется с другими инструментами и сервисами Hadoop, такими как Hadoop Distributed File System (HDFS), Apache Hive, Hue и другие. Это позволяет пользователям использовать уже существующую инфраструктуру и данные для выполнения запросов с помощью Impala.

4. Легкость использования: Cloudera Impala предлагает SQL-подобный язык запросов, что делает его легко доступным и понятным для аналитиков и специалистов по данным.

5. Поддержка различных типов данных: Cloudera Impala поддерживает различные типы данных и форматы, включая текст, паркет, avro, RCFile и другие.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #impala
100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_98

🔠Q_98: Плюсы и минусы Cloudera Impala ? (Часть_1)

✔️Ответ:
Минусы Cloudera Impala:
1. Ограниченная масштабируемость: Cloudera Impala может столкнуться с проблемами производительности и масштабируемости при обработке больших объемов данных или сложных запросов. В некоторых случаях большие запросы могут привести к перегрузке памяти или снижению производительности.

2. Ограниченная поддержка некоторыми форматами данных: Cloudera Impala не полностью поддерживает некоторые форматы данных, такие как ORC и Parquet, что может ограничить возможности использования некоторых данных.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #impala
100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_98

🔠Q_98: Плюсы и минусы Cloudera Impala ? (Часть_4)

✔️Ответ:
Минусы Cloudera Impala:
3. Требование к ресурсам: Cloudera Impala требует большого количества ресурсов для обеспечения высокой производительности. Это означает, что пользователи могут столкнуться с проблемами ограниченных ресурсов и потерей производительности в случае недостатка вычислительной мощности.

4. Сложность настройки и управления: Настройка и управление Cloudera Impala может быть сложной задачей для средних и малых предприятий, требующих опытных специалистов по данным или администраторов систем.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #impala
100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_99

🔠Q_99: Что такое Impala Daemon ?

✔️Ответ:

Impala daemon - это процесс, который запускается на каждом рабочем узле кластера Apache Impala. Этот демон отвечает за выполнение запросов к данным в режиме реального времени, используя распределенную обработку. Он является частью архитектуры Impala и обеспечивает высокую производительность и масштабируемость системы. Каждый impala daemon управляет своим собственным набором потоков выполнения и обрабатывает запросы от клиентов Impala, а также координирует работу с другими узлами кластера для получения необходимых данных и обработки операций.

#work #datalake #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #impala
100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_100

🔠Q_100: Что такое Apache Kafka ?

✔️Ответ:

Apache Kafka - это распределенная платформа для обработки, хранения и передачи потоков данных в реальном времени. Он предоставляет возможность управлять потоками данных между различными системами и компонентами приложения.

Kafka основан на модели издатель-подписчик, где данные публикуются в "топики" и могут быть подписаны множеством приложений. Вместо того, чтобы просто передавать сообщения напрямую от отправителя к получателю, Kafka сохраняет сообщения на длительное время в разделенных топиках. Это позволяет приложениям читать данные из топиков в любое время и в любом порядке, а также создавать множество параллельных потоков обработки.

https://kafka.apache.org

#work #kafka #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #impala
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_101

🔠Q_101: Почему говорят что Apache Kafka используется как Event Processing Systems ?

✔️Ответ:

Данная технология поддерживается для двух классов приложений:

- построение потоков каналов в режиме реального времени (real-time streaming data piplines) c надежностью получения данных между системами и приложениями.

- построение потоковых приложений в режиме реального времени (real-time streaming applications) которые трансформируют или реагируют на данные потока.

#work #kafka #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #impala
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_102

🔠Q_102: Что такое DataWarehouse ?

✔️Ответ:

Data warehouse — это централизованное хранилище данных, специально организованное для аналитической обработки и создания отчетов. Оно объединяет данные из различных источников, таких как операционные базы данных, внешние системы и файлы, и предоставляет возможность получать доступ к этим данным для анализа и принятия управленческих решений. Data warehouse обеспечивает структурированное хранение, учет и интеграцию данных, а также поддерживает различные методы анализа, включая OLAP (Online Analytical Processing), отчетность и аналитику. Он предназначен для упрощения процесса анализа данных и повышения эффективности бизнес-процессов.

#work #kafka #algorithms #math #ml #dl #tree #learning #machine #bigdata #coding #apache #data #warehouse
🔄🔄🔄Читаем статьи за Вас №3:

🗣Проблема нормализации данных

Нормализация данных необходима для сравнения признаков с разными диапазонами значений.
Стандартизация и робастная нормализация часто используются, но имеют недостатки.

🗣Стандартизация

Среднее арифметическое значение используется для центрирования данных.
Медиана предпочтительнее среднего арифметического для разных распределений.
Стандартное отклонение не всегда подходит для равномерного влияния признаков.

🗣Межквартильный интервал

Интервал между 75-м и 25-м процентилями используется для нормализации.
Проблема "хвостов" распределений может привести к искажению результатов.

🗣Размах значений

Размах значений признака используется для нормализации, но может быть искажен выбросами.
Проблема выбросов требует их удаления или учета в новом диапазоне.

🗣Автоматическое определение выбросов

Межквартильный метод используется для автоматического определения выбросов.
Проблема длинных "хвостов" может потребовать индивидуального подхода.

🗣Скорректированный интервал

Метод скорректированного интервала учитывает асимметрию распределения и обеспечивает равномерное влияние признаков.
Метод эффективен для центрирования и вписывания данных в заданный диапазон.

🗣Сравнение методов

Метод скорректированного интервала превосходит другие методы по универсальности и эффективности.
Демонстрационный класс AdjustedScaler доступен для экспериментов.

https://github.com/newchronik/adjdatatools - прикольный инструмент для корректировки данных, в целом не такая замысловатая формула, но очень хорошее объяснение, как правильно проводить анализ смещений в данных при нормализации и стандартизации.
вот тут еще есть статейка: https://habr.com/ru/articles/527334/

#articles #tools #analysis #math
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
🔄🔄🔄Читаем статьи за Вас №4:

🗣Отравление данных

Отравление данных — это метод атаки, при котором в модель вводятся паттерны, приводящие к неправильной классификации данных.
Отравление данных может использоваться для создания бэкдоров в моделях машинного обучения.

🗣Примеры и последствия отравления данных

Отравление данных может привести к неправильной классификации изображений, например, собак и торговых марок.
Отравление данных может быть использовано для управления системами, такими как беспилотные автомобили, через триггеры.

🗣Методы и проблемы отравления данных

Исследователи разрабатывают новые методы отравления данных, такие как TrojanNet, которые позволяют создавать бэкдоры без изменения исходной модели.
Методы отравления данных могут быть эффективными, но требуют доступа к исходным данным и могут снижать точность модели.

🗣Обеспечение безопасности моделей машинного обучения

Обеспечение безопасности моделей ИИ сложнее, чем традиционных программ, и требует разработки специализированных инструментов.
Важно проверять источники моделей и внедрять их только из надежных источников.

https://habr.com/ru/companies/piter/articles/661083/
https://github.com/trx14/TrojanNet

#articles #tools #analysis #math
Please open Telegram to view this post
VIEW IN TELEGRAM
🔄🔄🔄Читаем статьи за Вас №5:

Применение факторного анализа

🗣Факторный анализ позволяет увидеть степень влияния различных аспектов и сформировать группы тесно связанных параметров.

Исходный набор данных анализируется на аномальные ответы и корреляции между вопросами.
Проводится проверка данных на возможность проведения факторного анализа с использованием критериев Бартлетта и Кайзера-Мейера-Олкина.

🗣Определение количества факторов

Определяется количество групп вопросов, результаты которых схожи между собой.
Вычисляется корреляционная матрица между вопросами и полученными факторами.
Выделяются 6 факторов с собственным значением больше 1.

🗣Интерпретация и анализ результатов

Результаты переносятся в Excel для удобства расчетов.
Средний балл для каждого вопроса и фактора рассчитывается с учетом корреляций выше 0.5.
Проводится сравнение среднего балла по всем вопросам и факторам для подтверждения корректности анализа.
На основе полученных данных строятся гипотезы, которые могут быть проверены на качественных исследованиях.

https://habr.com/ru/articles/687338/

#articles #tools #analysis #math
Please open Telegram to view this post
VIEW IN TELEGRAM
🔄🔄🔄Читаем статьи за Вас №6:

🗣Анализ продуктовых фичей

Продуктовый аналитик занимается анализом пользовательского поведения и интерфейса продукта.
Исследования фичей включают новые релизы и старые функции, которые ранее не были затронуты.
Основная задача — определить, нравится ли пользователям новая функция и приносит ли она прибыль.

🗣Структура анализа
Продукт состоит из множества механик и фичей, управление которыми осуществляется через микро-показатели.
Улучшение каждой части системы приводит к улучшению всего продукта.
Для оценки эффективности фичей используются 5 метрик, которые описывают результаты взаимодействия пользователя с функцией.

🗣Базовые метрики
Adoption Rate (заметность) измеряет количество взаимодействий с функцией за день по отношению к общему количеству активных пользователей.
Engagement Rate (выполнение задачи) оценивает количество пользователей, выполнивших ключевую задачу функции за день.
Stickiness (закрепление функции) показывает, насколько часто пользователи возвращаются к функции в течение дня.
Conversion Rate (конверсия) оценивает долю конвертировавшихся пользователей функции в общем объеме пользователей.
Monetization Impact (влияние на доходы) оценивает влияние функции на доходы от приложения.

🗣Применение метрик
Все метрики в совокупности дают представление о характере функции и её влиянии на бизнес-цели.
Для анализа используется график Spider/Radar, который позволяет визуализировать сильные и слабые стороны продукта.
На основе графика можно наметить план детального исследования функций.

🗣Практическое применение
Метрики помогают определить, какие функции популярны среди пользователей и как они влияют на доходы.
Анализ метрик позволяет выявить проблемы с дизайном функций и определить направления для улучшения.
Система метрик может быть адаптирована для разных типов продуктов и использоваться для ранжирования функций.

https://habr.com/ru/articles/807585/

#articles #tools #analysis #math
Please open Telegram to view this post
VIEW IN TELEGRAM
Исследователи из Университета Миннесоты Твин-Ситис разработали новую архитектуру аппаратного обеспечения под названием Computational Random-Access Memory (CRAM), направленную на значительное снижение энергопотребления.

Об этом сообщается в статье, опубликованной в журнале npj Unconventional Computing. В традиционных подходах используется энергоемкая передача данных между логическими блоками и памятью, тогда как CRAM обрабатывает информацию непосредственно в массиве памяти, основываясь на технологии спинтронных устройств, которые используют спин электронов для хранения данных.

CRAM может уменьшить потребление энергии в области искусственного интеллекта в 1000 раз, что является решением одной из ключевых проблем — высоких затрат на энергоресурсы. Международное энергетическое агентство (IEA) прогнозирует, что потребление энергии в ИИ удвоится, увеличившись с 460 ТВт/ч в 2022 году до 1000 ТВт/ч к 2026 году, что соответствует общему потреблению электроэнергии в Японии.

https://neurohive.io/ru/papers/cram-novaya-apparatnaya-arhitektura-snizhaet-energopotreblenie-ii-v-1000-raz/

#articles #tools #analysis #math
🔄🔄🔄Читаем статьи за Вас №7:

🗣Основы продуктовой аналитики

Продуктовая аналитика включает в себя сбор и анализ данных о продукте для улучшения его качества.
Аналитики используют данные для выявления проблем и возможностей продукта.

🗣Процесс исследования

Исследование начинается с определения проблемы и постановки целей.
Необходимо сформулировать вопросы для исследования и определить ограничения.
После сбора данных следует их анализ и подготовка плана исследования.

🗣Анализ данных

Перед анализом данных необходимо их очистить и обработать.
В процессе анализа следует искать закономерности и зависимости.
Визуализация данных является важным этапом для создания понятного отчета.

🗣Выводы и рекомендации

В конце исследования необходимо подвести итоги и сформулировать рекомендации.
Отчет должен быть оформлен в удобном для всех участников формате.

🗣Оформление отчета

Существуют различные форматы отчетов, но важно, чтобы они были понятны для читателей.
Рекомендуется использовать R для написания отчетов и R Quarto для рендеринга в PDF.

https://habr.com/ru/articles/781466/

#articles #tools #analysis #math
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1