❓100 вопросов по Машинному обучению (Machine Learning) - Вопрос_1

1/ В чем разница обучение с учетелем и обучение без учителя ? (Explain the difference between supervised and unsupervised machine learning ?)

Основное отличие между обучением с учителем и обучением без учителя заключается в наличии или отсутствии структурированной информации о правильных ответах на заданные вопросы.

- Обучение с учителем: в процессе обучения существует учитель (например, преподаватель, специалист в определенной области), который предоставляет учащимся структурированные данные и правильные ответы на вопросы. Информация в этом случае может быть представлена в форме классифицированных данных, меток, разметки объектов и т.д. Точность и эффективность обучения с учителем высоки, но этот подход зависит от качества и количества обучающих данных.

- Обучение без учителя: в этом подходе информация для обучения не размечена, то есть нет правильных ответов на вопросы. Обучающая система должна самостоятельно искать закономерности и структуры данных. Обучение без учителя используется для задач кластеризации, сокращения размерности, обнаружения аномалий и т.д. Точность и эффективность обучения без учителя ниже, но его преимущество заключается в том, что система сама формирует кластеры и группы данных, что может открыть новые пути для анализа и использования данных.

#work #ml #deep #learning #optimization #testing #data_science #model #analysis #coding #accuracy #precision #recall #score

❓100 вопросов по Машинному обучению (Machine Learning) - Вопрос_2

2/ Что такое параметрические/непараметрические модели машинного обучения и приведите примеры ?

Параметрические модели машинного обучения - это модели, в которых число параметров заранее определено и не зависит от размера обучающей выборки. Примеры параметрических моделей машинного обучения включают линейную регрессию, логистическую регрессию, метод опорных векторов и некоторые модели на основе искусственных нейронных сетей.

С другой стороны, непараметрические модели машинного обучения не ограничены заранее определенным числом параметров, что позволяет более гибко обучаться на основе сложных данных и отображать непрерывные функции. Примеры непараметрических моделей машинного обучения включают решающие деревья, случайные леса и метод k-ближайших соседей.

#work #ml #deep #learning #optimization #testing #data_science #model #analysis #coding #accuracy #precision #recall #score

❓100 вопросов по Машинному обучению (Machine Learning) - Вопрос_3

2/ В чем разница между классификацией и регрессией ?

- Классификация используется для прогнозирования принадлежности объекта к определенному классу. Например, классификация может быть использована для определения, является ли электронный письмо "спамом" или "не спамом". Она обычно основана на обучении алгоритма на уже размеченных данных, чтобы он мог прогнозировать класс новых данных.

- Регрессия, с другой стороны, используется для прогнозирования непрерывного числового значения. Например, регрессия может использоваться для прогнозирования цены на недвижимость на основе ее характеристик, таких как площадь, количество комнат и т.д. Она также основана на обучении алгоритма на уже размеченных данных, чтобы он мог прогнозировать значения для новых данных.

Таким образом, основная разница между классификацией и регрессией заключается в том, что классификация используется для прогнозирования принадлежности к классу, тогда как регрессия используется для прогнозирования непрерывных значений.

#work #ml #deep #learning #optimization #testing #data_science #model #analysis #coding #accuracy #precision #recall #score

❓100 CEH (Certified Ethical Hacker) - Вопрос_1

Q:1-Which of the following is component of a risk assessment?

- Logical interface;
- DMZ;
- Administrative safeguards;
- Physical security;

Ответ: Administrative safeguards

💬Administrative safeguards относится к мерам защиты информационной системы, которые связаны с организационными политиками, процедурами, стандартами и методологиями, используемыми для управления информационной безопасностью.

💬К таким мерам относятся, например, политики на управление условиями доступа, процедуры настройки параметров безопасности, программы обучения для персонала, управление резервными копиями и т.д.

💬Эти меры позволяют администраторам систем обеспечить единство и последовательность процессов в управлении безопасностью, что повышает безопасность информационных технологий в организации.

⛔️⛔️⛔️Отказ от ответственности: Материалы публикуем в канале несут лишь информационный характер, редакция канала не несет ответственности за ваши возможные действия и последующие за ними последствия. Мы также не призываем вас нарушать закон.

#cyber #secutity #coding #malware #vulnerabilities #coding #qa #analysis #penetration #testing #account

❓100 CEH (Certified Ethical Hacker) - Вопрос_3

Q:3-An attacker gains access to a Web servers database and display the contents of the table that holds all of the names, passwords, and other user information. The attacker did this by entering information into the Web site's user login page that the software's designers did not expect to be entered. This is an example of what kind of software design problem?

- Insufficient security management;
- Insufficient database hardening;
- Insufficient exception handling;
- Insufficient input validation.

Ответ: Insufficient input validation

💬"Insufficient input validation" - это уязвимость, которая возникает, когда входные данные, которые получает веб-приложение, не проверяются на соответствие ожидаемому формату или типу. Это может позволить злоумышленнику отправлять вредоносные данные, которые могут служить началом других атак, например SQL-инъекции или кросс-сайтовых скриптов. Кроме того, недостаточная проверка ввода может также стать причиной ошибок приложения или отказа в обслуживании.

▶️ https://habr.com/ru/articles/328810/

⛔️⛔️⛔️Отказ от ответственности: Материалы публикуем в канале несут лишь информационный характер, редакция канала не несет ответственности за ваши возможные действия и последующие за ними последствия. Мы также не призываем вас нарушать закон.

#cyber #secutity #coding #malware #vulnerabilities #coding #qa #analysis #penetration #testing #account

❓100 вопросов по Машинному обучению (Machine Learning) - Вопрос_4

4/ Что такое переобучение и как с ним борются при разработке моделей машинного обучения ?

💬Переобучение (overfitting) — это явление в машинном обучении, когда модель слишком точно подгоняется под тренировочные данные, что приводит к низкой обобщающей способности модели на новые данные. То есть, модель "запоминает" все особенности тренировочных данных, но не умеет обобщать свои знания на новые данные вне тренировочного набора.

🔠Существуют несколько способов борьбы с переобучением:

1. Регуляризация: добавление к функции ошибки дополнительных слагаемых, которые штрафуют большие веса признаков. Это ограничивает сложность модели и заставляет ее обобщать лучше.

2. Сокращение количества признаков: удаление наименее значимых признаков, которые могут увеличивать шум и делать модель более сложной, что ведет к переобучению.

3. Кросс-валидация: разделение тренировочных данных на несколько частей и проверка, как модель работает на каждой части. Это позволяет определить, возникает ли переобучение и настраивать параметры модели для лучшей обобщающей способности.

4. Добавление шума: добавление случайного шума в данные может помочь модели лучше обобщать знания и избежать переобучения.

5. Использование алгоритмов, которые устойчивы к переобучению, таких как случайный лес, градиентный бустинг или нейронные сети с регуляризацией.

#work #ml #deep #learning #optimization #testing #data_science #model #analysis #coding #accuracy #precision #recall #score

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_5

🔠5/ Что такое ROC-AUC и Accuracy как их можно интерпретировать в рамках модели машинного обучения и в чем их разница ?

ROC-AUC (Receiver Operating Characteristic - Area Under the Curve) и Accuracy (точность) - это две разные метрики, используемые для оценки качества моделей машинного обучения.

Accuracy - это мера того, насколько хорошо модель предсказывает правильные ответы. Он показывает процент правильных ответов, которые модель дает на тестовом наборе данных. Например, если у вас есть 100 тестовых данных, и модель правильно классифицирует 85 из них, то точность модели будет равна 85%.

ROC-AUC, с другой стороны, измеряет, насколько хорошо модель отделяет положительные и отрицательные случаи. Она оценивает способность модели различать два класса и вычисляет площадь под кривой приемника операционной характеристики (ROC curve), построенной на основе отношения ложных положительных и ложных отрицательных результатов. Значение ROC-AUC находится в диапазоне от 0,0 до 1,0, где более высокие значения указывают на более высокое качество модели.

https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc

#work #ml #deep #learning #optimization #testing #data_science #model #analysis #coding #accuracy #precission #recall #score

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_6

🔠6/ В чем разница между Shapley и Feature Importance при анализе фичей разве они не одно и тоже делают ?

✔️Ответ: Метод Shapley и feature importance - это два разных подхода для определения важности признаков в задаче машинного обучения.

Метод Shapley основывается на теории коалиционных игр и позволяет определить, какой вклад вносят каждый признак в прогноз модели с учетом объектов. Он учитывает взаимодействия между признаками и позволяет установить относительную важность каждого признака в зависимости от его вклада в конечный результат.

Feature importance, с другой стороны, не учитывает взаимодействия между признаками, а лишь определяет, насколько сильно каждый признак влияет на конечный результат. Эта метрика может быть вычислена разными способами, например, с помощью моделей, встроенных в библиотеки машинного обучения, или с помощью пермутационного тестирования.

Таким образом, метод Shapley более точен, потому что он учитывает взаимодействия между признаками, но он также может быть более сложен в вычислении, чем feature importance. Feature importance может быть более простым подходом, но может дать менее точные результаты, особенно если есть сильные взаимодействия между признаками.

#work #ml #deep #learning #optimization #testing #data_science #model #analysis #coding #accuracy #precission #recall #score