❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_6

🔠6/ В чем разница между Shapley и Feature Importance при анализе фичей разве они не одно и тоже делают ?

✔️Ответ: Метод Shapley и feature importance - это два разных подхода для определения важности признаков в задаче машинного обучения.

Метод Shapley основывается на теории коалиционных игр и позволяет определить, какой вклад вносят каждый признак в прогноз модели с учетом объектов. Он учитывает взаимодействия между признаками и позволяет установить относительную важность каждого признака в зависимости от его вклада в конечный результат.

Feature importance, с другой стороны, не учитывает взаимодействия между признаками, а лишь определяет, насколько сильно каждый признак влияет на конечный результат. Эта метрика может быть вычислена разными способами, например, с помощью моделей, встроенных в библиотеки машинного обучения, или с помощью пермутационного тестирования.

Таким образом, метод Shapley более точен, потому что он учитывает взаимодействия между признаками, но он также может быть более сложен в вычислении, чем feature importance. Feature importance может быть более простым подходом, но может дать менее точные результаты, особенно если есть сильные взаимодействия между признаками.

#work #ml #deep #learning #optimization #testing #data_science #model #analysis #coding #accuracy #precission #recall #score

❓100 Вопросов по машинному обучению (Machine Learning) - Вопрос_7

🔠 Вопрос_7: Как справится с отсутствующими или поврежденными данными в датасете ?

✔️Ответ:

1. Удаление проблемных данных: если проблемные данные составляют небольшую долю от общего объема данных, то их можно просто удалить из датасета. Однако, если их много, это может привести к уменьшению объема данных, что может негативно сказаться на результате обучения. В этом случае рекомендуется не удалять данные, а записать их в отдельный датасет, возможно потом они понадобятся в какой-то части или удасться их восстановить.

2. Заполнение пропущенных значений: другой способ - это заполнение пропущенных значений средним или медианным значением. Если в датасете много пропущенных данных, то можно использовать методы, такие как KNN-заполнение.

3. Кодирование пропущенных значений: вместо удаления или заполнения пропущенных значений можно закодировать их как отдельные значения, которые будут использоваться в качестве фактора в обучении модели.

4. Использование алгоритмов, устойчивых к пропущенным данным: некоторые модели машинного обучения, например, случайный лес, являются устойчивыми к пропущенным данным, что позволяет использовать такие данные без необходимости их предварительной обработки.

https://habr.com/ru/articles/663414/

#work #ml #deep #learning #optimization #testing #data_science #model #analysis #coding #accuracy #precission #recall #score

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_8

🔠Вопрос_8: В Чем разница между стохастический градиентным спуском и обычным градиентным спуском ?

✔️Ответ:

Градиентный спуск и стохастический градиентный спуск - это два различных алгоритма оптимизации для обучения моделей машинного обучения.

Градиентный спуск (Gradient Descent) является итеративным методом, который минимизирует функцию потерь, обновляя веса (параметры) модели в направлении, противоположном градиенту функции потерь. Этот метод подходит для обучения на небольших наборах данных, но может работать медленно на больших наборах данных.

Стохастический градиентный спуск (Stochastic Gradient Descent) - это вариант градиентного спуска, которым минимизируется функция потерь путем случайного выбора подмножества данных и вычисления градиента на каждой итерации. Это делает SGD гораздо быстрее, чем градиентный спуск, на больших наборах данных. Однако, такой метод может быть менее точным, чем обычный градиентный спуск, и может иметь проблемы с сходимостью.

Таким образом, основная разница между градиентным спуском и стохастическим градиентным спуском заключается в том, как они обновляют веса модели. Градиентный спуск использует полный набор данных для вычисления градиента, в то время как SGD использует случайно выбранные подмножества данных, что делает его более быстрым на больших наборах данных. Однако, SGD может оказаться менее точным и может не обеспечивать такой стабильности, как градиентный спуск.

https://habr.com/ru/articles/472300/
https://habr.com/ru/articles/716380/

#work #coding #testing #optimization #ml #learning #deep #data_science #model #score

❓100 CEH (Certificated Ethical Hacker) - Вопрос_4

⚠️Q4: The replication of which of the following applications requires a host application?

- Micro
- Worm
- Trojan
- Virus

✔️Ответ: Virus

Для репликации вируса, его выполнения и распространения на другие системы требуется хост-приложение. Все остальные не требуют наличия хост-приложения для репликации.

Хост-приложение - это программное обеспечение, которое обеспечивает ресурсы и условия для выполнения другого приложения на компьютере или сервере. Оно предоставляет среду выполнения для других приложений, позволяет им использовать общие ресурсы, такие как процессор, оперативную память, жесткие диски и т.д., и управляет взаимодействием между приложениями. Примеры хост-приложений включают в себя веб-серверы, базы данных, виртуальные машины и т.д.

https://habr.com/ru/companies/AflexDistribution/articles/123180/

⛔️⛔️⛔️Отказ от ответственности: Материалы публикуем в канале несут лишь информационный характер, редакция канала не несет ответственности за ваши возможные действия и последующие за ними последствия. Мы также не призываем вас нарушать закон.

#cyber #secutity #coding #malware #vulnerabilities #coding #qa #analysis #penetration #testing #account

❓100 CEH (Certificated Ethical Hacker) - Вопрос_5

⚠️Q5: Which of the following attacks is it attempting to protect against if your organization installs mantraps in the entranceway?

- Dumpster diving
- Shoulder surfing
- Tailgating
- Eavesdropping

✔️Ответ: Tailgating

Мантрапы (Tailgating) - это механизмы физической безопасности, используемые для ограничения несанкционированного доступа в охраняемую зону. Они работают, позволяя только одному человеку входить в обозначенную зону одновременно. Пропуск происходит, когда неавторизованное лицо следует за авторизованным лицом в запретную зону без прохождения надлежащей процедуры проверки.

https://habr.com/ru/companies/kingservers/articles/313268/

⛔️⛔️⛔️Отказ от ответственности: Материалы публикуем в канале несут лишь информационный характер, редакция канала не несет ответственности за ваши возможные действия и последующие за ними последствия. Мы также не призываем вас нарушать закон.

#cyber #secutity #coding #malware #vulnerabilities #coding #qa #analysis #penetration #testing #account

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_9

🔠Вопрос_9: Когда регуляризация используется в машинном обучении?

✔️Ответ:

Регуляризация используется в машинном обучении для предотвращения переобучения модели. Она применяется с целью уменьшения весовых коэффициентов модели, что уменьшает их чувствительность к шуму в данных и повышает обобщающую способность модели. Регуляризация применяется при обучении моделей с помощью методов, таких как линейная регрессия, логистическая регрессия и нейронные сети. Различные виды регуляризации включают L1, L2 и Elastic Net регуляризацию.

https://habr.com/ru/companies/ods/articles/323890/

#work #coding #testing #optimization #ml #learning #deep #data_science #model #score

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_10

🔠Вопрос_10: Что такое Bias, Variance и что вы подразумеваете под Bias-Variance Tradeoff?

✔️Ответ:

В машинном обучении bias и variance - это две основные ошибки, которые возникают при обучении модели.

Bias указывает, насколько ошибочны прогнозы модели относительно истинных значений. Когда модель имеет высокое значение bias, это значит, что она слишком простая и не имеет достаточно гибкости, чтобы захватить все зависимости между переменными в данных. Это может привести к недообучению, когда модель плохо работает на данных обучения.

Variance, с другой стороны, указывает на то, насколько "шумны" прогнозы модели. Если модель имеет высокую дисперсию, это значит, что она слишком сложная и способна улавливать случайные шумы в данных. Это может привести к переобучению, когда модель работает хорошо на данных обучения, но плохо на новых данных.

Bias-variance tradeoff - это компромисс между между моделями, которые имеют высокую точность, но могут быть переобучены (высокая дисперсия), и моделями, которые имеют менее точные результаты, но лучше обобщаются на новые данные (низкая дисперсия). Идея заключается в том, чтобы найти оптимальное сочетание bias и variance, которое обеспечивает наилучшую обобщающую способность модели.

https://habr.com/ru/companies/microsoft/articles/334556/

#work #coding #testing #optimization #ml #learning #deep #data_science #model #score

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_11

🔠Вопрос_11: На сегодняшний день существует множество алгоритмов машинного обучения. Если дан набор данных, как определить, какой алгоритм следует использовать для этого?

✔️Ответ:
При выборе алгоритма машинного обучения для конкретного набора данных, необходимо учитывать несколько факторов:

1. Тип задачи: классификация, регрессия или кластеризация.
2. Масштаб данных: количество объектов и признаков.
3. Структура данных: присутствуют ли пропущенные значения, выбросы, корреляции между признаками.
4. Наличие признаков различных типов: бинарных, категориальных, числовых.
5. Выборка данных: случайная ли выборка, сбалансированы ли классы в задаче классификации.
6. Возможные ограничения на время обучения или размер модели.

Например: Если данные линейны, то мы используем линейную регрессию. Если данные нелинейны, то лучше использовать алгоритм bagging. Если данные должны быть проанализированы/интерпретированы для каких-то бизнес-целей, то мы можем использовать деревья решений или SVM. Если набор данных состоит из изображений, видео, аудио, то нейронные сети помогут получить точное решение.

Таким образом, не существует определенной метрики, чтобы решить, какой алгоритм следует использовать для данной ситуации или набора данных. Нам необходимо изучить данные с помощью EDA (Exploratory Data Analysis) и понять цель использования набора данных, чтобы найти наиболее подходящий алгоритм. Поэтому важно подробно изучить все алгоритмы.

https://habr.com/ru/companies/microsoft/articles/317512/

#work #coding #testing #optimization #ml #learning #deep #data_science #model #score

❓100 CEH (Certificated Ethical Hacker) - Вопрос_5

⚠️Q5: What is XSS or Cross-Site Scripting?

✔️Ответ: Как объясняет OWASP, "атаки межсайтового скриптинга (XSS) - это тип инъекции, при котором вредоносные скрипты внедряются в доброкачественные и надежные веб-сайты. XSS-атаки происходят, когда злоумышленник использует веб-приложение для отправки вредоносного кода, обычно в виде сценария на стороне браузера, другому конечному пользователю. Недостатки, которые позволяют этим атакам быть успешными, довольно широко распространены и встречаются везде, где веб-приложение использует ввод от пользователя в генерируемом им выводе без его проверки или кодирования".

🔥🔥🔥Отказ от ответственности: Материалы публикуем в канале несут лишь информационный характер, редакция канала не несет ответственности за ваши возможные действия и последующие за ними последствия. Мы также не призываем вас нарушать закон.

#cyber #secutity #coding #malware #vulnerabilities #coding #qa #analysis #penetration #testing #account