⚠️Инструменты для пентеста №4

🔠Q3: ngrep ?

Ngrep - это инструмент для анализа сетевого трафика, который позволяет использовать регулярные выражения для поиска и фильтрации пакетов данных. Он поддерживает различные протоколы, такие как IPv4/6, TCP, UDP, ICMPv4/6, IGMP, а также может работать с различными интерфейсами сетевого соединения, такими как Ethernet, PPP, SLIP, FDDI, Token Ring и Null. Ngrep позволяет указывать расширенные регулярные выражения для поиска и анализа полезной нагрузки пакетов данных.

Ngrep также поддерживает фильтрацию BPF (Berkeley Packet Filter) - технологию, используемую для фильтрации сетевого трафика на более низком уровне. Это позволяет более гибко управлять анализом и отслеживанием пакетов данных с помощью ngrep

Ссылка: https://github.com/jpr5/ngrep/

#ngrep #networktrafficanalysis #regularexpressions #ipv4 #ipv6 #tcp #udp #icmpv4 #icmpv6 #igmp #ethernet #ppp #slip #fddi #tokenring #null #berkeleypacketfilter #networkfiltering #networkmonitoring

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_120 (Часть_1)

🔠Q_120: Из чего состоит Apache Nifi ?

1. Web-сервер: Apache NiFi включает в себя встроенный web-сервер, который обеспечивает веб-интерфейс для управления и мониторинга потоков данных.

2. Flow Controller: Flow Controller или контроллер потока данных является центральным управляющим компонентом Apache NiFi. Он управляет потоками данных, управляет компонентами и обрабатывает события.

3. Processors: Процессоры выполняют фактическую обработку данных и преобразование потоков данных. Они принимают входные данные, выполняют действия, например, фильтрацию, преобразование формата, объединение данных и отправляют обработанные данные в другие процессоры или системы.

#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_120 (Часть_2)

🔠Q_120: Из чего состоит Apache Nifi ?

4. Connections: Соединения представляют собой каналы связи между процессорами, которые передают данные из одного процессора в другой. Они определяют направление потока данных и механизмы доставки данных.

5. FlowFiles: FlowFiles являются базовыми объектами данных в Apache NiFi. Они содержат данные, а также набор атрибутов, описывающих эти данные.

6. Controllers: Контроллеры используются для настройки и управления системными ресурсами, например, базами данных, шифрованием, аутентификацией и авторизацией.

#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations

⚠️Инструменты для пентеста №5

🔠Q1: Sagan ?

Sagan - это инструмент, который использует движок, схожий со Snort, и набор правил для анализа различных журналов, таких как системные журналы, журналы событий, SNMP-ловушки, Netflow и другие.

Sagan предназначен для обнаружения и анализа аномального поведения в сети, с целью выявления потенциальных угроз безопасности. Он основан на системе обнаружения вторжений Snort, которая широко известна и популярна в сообществе информационной безопасности.

Cсылка: https://github.com/quadrantsec/sagan/

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#sagan #networksecurity #anomalydetection #intrusiondetection #snort

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_120 (Часть_3)

🔠Q_120: Из чего состоит Apache Nifi ?

7. Reporting Task: Задания отчетов предоставляют возможность собирать и отображать информацию о статусе системы, процессоров и потоков данных.

8. Templates: Шаблоны позволяют сохранить конфигурацию потока данных в файле для повторного использования или обмена с другими экземплярами Apache NiFi.

#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_121

🔠Q_121: Что такое NLTK ?

NLTK (Natural Language Toolkit) - это библиотека для обработки естественного языка на языке программирования Python. Она предоставляет инструменты для работы с текстовыми данными, включая различные функции для токенизации, лемматизации, предварительной обработки текста, классификации и извлечения информации. NLTK также содержит различные корпусы текстовых данных и модели, которые можно использовать для обучения и тестирования алгоритмов обработки естественного языка. Эта библиотека широко используется в академических и исследовательских целях, а также в индустрии для разработки и применения алгоритмов обработки текста и анализа данных.

ССылка: https://www.nltk.org

#nltk #natural #language #processing #python

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_122

🔠Q_122: Что такое object detection и какие алгоритмы с ним работают ?

Object detection — это задача компьютерного зрения, которая заключается в определении и локализации объектов различных классов на изображении или видео. Целью алгоритмов object detection является не только идентификация объектов, но и определение их прямоугольной области на изображении.

Существует несколько алгоритмов для решения задачи object detection:

1. R-CNN (Region-Based Convolutional Neural Networks) — этот алгоритм применяет выделение регионов для локализации объектов, а затем применяет нейронные сети для классификации найденных регионов.

2. Fast R-CNN — улучшенная версия R-CNN, которая предложила совместное обучение сверточных слоев для выделения регионов и классификации.

Сcылки:
- https://habr.com/ru/companies/jetinfosystems/articles/498652/
- https://habr.com/ru/articles/421299/

#object #detection #cnn #fast

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_122 (Часть_2)

🔠Q_122: Что такое object detection и какие алгоритмы с ним работают ?

3. Faster R-CNN — алгоритм, который добавляет в Fast R-CNN специальный слой Region Proposal Network (RPN), отвечающий за генерацию предложений регионов.

4. YOLO (You Only Look Once) — это алгоритм, который обрабатывает изображение одним проходом через нейронную сеть и делает прогнозы прямоугольных областей объектов и их классов в реальном времени.

Cсылка: https://medium.com/@bigdataschool/3-метода-детектирования-объектов-c-deep-learning-r-cnn-fast-r-cnn-и-faster-r-cnn-acdf6380fd33

#object #detection #cnn #fast

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_123 (Часть_1)

🔠Q_123: Что такое tensorflow и какая у него архитектура ?

TensorFlow - это открытая программная библиотека для машинного обучения, разработанная компанией Google. Она позволяет создавать, обучать и применять глубокие нейронные сети и другие модели машинного обучения. TensorFlow предоставляет удобный набор инструментов для работы с большими объемами данных и выполнения сложных вычислительных операций.

Архитектура TensorFlow основана на графовых структурах. Она состоит из двух основных компонентов: графа выполнения и среды выполнения.

Cсылка: https://www.tensorflow.org/?hl=ru

# tensorflow #gpu

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_123 (Часть_2)

🔠Q_123: Что такое tensorflow и какая у него архитектура ?

Граф выполнения представляет собой набор вычислительных операций, объединенных в графовую структуру. Каждая операция в графе представляет собой узел, а данные представлены в виде тензоров - многомерных массивов.

Граф определяет, как данные будут протекать через операции и как они будут преобразовываться.Среда выполнения TensorFlow выполняет операции графа и оптимизирует вычисления для достижения максимальной производительности. Она может выполняться на различных аппаратных платформах, включая процессоры центрального процессора (CPU), графические процессоры (GPU) и специализированные устройства, такие как Tensor Processing Units (TPU).

Cсылка: https://www.tensorflow.org/?hl=ru

#tensorflow #gpu

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_124

🔠Q_124: Что такое apache parquet ?

Apache Parquet - это формат хранения данных, используемый для эффективного хранения и обработки структурированных данных в экосистеме Hadoop.

Parquet был разработан для решения проблемы эффективного хранения больших объемов данных, где каждый файл паркета содержит журнал, или сегмент, который легко читается и записывается независимо от других сегментов.

Формат Parquet поддерживает сжатие данных и обеспечивает эффективную селективность столбцов при чтении данных, что позволяет снизить нагрузку на процессор и объем используемой памяти при обработке данных.

Parquet также обеспечивает схему данных и порядок столбцов, что улучшает производительность при выполнении запросов.

Cсылка: https://parquet.apache.org/docs/

#apache #parquet #datastorage #hadoop #dataprocessing #bigdata #efficiency #compression #selectivity #columnarstorage #dataschema #queryperformance

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_125

🔠Что такое YOLO (You Only Look Once) ?

👉Ответ
YOLO (You Only Look Once) — это алгоритм, который обрабатывает изображение одним проходом через нейронную сеть и делает прогнозы прямоугольных областей объектов и их классов в реальном времени.

Ссылка: https://habr.com/ru/articles/514450/

#yolo #algorithm #neuralnetwork #realtime #imageprocessing #objectdetection #classification

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_126

🔠Что такое SSD (Single Shot MultiBox Detector) ?

👉Ответ: SSD (Single Shot MultiBox Detector) — способ организации архитектуры сверточной нейронной сети, в которой используется набор конволюций разных размеров, чтобы детектировать объекты разных размеров на разных уровнях абстракции.

Ccылка: https://arxiv.org/abs/1512.02325

#SSD #neuralnetwork #convolutionalnetwork #objectdetection #multiboxdetector #architecture #abstraction

Ребят, планирую начать публиковать контент в сторис, кто за - бустаните, плиииз ))) ⛽️

https://t.me/DenoiseLAB?boost

Намедни, тусили с тестировщиками, мне задарили ультра-модную панамку. Ееее)))) Ребята вы лучшие !!!!! Теперь я, как Хантер Томпсон, осталось раздобыть очки и заняться гонзо-журналистикой. Только в моем случае это будет гонзо- ревью кода )))))

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_127

🔠Что такое ?

👉Ответ: OSMNX - это пакет Python, который позволяет загружать пространственные геометрии и моделировать, проектировать, визуализировать и анализировать реальные уличные сети из API-интерфейсов OpenStreetMap.

conda config --prepend channels conda-forge
conda create -n ox --strict-channel-priority osmnx

import osmnx as ox
graph = ox.graph_from_place('Berlin, Germany')

ox.plot_graph(graph)

Ccылка: https://habr.com/ru/companies/skillfactory/articles/654239/

#osmnx #python #spatialgeometry #streetnetworks #visualization #analysis #openstreetmap #api

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_128

🔠Что за формат данных Apache ORC ?

👉Ответ: Apache ORC (Optimized Row Columnar) — это формат хранения данных, разработанный Apache Software Foundation. Он предназначен для эффективного и компактного хранения структурированных данных, особенно для аналитических нагрузок.

ORC представляет собой гибридный формат, который использует преимущества как строкового, так и столбцового подходов к хранению данных. Данные в ORC-файлах организованы в столбцах, что позволяет эффективно сжимать и быстро обрабатывать отдельные столбцы. Это помогает улучшить производительность при выполнении запросов, так как обычно только несколько столбцов данных должны быть прочитаны для выполнения операции.

Кроме того, ORC поддерживает различные методы сжатия данных, включая Snappy, Zlib и LZO, что позволяет сократить размер файла и увеличить скорость чтения и записи.

😎Ссылка: https://habr.com/ru/companies/alfastrah/articles/458552/

#apache #orc #hadoop

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_129

🔠Что такое RBAC ?

RBAC (Role-Based Access Control) является методом управления доступом к ресурсам в информационных системах. Он основан на назначении ролей пользователям и предоставлении доступа к определенным ресурсам в системе на основе их роли.

В RBAC определяются следующие компоненты:
1. Роли: определяют группы пользователей с общим набором привилегий и доступа к ресурсам.
2. Права доступа: определяют допустимые операции с ресурсами, которые могут выполнять пользователи в рамках своих ролей.
3. Ресурсы: представляют объекты, к которым пользователи могут запрашивать доступ.
4. Пользователи: пользователи, которым назначаются определенные роли и права доступа.

Ссылка: https://habr.com/ru/articles/539778/

#rbac #rolebasedaccesscontrol #accesscontrol #informationsecurity #resources #roles #permissions #users

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_130 (Часть_1)

🔠Как устроен RCFile ?

RCFile (Record Columnar File) - это формат хранения данных в столбцовом формате. Он разработан для улучшения производительности чтения и записи больших объемов данных. Вот некоторая информация о том, как устроен RCFile:

1. Блоки данных: RCFile разбивает данные на блоки фиксированного размера, обычно 64 или 128 Кб. Большие файлы разбиваются на множество таких блоков.

2. Заголовок блока: Каждый блок начинается с заголовка, содержащего метаданные. Заголовок включает в себя информацию о сжатии столбцов, оффсеты и длины столбцов в блоке, а также информацию о наличии или отсутствии значений NULL.

#RCFile #data_storage_format #columnar_storage #hadoop
#big_data #data_serialization
#compression #indexing
#apache_hive

Сделали первый ролик по собесам ML, если тема зайдет, будем выкатывать такие постоянно. Сейчас все на стадии обкатки, звук, видео, монтаж.

Зацените, мы старались. Если у вас есть пожелания или замечания мы с удовольствием их рассмотрим.

https://www.youtube.com/watch?v=eAcp2N1gxO8

Всем приятного просмотра !!!