❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_113

🔠Q_113: Что такое Sahara ?

✔️Ответ:

Sahara — это инструмент для управления проектами в масштабе предприятия. Он позволяет управлять задачами, ресурсами и расписанием проекта, а также отслеживать прогресс и результаты работ. Sahara поддерживает различные языки программирования, такие как Python, Java и Ruby, а также работает с различными СУБД, включая MySQL, PostgreSQL и Oracle. Sahara имеет простой интерфейс командной строки и API, которые позволяют интегрироваться с другими инструментами, такими как Apache Kafka, Apache Spark и Microsoft Azure Data Lake.

#zookeeper #sahara #oozie #taskmanagement #coordinationtools #jobplanning #datacoordination #clustercoordination #workflowautomation #distributedsystems #bigdata

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_114

🔠Q_114: Что такое Mahout ?

✔️Ответ:

Mahout — это библиотека машинного обучения, которая предоставляет широкий набор алгоритмов и инструментов для классификации, кластеризации, регрессии и анализа данных. Она поддерживает различные типы данных, включая текстовые данные, изображения и видео, а также может работать с различными СУБД, включая MySQL, PostgreSQL и Oracle. Mahout имеет простой интерфейс командной строки и API, которые позволяют интегрироваться с другими инструментами, такими как Apache Kafka, Apache Spark и Microsoft Azure Data Lake.

#mahout #machinelearning #classification #clustering #regression #dataanalysis #textdata #imagedata #videodata #mysql #postgresql #oracle #commandlineinterface #api #integration #apachekafka #apachespark #microsoftazuredatalake

⚠️100 CEH (Certificated Ethical Hacker) - Вопрос_82

🔠Q82: Что такое WpScan ?

✔️Ответ

Wpscan - это инструмент для анализа безопасности веб-сайтов, работающих на платформе WordPress. Он используется для сканирования сайта с целью обнаружения уязвимостей, проверки слабых паролей и исследования конфигурации сайта.

Cсылка: https://github.com/wpscanteam/wpscan

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#websecurity #WordPress #vulnerabilityscanning #webdevelopment

⚠️100 CEH (Certificated Ethical Hacker) - Вопрос_83

🔠Q83: Что такое Aircrack-ng ?

✔️Ответ

Aircrack-ng - это набор инструментов для анализа беспроводных сетей, в том числе для взлома паролей Wi-Fi. Он используется для тестирования безопасности сетей и выполнения аудита безопасности беспроводных сетей. Aircrack-ng позволяет обнаруживать и анализировать доступные беспроводные сети, захватывать зашифрованный трафик, проводить атаки на WEP и WPA-PSK пароли, а также осуществлять взлом WEP-защиты.

Ссылка: https://github.com/aircrack-ng/aircrack-ng

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#aircrack-ng #wireless_networks #network_security #password cracking #wi-fi #security_testing #security_audit #encryption #wep #wpa-psk #wep cracking #traffic_capturing #wireless_network_analysis

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_115

🔠Q_115: Что такое MLlib ?

MLlib — это библиотека машинного обучения, которая предоставляет функции для обучения нейронных сетей и других алгоритмов машинного обучения. Она поддерживает различные типы данных, включая изображения, видео и тексты, а также может работать с различными СУБД, включая MySQL, PostgreSQL и Oracle. MLlib имеет простой интерфейс командной строки и API, которые позволяют интегрироваться с другими инструментами, такими как Apache Kafka, Apache Spark и Microsoft Azure Data Lake.

#mllib #machinelearning #neuralnetworks #algorithms #datatypes #images #videos #texts #databases #mysql #postgresql #oracle #commandlineinterface #api #integration #apachekafka #apachespark #microsoftazure #datalake

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_116

🔠Q_115: Что такое MLlib ?

Solr — это поисковая система, которая использует алгоритм поиска Lucene и позволяет искать документы по различным критериям, таким как ключевые слова, тематические категории и метаданные. Solr поддерживает различные форматы документов, такие как HTML, PDF, JSON и XML, а также может работать с различными СУБД, включая MySQL, PostgreSQL и Oracle. Solr имеет простой интерфейс командной строки и API, которые позволяют интегрироваться с другими инструментами, такими как Apache Kafka, Apache Spark и Microsoft Azure Data Lake.

#solr #search #lucene #documentsearch #keywords #thematiccategories #metadata #html #pdf #json #xml #databases #mysql #postgresql #oracle #commandlineinterface #API #integration #apachekafka #apachespark #microsoftazure #datalake

⚠️100 CEH (Certificated Ethical Hacker) - Вопрос_84

🔠Q84: Что такое Wifite2 ?

✔️Ответ

Wifite2 - это инструмент для тестирования безопасности беспроводных сетей, предназначенный для взлома или аудита Wi-Fi сетей. Он позволяет автоматизировать процесс поиска, захвата и взлома паролей Wi-Fi сетей. Wifite2 является универсальным инструментом, который поддерживает различные атаки на Wi-Fi сети, включая атаки с использованием словарей и перебор паролей. Он предоставляет гибкий и простой в использовании пользовательский интерфейс для проведения тестов на проникновение в беспроводные сети.

Ссылка: https://github.com/derv82/wifite2

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#wifite2 #wirelesssecurity #networksecurity #wifiattacks #passwordcracking #networkaudit #wifinetworks #automatedtesting #penetrationtesting #wirelesspenetration #dictionaryattacks #passwordbruteforce #userfriendlyinterface

⚠️100 CEH (Certificated Ethical Hacker) - Вопрос_85

🔠Q85: Что такое Nessus ?

✔️Ответ

Nessus это программное обеспечение для сканирования уязвимостей и аудита информационной безопасности. Оно разработано компанией Tenable и используется для обнаружения уязвимостей в компьютерных системах, сетевых устройствах и приложениях. Nessus выполняет сканирование сети на наличие известных уязвимостей, предоставляет отчеты об обнаруженных проблемах и рекомендации по их устранению.

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#nessus #vulnerabilityscanning #securityaudit #informationsecurity #tenable #computersystems #networkdevices #applications #networkscanning #vulnerabilitydetection #problemidentification #securityrecommendations #issueaddressing

🔥🔥🔥Сегодня мы плотно на хакатоне, сделаем паузу по постам все продолжим завтра. Хакатон выдался очень тяжелый и неоднозначный, много подводных камней вышло, много нюансов вскрылось. Сейчас, плотно работаем, все материалы после хакатона выложу в свободный доступ, их накопилось уже очень много, все соберем в отдельные кучки. Команда собралась неплохая. Два аналитика и два человека которые плотно работают с моделями.

После хака все расскажу, ожидайте обновления, но у меня уже все кипит ))))

Куча траблов, куча ресерча, еще и условия не очень чтобы очень, но реально круто !!!

Пожелайте нам удачи !!!

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_117

🔠Q_115: Что такое Apache KNOX ? (Часть_1)

Apache Knox - это обратный прокси-сервер, который предоставляет единую точку доступа для взаимодействия с кластерами Hadoop через REST и HTTP. Он действует в качестве шлюза между клиентами и кластером Hadoop, обрабатывая аутентификацию и обеспечивая безопасное взаимодействие. Некоторые ключевые моменты о Apache Knox:

- Apache Knox действует в качестве обратного прокси, принимая запросы от клиентов и перенаправляя их на соответствующие сервисы Hadoop внутри кластера.
- Он предоставляет единую точку доступа для взаимодействия с кластером Hadoop, упрощая процесс аутентификации и авторизации.
- Apache Knox поддерживает различные механизмы аутентификации, включая LDAP, Kerberos и SAML.

#apache #knox #rest #http

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_117

🔠Q_117: Что такое Apache KNOX ? (Часть_2)

- Apache Knox поддерживает различные механизмы аутентификации, включая LDAP, Kerberos и SAML.
- Он обеспечивает безопасное взаимодействие, шифруя трафик между клиентом и кластером Hadoop.
- Apache Knox можно настроить с помощью файла gateway-site.xml, который содержит настройки для различных аспектов шлюза, таких как аутентификация, авторизация, аудит и сопоставление хостов.
- Он поддерживает несколько сервисов Hadoop, включая Hive, HBase, Oozie, Solr и WebHCat.

#apache #knox #rest #http

Мы все еще на хакатоне идет битва прям жесткая, километры кода и всяких идей. Ночь не спали занимались разметкой. Очень плотно. Работаем. Как и и обещали выкатываем список первую часть по нашим материалам все что мы накопали. Потом выкатим еще. В скором времени посты возобновятся. Хакатон по NLP.

Авто-код:
https://developers.sber.ru/link/gc4tg
https://chatgpt-free.ai/ru
https://www.phind.com

NLP:
https://www.kaggle.com/code/andreshg/nlp-glove-bert-tf-idf-lstm-explained/notebook
https://habr.com/ru/companies/lanit/articles/749946/
https://github.com/Rothgargeert/Dissertation-Chapter-3-Natural-Language-Processing
https://www.kaggle.com/code/sandeepbhogaraju/text-summarization-with-seq2seq-model
https://arxiv.org/pdf/2309.05494.pdf
https://arxiv.org/pdf/2308.01463.pdf
https://arxiv.org/pdf/2212.09701.pdf
https://arxiv.org/pdf/2212.09580.pdf
https://arxiv.org/pdf/2201.04831.pdf
https://arxiv.org/pdf/2108.00552.pdf
https://arxiv.org/pdf/2104.08017.pdf
https://arxiv.org/pdf/2104.01477.pdf
https://arxiv.org/pdf/2103.15581.pdf
https://arxiv.org/pdf/2012.02223.pdf
https://arxiv.org/pdf/1910.10849.pdf
https://arxiv.org/pdf/1910.10363.pdf
https://arxiv.org/pdf/1908.10784.pdf
https://arxiv.org/pdf/1602.07217.pdf
https://arxiv.org/ftp/arxiv/papers/1406/1406.7093.pdf
https://www.researchgate.net/publication/315634243_Metody_i_sistemy_semanticeskogo_analiza_tekstov
https://opensearch.org/blog/semantic-science-benchmarks/
https://www.kaggle.com/datasets/amananandrai/ag-news-classification-dataset/code?datasetId=612351&sortBy=voteCount
https://www.kaggle.com/code/mattison/unsupervised-matrix-factorization
https://github.com/sebischair/Lbl2Vec
https://huggingface.co/bert-base-multilingual-uncased

Bert:
https://www.kaggle.com/code/foolofatook/news-classification-using-bert
https://habr.com/ru/companies/just_ai/articles/733110/
https://github.com/AminRezaei0x443/Semantic-BERT
https://github.com/leenasuva/Topic-Analysis---BERT-Tokenizer
https://github.com/avikshit-banerjee/Semantic-and-Sentiment-Analysis-of-low-frequency-linguisics-using-BERT
https://github.com/AkankshaAgg/MoviesReviewsSemanticAnalysis-BERT
https://github.com/harshalDharpure/Word2Vec_And_BERT-Embedding.

Семантика:
https://habr.com/ru/articles/110078/
https://habr.com/ru/articles/323516/
https://russianblogs.com/article/406431495/
https://textblob.readthedocs.io/en/dev/
https://habr.com/ru/articles/197238/
https://habr.com/ru/articles/335668/
https://github.com/BelovN/semantic
https://github.com/yupest/data-analysis
https://github.com/ArtemYerokhin/Semantic_analysis

Дубликаты:
https://pkghosh.wordpress.com/2021/07/21/duplicate-data-detection-with-neural-network-and-contrastive-learning/

Энкодеры
https://habr.com/ru/articles/669674/
https://saturncloud.io/blog/using-huggingface-zeroshot-text-classification-with-large-datasets/
https://huggingface.co/datasets/ag_news

Поиск
https://querybase.ru/chto-mozhno-uznat-po-id-v-telegramme/?ysclid=lmkvg5v1hd93392593

Корпусы
https://www.kaggle.com/datasets/vyhuholl/large-russian-news-dataset
https://natasha.github.io/corus/
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount

Кластеризация
https://scikit-learn.org/stable/modules/clustering.html

Парсера:
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
https://www.rbc.ru/search/ajax/?project=crypto

Данные:
https://www.kaggle.com/datasets/dolfik/russian-telegram-chats-history

Данные:
https://www.kaggle.com/datasets/dolfik/russian-telegram-chats-history
https://github.com/marinanastas/telegrams
https://github.com/buriy/russian-nlp-datasets/releases
https://github.com/Koziev/NLP_Datasets
https://metatext.io/datasets-list/russian-language
https://toloka.ai/datasets/
https://github.com/infoculture/lawmon
https://github.com/romovpa/habrahabr-dataset
https://github.com/RossiyaSegodnya/ria_news_dataset
kaggle.com/phoenix120/gazeta-summaries
github.com/maxoodf/russian_news_corpus
https://github.com/yutkin/Lenta.Ru-News-Dataset
https://data.mendeley.com/datasets/xm86yszck2/1
https://www.kaggle.com/datasets/tariqsays/reddit-russiaukraine-conflict-dataset
https://data.mendeley.com/datasets/8rwpvrw4hw/1c
https://datasetsearch.research.google.com/search?src=0&query=nlp%20dataset%20russian&docid=L2cvMTFxOTl0a2owag%3D%3D
https://data.mendeley.com/datasets/vg4mw2x2dh/1
https://datasetsearch.research.google.com/search?
https://www.kaggle.com/datasets/goldian/writers
https://www.kaggle.com/datasets/carlosgdcj/genius-song-lyrics-with-language-information
https://github.com/DenoiseLABGit/AI_News
https://www.kaggle.com/competitions/us-patent-phrase-to-phrase-matching/discussion/314323
https://www.newscatcherapi.com/blog/ultimate-guide-to-text-similarity-with-python

Классификаторы:
https://vc.ru/ml/139880-reshaem-nlp-zadachu-kak-klassificirovat-teksty-po-temam

Анализ данных:
https://habr.com/ru/companies/otus/articles/759552/
https://examples.dask.org/machine-learning/text-vectorization.html
https://github.com/rosewang2008/sight

Переводчик:
https://www.deepl.com/translator

Форматы данных:
https://habr.com/ru/companies/vsk_insurance/articles/710798/

Авто-код:
https://developers.sber.ru/link/gc4tg
https://chatgpt-free.ai/ru
https://www.phind.com

NLP:
https://www.kaggle.com/code/andreshg/nlp-glove-bert-tf-idf-lstm-explained/notebook
https://habr.com/ru/companies/lanit/articles/749946/
https://github.com/Rothgargeert/Dissertation-Chapter-3-Natural-Language-Processing
https://www.kaggle.com/code/sandeepbhogaraju/text-summarization-with-seq2seq-model
https://arxiv.org/pdf/2309.05494.pdf
https://arxiv.org/pdf/2308.01463.pdf
https://arxiv.org/pdf/2212.09701.pdf
https://arxiv.org/pdf/2212.09580.pdf
https://arxiv.org/pdf/2201.04831.pdf
https://arxiv.org/pdf/2108.00552.pdf
https://arxiv.org/pdf/2104.08017.pdf
https://arxiv.org/pdf/2104.01477.pdf
https://arxiv.org/pdf/2103.15581.pdf
https://arxiv.org/pdf/2012.02223.pdf
https://arxiv.org/pdf/1910.10849.pdf
https://arxiv.org/pdf/1910.10363.pdf
https://arxiv.org/pdf/1908.10784.pdf
https://arxiv.org/pdf/1602.07217.pdf
https://arxiv.org/ftp/arxiv/papers/1406/1406.7093.pdf
https://www.researchgate.net/publication/315634243_Metody_i_sistemy_semanticeskogo_analiza_tekstov
https://opensearch.org/blog/semantic-science-benchmarks/
https://www.kaggle.com/datasets/amananandrai/ag-news-classification-dataset/code?datasetId=612351&sortBy=voteCount
https://www.kaggle.com/code/mattison/unsupervised-matrix-factorization
https://github.com/sebischair/Lbl2Vec
https://huggingface.co/bert-base-multilingual-uncased
https://habr.com/ru/articles/516098/

Bert:
https://www.kaggle.com/code/foolofatook/news-classification-using-bert
https://habr.com/ru/companies/just_ai/articles/733110/
https://github.com/AminRezaei0x443/Semantic-BERT
https://github.com/leenasuva/Topic-Analysis---BERT-Tokenizer
https://github.com/avikshit-banerjee/Semantic-and-Sentiment-Analysis-of-low-frequency-linguisics-using-BERT
https://github.com/AkankshaAgg/MoviesReviewsSemanticAnalysis-BERT
https://github.com/harshalDharpure/Word2Vec_And_BERT-Embedding.

Семантика:
https://habr.com/ru/articles/110078/
https://habr.com/ru/articles/323516/
https://russianblogs.com/article/406431495/
https://textblob.readthedocs.io/en/dev/
https://habr.com/ru/articles/197238/
https://habr.com/ru/articles/335668/
https://github.com/BelovN/semantic
https://github.com/yupest/data-analysis
https://github.com/ArtemYerokhin/Semantic_analysis
https://github.com/nproellochs/SentimentDictionaries

Дубликаты:
https://pkghosh.wordpress.com/2021/07/21/duplicate-data-detection-with-neural-network-and-contrastive-learning/
https://habr.com/ru/companies/mts_ai/articles/726012/
https://newtechaudit.ru/ekspress-obrabotka-i-razmetka-teksta/
https://cyberleninka.ru/article/n/dvuhshagovyy-metod-obedineniya-novostey-v-syuzhety/viewer
https://web.archive.org/web/20220812210142/https://nlpub.ru/Обработка_текста
https://www.newscatcherapi.com/blog/ultimate-guide-to-text-similarity-with-python

Энкодеры
https://habr.com/ru/articles/669674/
https://saturncloud.io/blog/using-huggingface-zeroshot-text-classification-with-large-datasets/
https://huggingface.co/datasets/ag_news
https://habr.com/ru/articles/669674/

Поиск
https://querybase.ru/chto-mozhno-uznat-po-id-v-telegramme/?ysclid=lmkvg5v1hd93392593

Корпусы
https://www.kaggle.com/datasets/vyhuholl/large-russian-news-dataset
https://natasha.github.io/corus/
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount

Кластеризация
https://scikit-learn.org/stable/modules/clustering.html
https://scikit-learn.org/stable/auto_examples/text/plot_document_clustering.html
https://ru.stackoverflow.com/questions/995616/Как-сделать-tf-idf-для-русских-текстов

Парсера:
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
https://www.rbc.ru/search/ajax/?project=crypto
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru

Сегодня финальный день сдачи все запаковываем и отдаем обязательно все расскажу как прошло во всех деталях, было круто опыт получен офигенный. Следите за обновлениями на канале.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_118 (Часть_1)

🔠Q_118: Что такое Apache NiFi ?

Apache Nifi - это открытая платформа для обработки и распределения данных в реальном времени. Она разработана для работы с большими объемами данных и позволяет создавать сложные потоки данных для их обработки, маршрутизации и преобразования. Apache Nifi имеет визуальный интерфейс, который облегчает процесс создания и настройки потоков данных.

Сcылка: https://nifi.apache.org

#ApacheNifi #DataProcessing #RealTimeData #DataDistribution #DataStreams #DataRouting #DataTransformation #DataIntegration #DataManagement #DataAutomation #BigData #DataSources #Databases #Files #IOT #DataMonitoring #BusinessProcesses #Filtering #Routing #Transformation #Aggregation

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_118 (Часть_2)

🔠Q_118: Что такое Apache NiFi ?

С помощью Apache Nifi можно интегрировать различные источники данных, такие как базы данных, файлы, сенсоры IoT и другие, а также управлять потоками данных в режиме реального времени. Это позволяет организациям эффективно обрабатывать и мониторить данные, а также автоматизировать различные бизнес-процессы. Apache Nifi поддерживает большое количество операций обработки данных, включая фильтрацию, маршрутизацию, трансформацию, агрегацию и др.

Сcылка: https://nifi.apache.org

#ApacheNifi #DataProcessing #RealTimeData #DataDistribution #DataStreams #DataRouting #DataTransformation #DataIntegration #DataManagement #DataAutomation #BigData #DataSources #Databases #Files #IOT #DataMonitoring #BusinessProcesses #Filtering #Routing #Transformation #Aggregation

⚠️Инструменты для пентеста №1

🔠Q1: Popmem ?

Pompem - это инструмент с открытым исходным кодом, созданный для автоматического поиска уязвимостей и эксплойтов в основных базах данных. Он обеспечивает возможность сканирования целевой системы и обнаружения устаревших версий программного обеспечения с известными уязвимостями.

С помощью Pompem можно провести сканирование различных уязвимых точек в целевой системе, таких как веб-серверы, базы данных и другие службы. Он использует базы данных, содержащие эксплойты и определения уязвимостей, чтобы найти совпадения с версиями программного обеспечения, установленными на целевой системе.

Ссылка: https://github.com/rfunix/Pompem

🔥🔥🔥Отказ от ответственности: см. в постах выше.

⚠️Инструменты для пентеста №2

🔠Q1: ?

Justniffer - это анализатор сетевых протоколов, который может записывать сетевой трафик и создавать настраиваемые журналы. Этот инструмент способен эмулировать файлы журналов веб-сервера Apache, отслеживать время отклика и извлекать все "перехваченные" файлы из HTTP-трафика.

Ссылка: https://onotelli.github.io/justniffer/

#justniffer #networkprotocols #trafficanalysis #networktraffic #logfiles #webserver #apache #responsivetime #fileextraction #httptraffic

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_119 (Часть_1)

🔠Q_119: Какую концепцию поддерживает Apache Nifi ?

Apache NiFi поддерживает концепцию "переток данных" (data flow). Это означает, что NiFi обеспечивает возможность создания, управления и мониторинга потоков данных между различными системами.

Основные концепции, которые поддерживает Apache NiFi, включают:

1. Простота использования: NiFi предоставляет графический интерфейс пользователя (GUI), который позволяет легко создавать и настраивать потоки данных без необходимости написания кода.

2. Масштабируемость: NiFi позволяет горизонтально масштабировать систему для обработки больших объемов данных.

#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations