❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_115
🔠Q_115: Что такое MLlib ?
MLlib — это библиотека машинного обучения, которая предоставляет функции для обучения нейронных сетей и других алгоритмов машинного обучения. Она поддерживает различные типы данных, включая изображения, видео и тексты, а также может работать с различными СУБД, включая MySQL, PostgreSQL и Oracle. MLlib имеет простой интерфейс командной строки и API, которые позволяют интегрироваться с другими инструментами, такими как Apache Kafka, Apache Spark и Microsoft Azure Data Lake.
#mllib #machinelearning #neuralnetworks #algorithms #datatypes #images #videos #texts #databases #mysql #postgresql #oracle #commandlineinterface #api #integration #apachekafka #apachespark #microsoftazure #datalake
🔠Q_115: Что такое MLlib ?
MLlib — это библиотека машинного обучения, которая предоставляет функции для обучения нейронных сетей и других алгоритмов машинного обучения. Она поддерживает различные типы данных, включая изображения, видео и тексты, а также может работать с различными СУБД, включая MySQL, PostgreSQL и Oracle. MLlib имеет простой интерфейс командной строки и API, которые позволяют интегрироваться с другими инструментами, такими как Apache Kafka, Apache Spark и Microsoft Azure Data Lake.
#mllib #machinelearning #neuralnetworks #algorithms #datatypes #images #videos #texts #databases #mysql #postgresql #oracle #commandlineinterface #api #integration #apachekafka #apachespark #microsoftazure #datalake
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_116
🔠Q_115: Что такое MLlib ?
Solr — это поисковая система, которая использует алгоритм поиска Lucene и позволяет искать документы по различным критериям, таким как ключевые слова, тематические категории и метаданные. Solr поддерживает различные форматы документов, такие как HTML, PDF, JSON и XML, а также может работать с различными СУБД, включая MySQL, PostgreSQL и Oracle. Solr имеет простой интерфейс командной строки и API, которые позволяют интегрироваться с другими инструментами, такими как Apache Kafka, Apache Spark и Microsoft Azure Data Lake.
#solr #search #lucene #documentsearch #keywords #thematiccategories #metadata #html #pdf #json #xml #databases #mysql #postgresql #oracle #commandlineinterface #API #integration #apachekafka #apachespark #microsoftazure #datalake
🔠Q_115: Что такое MLlib ?
Solr — это поисковая система, которая использует алгоритм поиска Lucene и позволяет искать документы по различным критериям, таким как ключевые слова, тематические категории и метаданные. Solr поддерживает различные форматы документов, такие как HTML, PDF, JSON и XML, а также может работать с различными СУБД, включая MySQL, PostgreSQL и Oracle. Solr имеет простой интерфейс командной строки и API, которые позволяют интегрироваться с другими инструментами, такими как Apache Kafka, Apache Spark и Microsoft Azure Data Lake.
#solr #search #lucene #documentsearch #keywords #thematiccategories #metadata #html #pdf #json #xml #databases #mysql #postgresql #oracle #commandlineinterface #API #integration #apachekafka #apachespark #microsoftazure #datalake
⚠️100 CEH (Certificated Ethical Hacker) - Вопрос_84
🔠Q84: Что такое Wifite2 ?
✔️Ответ
Wifite2 - это инструмент для тестирования безопасности беспроводных сетей, предназначенный для взлома или аудита Wi-Fi сетей. Он позволяет автоматизировать процесс поиска, захвата и взлома паролей Wi-Fi сетей. Wifite2 является универсальным инструментом, который поддерживает различные атаки на Wi-Fi сети, включая атаки с использованием словарей и перебор паролей. Он предоставляет гибкий и простой в использовании пользовательский интерфейс для проведения тестов на проникновение в беспроводные сети.
Ссылка: https://github.com/derv82/wifite2
🔥🔥🔥Отказ от ответственности: см. в постах выше.
#wifite2 #wirelesssecurity #networksecurity #wifiattacks #passwordcracking #networkaudit #wifinetworks #automatedtesting #penetrationtesting #wirelesspenetration #dictionaryattacks #passwordbruteforce #userfriendlyinterface
🔠Q84: Что такое Wifite2 ?
✔️Ответ
Wifite2 - это инструмент для тестирования безопасности беспроводных сетей, предназначенный для взлома или аудита Wi-Fi сетей. Он позволяет автоматизировать процесс поиска, захвата и взлома паролей Wi-Fi сетей. Wifite2 является универсальным инструментом, который поддерживает различные атаки на Wi-Fi сети, включая атаки с использованием словарей и перебор паролей. Он предоставляет гибкий и простой в использовании пользовательский интерфейс для проведения тестов на проникновение в беспроводные сети.
Ссылка: https://github.com/derv82/wifite2
🔥🔥🔥Отказ от ответственности: см. в постах выше.
#wifite2 #wirelesssecurity #networksecurity #wifiattacks #passwordcracking #networkaudit #wifinetworks #automatedtesting #penetrationtesting #wirelesspenetration #dictionaryattacks #passwordbruteforce #userfriendlyinterface
⚠️100 CEH (Certificated Ethical Hacker) - Вопрос_85
🔠Q85: Что такое Nessus ?
✔️Ответ
Nessus это программное обеспечение для сканирования уязвимостей и аудита информационной безопасности. Оно разработано компанией Tenable и используется для обнаружения уязвимостей в компьютерных системах, сетевых устройствах и приложениях. Nessus выполняет сканирование сети на наличие известных уязвимостей, предоставляет отчеты об обнаруженных проблемах и рекомендации по их устранению.
🔥🔥🔥Отказ от ответственности: см. в постах выше.
#nessus #vulnerabilityscanning #securityaudit #informationsecurity #tenable #computersystems #networkdevices #applications #networkscanning #vulnerabilitydetection #problemidentification #securityrecommendations #issueaddressing
🔠Q85: Что такое Nessus ?
✔️Ответ
Nessus это программное обеспечение для сканирования уязвимостей и аудита информационной безопасности. Оно разработано компанией Tenable и используется для обнаружения уязвимостей в компьютерных системах, сетевых устройствах и приложениях. Nessus выполняет сканирование сети на наличие известных уязвимостей, предоставляет отчеты об обнаруженных проблемах и рекомендации по их устранению.
🔥🔥🔥Отказ от ответственности: см. в постах выше.
#nessus #vulnerabilityscanning #securityaudit #informationsecurity #tenable #computersystems #networkdevices #applications #networkscanning #vulnerabilitydetection #problemidentification #securityrecommendations #issueaddressing
🔥🔥🔥Сегодня мы плотно на хакатоне, сделаем паузу по постам все продолжим завтра. Хакатон выдался очень тяжелый и неоднозначный, много подводных камней вышло, много нюансов вскрылось. Сейчас, плотно работаем, все материалы после хакатона выложу в свободный доступ, их накопилось уже очень много, все соберем в отдельные кучки. Команда собралась неплохая. Два аналитика и два человека которые плотно работают с моделями.
После хака все расскажу, ожидайте обновления, но у меня уже все кипит ))))
Куча траблов, куча ресерча, еще и условия не очень чтобы очень, но реально круто !!!
Пожелайте нам удачи !!!
После хака все расскажу, ожидайте обновления, но у меня уже все кипит ))))
Куча траблов, куча ресерча, еще и условия не очень чтобы очень, но реально круто !!!
Пожелайте нам удачи !!!
🔥2
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_117
🔠Q_115: Что такое Apache KNOX ? (Часть_1)
Apache Knox - это обратный прокси-сервер, который предоставляет единую точку доступа для взаимодействия с кластерами Hadoop через REST и HTTP. Он действует в качестве шлюза между клиентами и кластером Hadoop, обрабатывая аутентификацию и обеспечивая безопасное взаимодействие. Некоторые ключевые моменты о Apache Knox:
- Apache Knox действует в качестве обратного прокси, принимая запросы от клиентов и перенаправляя их на соответствующие сервисы Hadoop внутри кластера.
- Он предоставляет единую точку доступа для взаимодействия с кластером Hadoop, упрощая процесс аутентификации и авторизации.
- Apache Knox поддерживает различные механизмы аутентификации, включая LDAP, Kerberos и SAML.
#apache #knox #rest #http
🔠Q_115: Что такое Apache KNOX ? (Часть_1)
Apache Knox - это обратный прокси-сервер, который предоставляет единую точку доступа для взаимодействия с кластерами Hadoop через REST и HTTP. Он действует в качестве шлюза между клиентами и кластером Hadoop, обрабатывая аутентификацию и обеспечивая безопасное взаимодействие. Некоторые ключевые моменты о Apache Knox:
- Apache Knox действует в качестве обратного прокси, принимая запросы от клиентов и перенаправляя их на соответствующие сервисы Hadoop внутри кластера.
- Он предоставляет единую точку доступа для взаимодействия с кластером Hadoop, упрощая процесс аутентификации и авторизации.
- Apache Knox поддерживает различные механизмы аутентификации, включая LDAP, Kerberos и SAML.
#apache #knox #rest #http
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_117
🔠Q_117: Что такое Apache KNOX ? (Часть_2)
- Apache Knox поддерживает различные механизмы аутентификации, включая LDAP, Kerberos и SAML.
- Он обеспечивает безопасное взаимодействие, шифруя трафик между клиентом и кластером Hadoop.
- Apache Knox можно настроить с помощью файла gateway-site.xml, который содержит настройки для различных аспектов шлюза, таких как аутентификация, авторизация, аудит и сопоставление хостов.
- Он поддерживает несколько сервисов Hadoop, включая Hive, HBase, Oozie, Solr и WebHCat.
#apache #knox #rest #http
🔠Q_117: Что такое Apache KNOX ? (Часть_2)
- Apache Knox поддерживает различные механизмы аутентификации, включая LDAP, Kerberos и SAML.
- Он обеспечивает безопасное взаимодействие, шифруя трафик между клиентом и кластером Hadoop.
- Apache Knox можно настроить с помощью файла gateway-site.xml, который содержит настройки для различных аспектов шлюза, таких как аутентификация, авторизация, аудит и сопоставление хостов.
- Он поддерживает несколько сервисов Hadoop, включая Hive, HBase, Oozie, Solr и WebHCat.
#apache #knox #rest #http
Мы все еще на хакатоне идет битва прям жесткая, километры кода и всяких идей. Ночь не спали занимались разметкой. Очень плотно. Работаем. Как и и обещали выкатываем список первую часть по нашим материалам все что мы накопали. Потом выкатим еще. В скором времени посты возобновятся. Хакатон по NLP.
Авто-код:
https://developers.sber.ru/link/gc4tg
https://chatgpt-free.ai/ru
https://www.phind.com
NLP:
https://www.kaggle.com/code/andreshg/nlp-glove-bert-tf-idf-lstm-explained/notebook
https://habr.com/ru/companies/lanit/articles/749946/
https://github.com/Rothgargeert/Dissertation-Chapter-3-Natural-Language-Processing
https://www.kaggle.com/code/sandeepbhogaraju/text-summarization-with-seq2seq-model
https://arxiv.org/pdf/2309.05494.pdf
https://arxiv.org/pdf/2308.01463.pdf
https://arxiv.org/pdf/2212.09701.pdf
https://arxiv.org/pdf/2212.09580.pdf
https://arxiv.org/pdf/2201.04831.pdf
https://arxiv.org/pdf/2108.00552.pdf
https://arxiv.org/pdf/2104.08017.pdf
https://arxiv.org/pdf/2104.01477.pdf
https://arxiv.org/pdf/2103.15581.pdf
https://arxiv.org/pdf/2012.02223.pdf
https://arxiv.org/pdf/1910.10849.pdf
https://arxiv.org/pdf/1910.10363.pdf
https://arxiv.org/pdf/1908.10784.pdf
https://arxiv.org/pdf/1602.07217.pdf
https://arxiv.org/ftp/arxiv/papers/1406/1406.7093.pdf
https://www.researchgate.net/publication/315634243_Metody_i_sistemy_semanticeskogo_analiza_tekstov
https://opensearch.org/blog/semantic-science-benchmarks/
https://www.kaggle.com/datasets/amananandrai/ag-news-classification-dataset/code?datasetId=612351&sortBy=voteCount
https://www.kaggle.com/code/mattison/unsupervised-matrix-factorization
https://github.com/sebischair/Lbl2Vec
https://huggingface.co/bert-base-multilingual-uncased
Bert:
https://www.kaggle.com/code/foolofatook/news-classification-using-bert
https://habr.com/ru/companies/just_ai/articles/733110/
https://github.com/AminRezaei0x443/Semantic-BERT
https://github.com/leenasuva/Topic-Analysis---BERT-Tokenizer
https://github.com/avikshit-banerjee/Semantic-and-Sentiment-Analysis-of-low-frequency-linguisics-using-BERT
https://github.com/AkankshaAgg/MoviesReviewsSemanticAnalysis-BERT
https://github.com/harshalDharpure/Word2Vec_And_BERT-Embedding.
Семантика:
https://habr.com/ru/articles/110078/
https://habr.com/ru/articles/323516/
https://russianblogs.com/article/406431495/
https://textblob.readthedocs.io/en/dev/
https://habr.com/ru/articles/197238/
https://habr.com/ru/articles/335668/
https://github.com/BelovN/semantic
https://github.com/yupest/data-analysis
https://github.com/ArtemYerokhin/Semantic_analysis
Дубликаты:
https://pkghosh.wordpress.com/2021/07/21/duplicate-data-detection-with-neural-network-and-contrastive-learning/
Энкодеры
https://habr.com/ru/articles/669674/
https://saturncloud.io/blog/using-huggingface-zeroshot-text-classification-with-large-datasets/
https://huggingface.co/datasets/ag_news
Поиск
https://querybase.ru/chto-mozhno-uznat-po-id-v-telegramme/?ysclid=lmkvg5v1hd93392593
Корпусы
https://www.kaggle.com/datasets/vyhuholl/large-russian-news-dataset
https://natasha.github.io/corus/
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount
Кластеризация
https://scikit-learn.org/stable/modules/clustering.html
Парсера:
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
https://www.rbc.ru/search/ajax/?project=crypto
Данные:
https://www.kaggle.com/datasets/dolfik/russian-telegram-chats-history
Авто-код:
https://developers.sber.ru/link/gc4tg
https://chatgpt-free.ai/ru
https://www.phind.com
NLP:
https://www.kaggle.com/code/andreshg/nlp-glove-bert-tf-idf-lstm-explained/notebook
https://habr.com/ru/companies/lanit/articles/749946/
https://github.com/Rothgargeert/Dissertation-Chapter-3-Natural-Language-Processing
https://www.kaggle.com/code/sandeepbhogaraju/text-summarization-with-seq2seq-model
https://arxiv.org/pdf/2309.05494.pdf
https://arxiv.org/pdf/2308.01463.pdf
https://arxiv.org/pdf/2212.09701.pdf
https://arxiv.org/pdf/2212.09580.pdf
https://arxiv.org/pdf/2201.04831.pdf
https://arxiv.org/pdf/2108.00552.pdf
https://arxiv.org/pdf/2104.08017.pdf
https://arxiv.org/pdf/2104.01477.pdf
https://arxiv.org/pdf/2103.15581.pdf
https://arxiv.org/pdf/2012.02223.pdf
https://arxiv.org/pdf/1910.10849.pdf
https://arxiv.org/pdf/1910.10363.pdf
https://arxiv.org/pdf/1908.10784.pdf
https://arxiv.org/pdf/1602.07217.pdf
https://arxiv.org/ftp/arxiv/papers/1406/1406.7093.pdf
https://www.researchgate.net/publication/315634243_Metody_i_sistemy_semanticeskogo_analiza_tekstov
https://opensearch.org/blog/semantic-science-benchmarks/
https://www.kaggle.com/datasets/amananandrai/ag-news-classification-dataset/code?datasetId=612351&sortBy=voteCount
https://www.kaggle.com/code/mattison/unsupervised-matrix-factorization
https://github.com/sebischair/Lbl2Vec
https://huggingface.co/bert-base-multilingual-uncased
Bert:
https://www.kaggle.com/code/foolofatook/news-classification-using-bert
https://habr.com/ru/companies/just_ai/articles/733110/
https://github.com/AminRezaei0x443/Semantic-BERT
https://github.com/leenasuva/Topic-Analysis---BERT-Tokenizer
https://github.com/avikshit-banerjee/Semantic-and-Sentiment-Analysis-of-low-frequency-linguisics-using-BERT
https://github.com/AkankshaAgg/MoviesReviewsSemanticAnalysis-BERT
https://github.com/harshalDharpure/Word2Vec_And_BERT-Embedding.
Семантика:
https://habr.com/ru/articles/110078/
https://habr.com/ru/articles/323516/
https://russianblogs.com/article/406431495/
https://textblob.readthedocs.io/en/dev/
https://habr.com/ru/articles/197238/
https://habr.com/ru/articles/335668/
https://github.com/BelovN/semantic
https://github.com/yupest/data-analysis
https://github.com/ArtemYerokhin/Semantic_analysis
Дубликаты:
https://pkghosh.wordpress.com/2021/07/21/duplicate-data-detection-with-neural-network-and-contrastive-learning/
Энкодеры
https://habr.com/ru/articles/669674/
https://saturncloud.io/blog/using-huggingface-zeroshot-text-classification-with-large-datasets/
https://huggingface.co/datasets/ag_news
Поиск
https://querybase.ru/chto-mozhno-uznat-po-id-v-telegramme/?ysclid=lmkvg5v1hd93392593
Корпусы
https://www.kaggle.com/datasets/vyhuholl/large-russian-news-dataset
https://natasha.github.io/corus/
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount
Кластеризация
https://scikit-learn.org/stable/modules/clustering.html
Парсера:
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
https://www.rbc.ru/search/ajax/?project=crypto
Данные:
https://www.kaggle.com/datasets/dolfik/russian-telegram-chats-history
🔥4
Данные:
https://www.kaggle.com/datasets/dolfik/russian-telegram-chats-history
https://github.com/marinanastas/telegrams
https://github.com/buriy/russian-nlp-datasets/releases
https://github.com/Koziev/NLP_Datasets
https://metatext.io/datasets-list/russian-language
https://toloka.ai/datasets/
https://github.com/infoculture/lawmon
https://github.com/romovpa/habrahabr-dataset
https://github.com/RossiyaSegodnya/ria_news_dataset
kaggle.com/phoenix120/gazeta-summaries
github.com/maxoodf/russian_news_corpus
https://github.com/yutkin/Lenta.Ru-News-Dataset
https://data.mendeley.com/datasets/xm86yszck2/1
https://www.kaggle.com/datasets/tariqsays/reddit-russiaukraine-conflict-dataset
https://data.mendeley.com/datasets/8rwpvrw4hw/1c
https://datasetsearch.research.google.com/search?src=0&query=nlp%20dataset%20russian&docid=L2cvMTFxOTl0a2owag%3D%3D
https://data.mendeley.com/datasets/vg4mw2x2dh/1
https://datasetsearch.research.google.com/search?
https://www.kaggle.com/datasets/goldian/writers
https://www.kaggle.com/datasets/carlosgdcj/genius-song-lyrics-with-language-information
https://github.com/DenoiseLABGit/AI_News
https://www.kaggle.com/competitions/us-patent-phrase-to-phrase-matching/discussion/314323
https://www.newscatcherapi.com/blog/ultimate-guide-to-text-similarity-with-python
Классификаторы:
https://vc.ru/ml/139880-reshaem-nlp-zadachu-kak-klassificirovat-teksty-po-temam
Анализ данных:
https://habr.com/ru/companies/otus/articles/759552/
https://examples.dask.org/machine-learning/text-vectorization.html
https://github.com/rosewang2008/sight
Переводчик:
https://www.deepl.com/translator
Форматы данных:
https://habr.com/ru/companies/vsk_insurance/articles/710798/
Авто-код:
https://developers.sber.ru/link/gc4tg
https://chatgpt-free.ai/ru
https://www.phind.com
NLP:
https://www.kaggle.com/code/andreshg/nlp-glove-bert-tf-idf-lstm-explained/notebook
https://habr.com/ru/companies/lanit/articles/749946/
https://github.com/Rothgargeert/Dissertation-Chapter-3-Natural-Language-Processing
https://www.kaggle.com/code/sandeepbhogaraju/text-summarization-with-seq2seq-model
https://arxiv.org/pdf/2309.05494.pdf
https://arxiv.org/pdf/2308.01463.pdf
https://arxiv.org/pdf/2212.09701.pdf
https://arxiv.org/pdf/2212.09580.pdf
https://arxiv.org/pdf/2201.04831.pdf
https://arxiv.org/pdf/2108.00552.pdf
https://arxiv.org/pdf/2104.08017.pdf
https://arxiv.org/pdf/2104.01477.pdf
https://arxiv.org/pdf/2103.15581.pdf
https://arxiv.org/pdf/2012.02223.pdf
https://arxiv.org/pdf/1910.10849.pdf
https://arxiv.org/pdf/1910.10363.pdf
https://arxiv.org/pdf/1908.10784.pdf
https://arxiv.org/pdf/1602.07217.pdf
https://arxiv.org/ftp/arxiv/papers/1406/1406.7093.pdf
https://www.researchgate.net/publication/315634243_Metody_i_sistemy_semanticeskogo_analiza_tekstov
https://opensearch.org/blog/semantic-science-benchmarks/
https://www.kaggle.com/datasets/amananandrai/ag-news-classification-dataset/code?datasetId=612351&sortBy=voteCount
https://www.kaggle.com/code/mattison/unsupervised-matrix-factorization
https://github.com/sebischair/Lbl2Vec
https://huggingface.co/bert-base-multilingual-uncased
https://habr.com/ru/articles/516098/
Bert:
https://www.kaggle.com/code/foolofatook/news-classification-using-bert
https://habr.com/ru/companies/just_ai/articles/733110/
https://github.com/AminRezaei0x443/Semantic-BERT
https://github.com/leenasuva/Topic-Analysis---BERT-Tokenizer
https://github.com/avikshit-banerjee/Semantic-and-Sentiment-Analysis-of-low-frequency-linguisics-using-BERT
https://github.com/AkankshaAgg/MoviesReviewsSemanticAnalysis-BERT
https://github.com/harshalDharpure/Word2Vec_And_BERT-Embedding.
Семантика:
https://habr.com/ru/articles/110078/
https://habr.com/ru/articles/323516/
https://russianblogs.com/article/406431495/
https://textblob.readthedocs.io/en/dev/
https://habr.com/ru/articles/197238/
https://habr.com/ru/articles/335668/
https://github.com/BelovN/semantic
https://github.com/yupest/data-analysis
https://github.com/ArtemYerokhin/Semantic_analysis
https://github.com/nproellochs/SentimentDictionaries
https://www.kaggle.com/datasets/dolfik/russian-telegram-chats-history
https://github.com/marinanastas/telegrams
https://github.com/buriy/russian-nlp-datasets/releases
https://github.com/Koziev/NLP_Datasets
https://metatext.io/datasets-list/russian-language
https://toloka.ai/datasets/
https://github.com/infoculture/lawmon
https://github.com/romovpa/habrahabr-dataset
https://github.com/RossiyaSegodnya/ria_news_dataset
kaggle.com/phoenix120/gazeta-summaries
github.com/maxoodf/russian_news_corpus
https://github.com/yutkin/Lenta.Ru-News-Dataset
https://data.mendeley.com/datasets/xm86yszck2/1
https://www.kaggle.com/datasets/tariqsays/reddit-russiaukraine-conflict-dataset
https://data.mendeley.com/datasets/8rwpvrw4hw/1c
https://datasetsearch.research.google.com/search?src=0&query=nlp%20dataset%20russian&docid=L2cvMTFxOTl0a2owag%3D%3D
https://data.mendeley.com/datasets/vg4mw2x2dh/1
https://datasetsearch.research.google.com/search?
https://www.kaggle.com/datasets/goldian/writers
https://www.kaggle.com/datasets/carlosgdcj/genius-song-lyrics-with-language-information
https://github.com/DenoiseLABGit/AI_News
https://www.kaggle.com/competitions/us-patent-phrase-to-phrase-matching/discussion/314323
https://www.newscatcherapi.com/blog/ultimate-guide-to-text-similarity-with-python
Классификаторы:
https://vc.ru/ml/139880-reshaem-nlp-zadachu-kak-klassificirovat-teksty-po-temam
Анализ данных:
https://habr.com/ru/companies/otus/articles/759552/
https://examples.dask.org/machine-learning/text-vectorization.html
https://github.com/rosewang2008/sight
Переводчик:
https://www.deepl.com/translator
Форматы данных:
https://habr.com/ru/companies/vsk_insurance/articles/710798/
Авто-код:
https://developers.sber.ru/link/gc4tg
https://chatgpt-free.ai/ru
https://www.phind.com
NLP:
https://www.kaggle.com/code/andreshg/nlp-glove-bert-tf-idf-lstm-explained/notebook
https://habr.com/ru/companies/lanit/articles/749946/
https://github.com/Rothgargeert/Dissertation-Chapter-3-Natural-Language-Processing
https://www.kaggle.com/code/sandeepbhogaraju/text-summarization-with-seq2seq-model
https://arxiv.org/pdf/2309.05494.pdf
https://arxiv.org/pdf/2308.01463.pdf
https://arxiv.org/pdf/2212.09701.pdf
https://arxiv.org/pdf/2212.09580.pdf
https://arxiv.org/pdf/2201.04831.pdf
https://arxiv.org/pdf/2108.00552.pdf
https://arxiv.org/pdf/2104.08017.pdf
https://arxiv.org/pdf/2104.01477.pdf
https://arxiv.org/pdf/2103.15581.pdf
https://arxiv.org/pdf/2012.02223.pdf
https://arxiv.org/pdf/1910.10849.pdf
https://arxiv.org/pdf/1910.10363.pdf
https://arxiv.org/pdf/1908.10784.pdf
https://arxiv.org/pdf/1602.07217.pdf
https://arxiv.org/ftp/arxiv/papers/1406/1406.7093.pdf
https://www.researchgate.net/publication/315634243_Metody_i_sistemy_semanticeskogo_analiza_tekstov
https://opensearch.org/blog/semantic-science-benchmarks/
https://www.kaggle.com/datasets/amananandrai/ag-news-classification-dataset/code?datasetId=612351&sortBy=voteCount
https://www.kaggle.com/code/mattison/unsupervised-matrix-factorization
https://github.com/sebischair/Lbl2Vec
https://huggingface.co/bert-base-multilingual-uncased
https://habr.com/ru/articles/516098/
Bert:
https://www.kaggle.com/code/foolofatook/news-classification-using-bert
https://habr.com/ru/companies/just_ai/articles/733110/
https://github.com/AminRezaei0x443/Semantic-BERT
https://github.com/leenasuva/Topic-Analysis---BERT-Tokenizer
https://github.com/avikshit-banerjee/Semantic-and-Sentiment-Analysis-of-low-frequency-linguisics-using-BERT
https://github.com/AkankshaAgg/MoviesReviewsSemanticAnalysis-BERT
https://github.com/harshalDharpure/Word2Vec_And_BERT-Embedding.
Семантика:
https://habr.com/ru/articles/110078/
https://habr.com/ru/articles/323516/
https://russianblogs.com/article/406431495/
https://textblob.readthedocs.io/en/dev/
https://habr.com/ru/articles/197238/
https://habr.com/ru/articles/335668/
https://github.com/BelovN/semantic
https://github.com/yupest/data-analysis
https://github.com/ArtemYerokhin/Semantic_analysis
https://github.com/nproellochs/SentimentDictionaries
Дубликаты:
https://pkghosh.wordpress.com/2021/07/21/duplicate-data-detection-with-neural-network-and-contrastive-learning/
https://habr.com/ru/companies/mts_ai/articles/726012/
https://newtechaudit.ru/ekspress-obrabotka-i-razmetka-teksta/
https://cyberleninka.ru/article/n/dvuhshagovyy-metod-obedineniya-novostey-v-syuzhety/viewer
https://web.archive.org/web/20220812210142/https://nlpub.ru/Обработка_текста
https://www.newscatcherapi.com/blog/ultimate-guide-to-text-similarity-with-python
Энкодеры
https://habr.com/ru/articles/669674/
https://saturncloud.io/blog/using-huggingface-zeroshot-text-classification-with-large-datasets/
https://huggingface.co/datasets/ag_news
https://habr.com/ru/articles/669674/
Поиск
https://querybase.ru/chto-mozhno-uznat-po-id-v-telegramme/?ysclid=lmkvg5v1hd93392593
Корпусы
https://www.kaggle.com/datasets/vyhuholl/large-russian-news-dataset
https://natasha.github.io/corus/
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount
Кластеризация
https://scikit-learn.org/stable/modules/clustering.html
https://scikit-learn.org/stable/auto_examples/text/plot_document_clustering.html
https://ru.stackoverflow.com/questions/995616/Как-сделать-tf-idf-для-русских-текстов
Парсера:
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
https://www.rbc.ru/search/ajax/?project=crypto
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
https://pkghosh.wordpress.com/2021/07/21/duplicate-data-detection-with-neural-network-and-contrastive-learning/
https://habr.com/ru/companies/mts_ai/articles/726012/
https://newtechaudit.ru/ekspress-obrabotka-i-razmetka-teksta/
https://cyberleninka.ru/article/n/dvuhshagovyy-metod-obedineniya-novostey-v-syuzhety/viewer
https://web.archive.org/web/20220812210142/https://nlpub.ru/Обработка_текста
https://www.newscatcherapi.com/blog/ultimate-guide-to-text-similarity-with-python
Энкодеры
https://habr.com/ru/articles/669674/
https://saturncloud.io/blog/using-huggingface-zeroshot-text-classification-with-large-datasets/
https://huggingface.co/datasets/ag_news
https://habr.com/ru/articles/669674/
Поиск
https://querybase.ru/chto-mozhno-uznat-po-id-v-telegramme/?ysclid=lmkvg5v1hd93392593
Корпусы
https://www.kaggle.com/datasets/vyhuholl/large-russian-news-dataset
https://natasha.github.io/corus/
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount
Кластеризация
https://scikit-learn.org/stable/modules/clustering.html
https://scikit-learn.org/stable/auto_examples/text/plot_document_clustering.html
https://ru.stackoverflow.com/questions/995616/Как-сделать-tf-idf-для-русских-текстов
Парсера:
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
https://www.rbc.ru/search/ajax/?project=crypto
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
Сегодня финальный день сдачи все запаковываем и отдаем обязательно все расскажу как прошло во всех деталях, было круто опыт получен офигенный. Следите за обновлениями на канале.
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_118 (Часть_1)
🔠Q_118: Что такое Apache NiFi ?
Apache Nifi - это открытая платформа для обработки и распределения данных в реальном времени. Она разработана для работы с большими объемами данных и позволяет создавать сложные потоки данных для их обработки, маршрутизации и преобразования. Apache Nifi имеет визуальный интерфейс, который облегчает процесс создания и настройки потоков данных.
Сcылка: https://nifi.apache.org
#ApacheNifi #DataProcessing #RealTimeData #DataDistribution #DataStreams #DataRouting #DataTransformation #DataIntegration #DataManagement #DataAutomation #BigData #DataSources #Databases #Files #IOT #DataMonitoring #BusinessProcesses #Filtering #Routing #Transformation #Aggregation
🔠Q_118: Что такое Apache NiFi ?
Apache Nifi - это открытая платформа для обработки и распределения данных в реальном времени. Она разработана для работы с большими объемами данных и позволяет создавать сложные потоки данных для их обработки, маршрутизации и преобразования. Apache Nifi имеет визуальный интерфейс, который облегчает процесс создания и настройки потоков данных.
Сcылка: https://nifi.apache.org
#ApacheNifi #DataProcessing #RealTimeData #DataDistribution #DataStreams #DataRouting #DataTransformation #DataIntegration #DataManagement #DataAutomation #BigData #DataSources #Databases #Files #IOT #DataMonitoring #BusinessProcesses #Filtering #Routing #Transformation #Aggregation
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_118 (Часть_2)
🔠Q_118: Что такое Apache NiFi ?
С помощью Apache Nifi можно интегрировать различные источники данных, такие как базы данных, файлы, сенсоры IoT и другие, а также управлять потоками данных в режиме реального времени. Это позволяет организациям эффективно обрабатывать и мониторить данные, а также автоматизировать различные бизнес-процессы. Apache Nifi поддерживает большое количество операций обработки данных, включая фильтрацию, маршрутизацию, трансформацию, агрегацию и др.
Сcылка: https://nifi.apache.org
#ApacheNifi #DataProcessing #RealTimeData #DataDistribution #DataStreams #DataRouting #DataTransformation #DataIntegration #DataManagement #DataAutomation #BigData #DataSources #Databases #Files #IOT #DataMonitoring #BusinessProcesses #Filtering #Routing #Transformation #Aggregation
🔠Q_118: Что такое Apache NiFi ?
С помощью Apache Nifi можно интегрировать различные источники данных, такие как базы данных, файлы, сенсоры IoT и другие, а также управлять потоками данных в режиме реального времени. Это позволяет организациям эффективно обрабатывать и мониторить данные, а также автоматизировать различные бизнес-процессы. Apache Nifi поддерживает большое количество операций обработки данных, включая фильтрацию, маршрутизацию, трансформацию, агрегацию и др.
Сcылка: https://nifi.apache.org
#ApacheNifi #DataProcessing #RealTimeData #DataDistribution #DataStreams #DataRouting #DataTransformation #DataIntegration #DataManagement #DataAutomation #BigData #DataSources #Databases #Files #IOT #DataMonitoring #BusinessProcesses #Filtering #Routing #Transformation #Aggregation
⚠️Инструменты для пентеста №1
🔠Q1: Popmem ?
Pompem - это инструмент с открытым исходным кодом, созданный для автоматического поиска уязвимостей и эксплойтов в основных базах данных. Он обеспечивает возможность сканирования целевой системы и обнаружения устаревших версий программного обеспечения с известными уязвимостями.
С помощью Pompem можно провести сканирование различных уязвимых точек в целевой системе, таких как веб-серверы, базы данных и другие службы. Он использует базы данных, содержащие эксплойты и определения уязвимостей, чтобы найти совпадения с версиями программного обеспечения, установленными на целевой системе.
Ссылка: https://github.com/rfunix/Pompem
🔥🔥🔥Отказ от ответственности: см. в постах выше.
🔠Q1: Popmem ?
Pompem - это инструмент с открытым исходным кодом, созданный для автоматического поиска уязвимостей и эксплойтов в основных базах данных. Он обеспечивает возможность сканирования целевой системы и обнаружения устаревших версий программного обеспечения с известными уязвимостями.
С помощью Pompem можно провести сканирование различных уязвимых точек в целевой системе, таких как веб-серверы, базы данных и другие службы. Он использует базы данных, содержащие эксплойты и определения уязвимостей, чтобы найти совпадения с версиями программного обеспечения, установленными на целевой системе.
Ссылка: https://github.com/rfunix/Pompem
🔥🔥🔥Отказ от ответственности: см. в постах выше.
⚠️Инструменты для пентеста №2
🔠Q1: ?
Justniffer - это анализатор сетевых протоколов, который может записывать сетевой трафик и создавать настраиваемые журналы. Этот инструмент способен эмулировать файлы журналов веб-сервера Apache, отслеживать время отклика и извлекать все "перехваченные" файлы из HTTP-трафика.
Ссылка: https://onotelli.github.io/justniffer/
#justniffer #networkprotocols #trafficanalysis #networktraffic #logfiles #webserver #apache #responsivetime #fileextraction #httptraffic
🔠Q1: ?
Justniffer - это анализатор сетевых протоколов, который может записывать сетевой трафик и создавать настраиваемые журналы. Этот инструмент способен эмулировать файлы журналов веб-сервера Apache, отслеживать время отклика и извлекать все "перехваченные" файлы из HTTP-трафика.
Ссылка: https://onotelli.github.io/justniffer/
#justniffer #networkprotocols #trafficanalysis #networktraffic #logfiles #webserver #apache #responsivetime #fileextraction #httptraffic
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_119 (Часть_1)
🔠Q_119: Какую концепцию поддерживает Apache Nifi ?
Apache NiFi поддерживает концепцию "переток данных" (data flow). Это означает, что NiFi обеспечивает возможность создания, управления и мониторинга потоков данных между различными системами.
Основные концепции, которые поддерживает Apache NiFi, включают:
1. Простота использования: NiFi предоставляет графический интерфейс пользователя (GUI), который позволяет легко создавать и настраивать потоки данных без необходимости написания кода.
2. Масштабируемость: NiFi позволяет горизонтально масштабировать систему для обработки больших объемов данных.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
🔠Q_119: Какую концепцию поддерживает Apache Nifi ?
Apache NiFi поддерживает концепцию "переток данных" (data flow). Это означает, что NiFi обеспечивает возможность создания, управления и мониторинга потоков данных между различными системами.
Основные концепции, которые поддерживает Apache NiFi, включают:
1. Простота использования: NiFi предоставляет графический интерфейс пользователя (GUI), который позволяет легко создавать и настраивать потоки данных без необходимости написания кода.
2. Масштабируемость: NiFi позволяет горизонтально масштабировать систему для обработки больших объемов данных.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_119 (Часть_2)
👉Ответ:
3. Надежность: NiFi имеет встроенные механизмы для обработки ошибок и обеспечения доставки данных даже при наличии сбоев.
4. Управление потоком данных: NiFi позволяет контролировать, мониторить и маршрутизировать потоки данных на основе различных условий и правил.
5. Безопасность: NiFi поддерживает различные механизмы аутентификации и авторизации для защиты данных.
6. Гибкость: NiFi может работать с различными типами данных (текстовые файлы, базы данных, потоки сенсорных данных и т. д.) и поддерживает множество интеграций с другими системами.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
👉Ответ:
3. Надежность: NiFi имеет встроенные механизмы для обработки ошибок и обеспечения доставки данных даже при наличии сбоев.
4. Управление потоком данных: NiFi позволяет контролировать, мониторить и маршрутизировать потоки данных на основе различных условий и правил.
5. Безопасность: NiFi поддерживает различные механизмы аутентификации и авторизации для защиты данных.
6. Гибкость: NiFi может работать с различными типами данных (текстовые файлы, базы данных, потоки сенсорных данных и т. д.) и поддерживает множество интеграций с другими системами.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
⚠️Инструменты для пентеста №3
🔠Q3: httpry ?
Httpry - это специализированный анализатор пакетов, предназначенный для отображения и регистрации HTTP-трафика. Этот инструмент не выполняет сам анализ трафика, а служит для сбора, анализа и регистрации трафика для его последующего анализа. Httpry может быть запущен в режиме реального времени, где он отображает трафик по мере его анализа, или как процесс-демон, который записывает трафик в выходной файл. Этот инструмент разработан таким образом, чтобы быть легким и гибким, что позволяет его легко адаптировать к различным приложениям.
Ссылка: https://dumpsterventures.com/jason/httpry/
#httpry #packet analyzer #http traffic #real-time mode #traffic recording #output file #lightweight #flexible #application
🔠Q3: httpry ?
Httpry - это специализированный анализатор пакетов, предназначенный для отображения и регистрации HTTP-трафика. Этот инструмент не выполняет сам анализ трафика, а служит для сбора, анализа и регистрации трафика для его последующего анализа. Httpry может быть запущен в режиме реального времени, где он отображает трафик по мере его анализа, или как процесс-демон, который записывает трафик в выходной файл. Этот инструмент разработан таким образом, чтобы быть легким и гибким, что позволяет его легко адаптировать к различным приложениям.
Ссылка: https://dumpsterventures.com/jason/httpry/
#httpry #packet analyzer #http traffic #real-time mode #traffic recording #output file #lightweight #flexible #application
⚠️Инструменты для пентеста №4
🔠Q3: ngrep ?
Ngrep - это инструмент для анализа сетевого трафика, который позволяет использовать регулярные выражения для поиска и фильтрации пакетов данных. Он поддерживает различные протоколы, такие как IPv4/6, TCP, UDP, ICMPv4/6, IGMP, а также может работать с различными интерфейсами сетевого соединения, такими как Ethernet, PPP, SLIP, FDDI, Token Ring и Null. Ngrep позволяет указывать расширенные регулярные выражения для поиска и анализа полезной нагрузки пакетов данных.
Ngrep также поддерживает фильтрацию BPF (Berkeley Packet Filter) - технологию, используемую для фильтрации сетевого трафика на более низком уровне. Это позволяет более гибко управлять анализом и отслеживанием пакетов данных с помощью ngrep
Ссылка: https://github.com/jpr5/ngrep/
#ngrep #networktrafficanalysis #regularexpressions #ipv4 #ipv6 #tcp #udp #icmpv4 #icmpv6 #igmp #ethernet #ppp #slip #fddi #tokenring #null #berkeleypacketfilter #networkfiltering #networkmonitoring
🔠Q3: ngrep ?
Ngrep - это инструмент для анализа сетевого трафика, который позволяет использовать регулярные выражения для поиска и фильтрации пакетов данных. Он поддерживает различные протоколы, такие как IPv4/6, TCP, UDP, ICMPv4/6, IGMP, а также может работать с различными интерфейсами сетевого соединения, такими как Ethernet, PPP, SLIP, FDDI, Token Ring и Null. Ngrep позволяет указывать расширенные регулярные выражения для поиска и анализа полезной нагрузки пакетов данных.
Ngrep также поддерживает фильтрацию BPF (Berkeley Packet Filter) - технологию, используемую для фильтрации сетевого трафика на более низком уровне. Это позволяет более гибко управлять анализом и отслеживанием пакетов данных с помощью ngrep
Ссылка: https://github.com/jpr5/ngrep/
#ngrep #networktrafficanalysis #regularexpressions #ipv4 #ipv6 #tcp #udp #icmpv4 #icmpv6 #igmp #ethernet #ppp #slip #fddi #tokenring #null #berkeleypacketfilter #networkfiltering #networkmonitoring
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_120 (Часть_1)
🔠Q_120: Из чего состоит Apache Nifi ?
1. Web-сервер: Apache NiFi включает в себя встроенный web-сервер, который обеспечивает веб-интерфейс для управления и мониторинга потоков данных.
2. Flow Controller: Flow Controller или контроллер потока данных является центральным управляющим компонентом Apache NiFi. Он управляет потоками данных, управляет компонентами и обрабатывает события.
3. Processors: Процессоры выполняют фактическую обработку данных и преобразование потоков данных. Они принимают входные данные, выполняют действия, например, фильтрацию, преобразование формата, объединение данных и отправляют обработанные данные в другие процессоры или системы.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
🔠Q_120: Из чего состоит Apache Nifi ?
1. Web-сервер: Apache NiFi включает в себя встроенный web-сервер, который обеспечивает веб-интерфейс для управления и мониторинга потоков данных.
2. Flow Controller: Flow Controller или контроллер потока данных является центральным управляющим компонентом Apache NiFi. Он управляет потоками данных, управляет компонентами и обрабатывает события.
3. Processors: Процессоры выполняют фактическую обработку данных и преобразование потоков данных. Они принимают входные данные, выполняют действия, например, фильтрацию, преобразование формата, объединение данных и отправляют обработанные данные в другие процессоры или системы.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations