Мы все еще на хакатоне идет битва прям жесткая, километры кода и всяких идей. Ночь не спали занимались разметкой. Очень плотно. Работаем. Как и и обещали выкатываем список первую часть по нашим материалам все что мы накопали. Потом выкатим еще. В скором времени посты возобновятся. Хакатон по NLP.
Авто-код:
https://developers.sber.ru/link/gc4tg
https://chatgpt-free.ai/ru
https://www.phind.com
NLP:
https://www.kaggle.com/code/andreshg/nlp-glove-bert-tf-idf-lstm-explained/notebook
https://habr.com/ru/companies/lanit/articles/749946/
https://github.com/Rothgargeert/Dissertation-Chapter-3-Natural-Language-Processing
https://www.kaggle.com/code/sandeepbhogaraju/text-summarization-with-seq2seq-model
https://arxiv.org/pdf/2309.05494.pdf
https://arxiv.org/pdf/2308.01463.pdf
https://arxiv.org/pdf/2212.09701.pdf
https://arxiv.org/pdf/2212.09580.pdf
https://arxiv.org/pdf/2201.04831.pdf
https://arxiv.org/pdf/2108.00552.pdf
https://arxiv.org/pdf/2104.08017.pdf
https://arxiv.org/pdf/2104.01477.pdf
https://arxiv.org/pdf/2103.15581.pdf
https://arxiv.org/pdf/2012.02223.pdf
https://arxiv.org/pdf/1910.10849.pdf
https://arxiv.org/pdf/1910.10363.pdf
https://arxiv.org/pdf/1908.10784.pdf
https://arxiv.org/pdf/1602.07217.pdf
https://arxiv.org/ftp/arxiv/papers/1406/1406.7093.pdf
https://www.researchgate.net/publication/315634243_Metody_i_sistemy_semanticeskogo_analiza_tekstov
https://opensearch.org/blog/semantic-science-benchmarks/
https://www.kaggle.com/datasets/amananandrai/ag-news-classification-dataset/code?datasetId=612351&sortBy=voteCount
https://www.kaggle.com/code/mattison/unsupervised-matrix-factorization
https://github.com/sebischair/Lbl2Vec
https://huggingface.co/bert-base-multilingual-uncased
Bert:
https://www.kaggle.com/code/foolofatook/news-classification-using-bert
https://habr.com/ru/companies/just_ai/articles/733110/
https://github.com/AminRezaei0x443/Semantic-BERT
https://github.com/leenasuva/Topic-Analysis---BERT-Tokenizer
https://github.com/avikshit-banerjee/Semantic-and-Sentiment-Analysis-of-low-frequency-linguisics-using-BERT
https://github.com/AkankshaAgg/MoviesReviewsSemanticAnalysis-BERT
https://github.com/harshalDharpure/Word2Vec_And_BERT-Embedding.
Семантика:
https://habr.com/ru/articles/110078/
https://habr.com/ru/articles/323516/
https://russianblogs.com/article/406431495/
https://textblob.readthedocs.io/en/dev/
https://habr.com/ru/articles/197238/
https://habr.com/ru/articles/335668/
https://github.com/BelovN/semantic
https://github.com/yupest/data-analysis
https://github.com/ArtemYerokhin/Semantic_analysis
Дубликаты:
https://pkghosh.wordpress.com/2021/07/21/duplicate-data-detection-with-neural-network-and-contrastive-learning/
Энкодеры
https://habr.com/ru/articles/669674/
https://saturncloud.io/blog/using-huggingface-zeroshot-text-classification-with-large-datasets/
https://huggingface.co/datasets/ag_news
Поиск
https://querybase.ru/chto-mozhno-uznat-po-id-v-telegramme/?ysclid=lmkvg5v1hd93392593
Корпусы
https://www.kaggle.com/datasets/vyhuholl/large-russian-news-dataset
https://natasha.github.io/corus/
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount
Кластеризация
https://scikit-learn.org/stable/modules/clustering.html
Парсера:
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
https://www.rbc.ru/search/ajax/?project=crypto
Данные:
https://www.kaggle.com/datasets/dolfik/russian-telegram-chats-history
Авто-код:
https://developers.sber.ru/link/gc4tg
https://chatgpt-free.ai/ru
https://www.phind.com
NLP:
https://www.kaggle.com/code/andreshg/nlp-glove-bert-tf-idf-lstm-explained/notebook
https://habr.com/ru/companies/lanit/articles/749946/
https://github.com/Rothgargeert/Dissertation-Chapter-3-Natural-Language-Processing
https://www.kaggle.com/code/sandeepbhogaraju/text-summarization-with-seq2seq-model
https://arxiv.org/pdf/2309.05494.pdf
https://arxiv.org/pdf/2308.01463.pdf
https://arxiv.org/pdf/2212.09701.pdf
https://arxiv.org/pdf/2212.09580.pdf
https://arxiv.org/pdf/2201.04831.pdf
https://arxiv.org/pdf/2108.00552.pdf
https://arxiv.org/pdf/2104.08017.pdf
https://arxiv.org/pdf/2104.01477.pdf
https://arxiv.org/pdf/2103.15581.pdf
https://arxiv.org/pdf/2012.02223.pdf
https://arxiv.org/pdf/1910.10849.pdf
https://arxiv.org/pdf/1910.10363.pdf
https://arxiv.org/pdf/1908.10784.pdf
https://arxiv.org/pdf/1602.07217.pdf
https://arxiv.org/ftp/arxiv/papers/1406/1406.7093.pdf
https://www.researchgate.net/publication/315634243_Metody_i_sistemy_semanticeskogo_analiza_tekstov
https://opensearch.org/blog/semantic-science-benchmarks/
https://www.kaggle.com/datasets/amananandrai/ag-news-classification-dataset/code?datasetId=612351&sortBy=voteCount
https://www.kaggle.com/code/mattison/unsupervised-matrix-factorization
https://github.com/sebischair/Lbl2Vec
https://huggingface.co/bert-base-multilingual-uncased
Bert:
https://www.kaggle.com/code/foolofatook/news-classification-using-bert
https://habr.com/ru/companies/just_ai/articles/733110/
https://github.com/AminRezaei0x443/Semantic-BERT
https://github.com/leenasuva/Topic-Analysis---BERT-Tokenizer
https://github.com/avikshit-banerjee/Semantic-and-Sentiment-Analysis-of-low-frequency-linguisics-using-BERT
https://github.com/AkankshaAgg/MoviesReviewsSemanticAnalysis-BERT
https://github.com/harshalDharpure/Word2Vec_And_BERT-Embedding.
Семантика:
https://habr.com/ru/articles/110078/
https://habr.com/ru/articles/323516/
https://russianblogs.com/article/406431495/
https://textblob.readthedocs.io/en/dev/
https://habr.com/ru/articles/197238/
https://habr.com/ru/articles/335668/
https://github.com/BelovN/semantic
https://github.com/yupest/data-analysis
https://github.com/ArtemYerokhin/Semantic_analysis
Дубликаты:
https://pkghosh.wordpress.com/2021/07/21/duplicate-data-detection-with-neural-network-and-contrastive-learning/
Энкодеры
https://habr.com/ru/articles/669674/
https://saturncloud.io/blog/using-huggingface-zeroshot-text-classification-with-large-datasets/
https://huggingface.co/datasets/ag_news
Поиск
https://querybase.ru/chto-mozhno-uznat-po-id-v-telegramme/?ysclid=lmkvg5v1hd93392593
Корпусы
https://www.kaggle.com/datasets/vyhuholl/large-russian-news-dataset
https://natasha.github.io/corus/
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount
Кластеризация
https://scikit-learn.org/stable/modules/clustering.html
Парсера:
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
https://www.rbc.ru/search/ajax/?project=crypto
Данные:
https://www.kaggle.com/datasets/dolfik/russian-telegram-chats-history
🔥4
Данные:
https://www.kaggle.com/datasets/dolfik/russian-telegram-chats-history
https://github.com/marinanastas/telegrams
https://github.com/buriy/russian-nlp-datasets/releases
https://github.com/Koziev/NLP_Datasets
https://metatext.io/datasets-list/russian-language
https://toloka.ai/datasets/
https://github.com/infoculture/lawmon
https://github.com/romovpa/habrahabr-dataset
https://github.com/RossiyaSegodnya/ria_news_dataset
kaggle.com/phoenix120/gazeta-summaries
github.com/maxoodf/russian_news_corpus
https://github.com/yutkin/Lenta.Ru-News-Dataset
https://data.mendeley.com/datasets/xm86yszck2/1
https://www.kaggle.com/datasets/tariqsays/reddit-russiaukraine-conflict-dataset
https://data.mendeley.com/datasets/8rwpvrw4hw/1c
https://datasetsearch.research.google.com/search?src=0&query=nlp%20dataset%20russian&docid=L2cvMTFxOTl0a2owag%3D%3D
https://data.mendeley.com/datasets/vg4mw2x2dh/1
https://datasetsearch.research.google.com/search?
https://www.kaggle.com/datasets/goldian/writers
https://www.kaggle.com/datasets/carlosgdcj/genius-song-lyrics-with-language-information
https://github.com/DenoiseLABGit/AI_News
https://www.kaggle.com/competitions/us-patent-phrase-to-phrase-matching/discussion/314323
https://www.newscatcherapi.com/blog/ultimate-guide-to-text-similarity-with-python
Классификаторы:
https://vc.ru/ml/139880-reshaem-nlp-zadachu-kak-klassificirovat-teksty-po-temam
Анализ данных:
https://habr.com/ru/companies/otus/articles/759552/
https://examples.dask.org/machine-learning/text-vectorization.html
https://github.com/rosewang2008/sight
Переводчик:
https://www.deepl.com/translator
Форматы данных:
https://habr.com/ru/companies/vsk_insurance/articles/710798/
Авто-код:
https://developers.sber.ru/link/gc4tg
https://chatgpt-free.ai/ru
https://www.phind.com
NLP:
https://www.kaggle.com/code/andreshg/nlp-glove-bert-tf-idf-lstm-explained/notebook
https://habr.com/ru/companies/lanit/articles/749946/
https://github.com/Rothgargeert/Dissertation-Chapter-3-Natural-Language-Processing
https://www.kaggle.com/code/sandeepbhogaraju/text-summarization-with-seq2seq-model
https://arxiv.org/pdf/2309.05494.pdf
https://arxiv.org/pdf/2308.01463.pdf
https://arxiv.org/pdf/2212.09701.pdf
https://arxiv.org/pdf/2212.09580.pdf
https://arxiv.org/pdf/2201.04831.pdf
https://arxiv.org/pdf/2108.00552.pdf
https://arxiv.org/pdf/2104.08017.pdf
https://arxiv.org/pdf/2104.01477.pdf
https://arxiv.org/pdf/2103.15581.pdf
https://arxiv.org/pdf/2012.02223.pdf
https://arxiv.org/pdf/1910.10849.pdf
https://arxiv.org/pdf/1910.10363.pdf
https://arxiv.org/pdf/1908.10784.pdf
https://arxiv.org/pdf/1602.07217.pdf
https://arxiv.org/ftp/arxiv/papers/1406/1406.7093.pdf
https://www.researchgate.net/publication/315634243_Metody_i_sistemy_semanticeskogo_analiza_tekstov
https://opensearch.org/blog/semantic-science-benchmarks/
https://www.kaggle.com/datasets/amananandrai/ag-news-classification-dataset/code?datasetId=612351&sortBy=voteCount
https://www.kaggle.com/code/mattison/unsupervised-matrix-factorization
https://github.com/sebischair/Lbl2Vec
https://huggingface.co/bert-base-multilingual-uncased
https://habr.com/ru/articles/516098/
Bert:
https://www.kaggle.com/code/foolofatook/news-classification-using-bert
https://habr.com/ru/companies/just_ai/articles/733110/
https://github.com/AminRezaei0x443/Semantic-BERT
https://github.com/leenasuva/Topic-Analysis---BERT-Tokenizer
https://github.com/avikshit-banerjee/Semantic-and-Sentiment-Analysis-of-low-frequency-linguisics-using-BERT
https://github.com/AkankshaAgg/MoviesReviewsSemanticAnalysis-BERT
https://github.com/harshalDharpure/Word2Vec_And_BERT-Embedding.
Семантика:
https://habr.com/ru/articles/110078/
https://habr.com/ru/articles/323516/
https://russianblogs.com/article/406431495/
https://textblob.readthedocs.io/en/dev/
https://habr.com/ru/articles/197238/
https://habr.com/ru/articles/335668/
https://github.com/BelovN/semantic
https://github.com/yupest/data-analysis
https://github.com/ArtemYerokhin/Semantic_analysis
https://github.com/nproellochs/SentimentDictionaries
https://www.kaggle.com/datasets/dolfik/russian-telegram-chats-history
https://github.com/marinanastas/telegrams
https://github.com/buriy/russian-nlp-datasets/releases
https://github.com/Koziev/NLP_Datasets
https://metatext.io/datasets-list/russian-language
https://toloka.ai/datasets/
https://github.com/infoculture/lawmon
https://github.com/romovpa/habrahabr-dataset
https://github.com/RossiyaSegodnya/ria_news_dataset
kaggle.com/phoenix120/gazeta-summaries
github.com/maxoodf/russian_news_corpus
https://github.com/yutkin/Lenta.Ru-News-Dataset
https://data.mendeley.com/datasets/xm86yszck2/1
https://www.kaggle.com/datasets/tariqsays/reddit-russiaukraine-conflict-dataset
https://data.mendeley.com/datasets/8rwpvrw4hw/1c
https://datasetsearch.research.google.com/search?src=0&query=nlp%20dataset%20russian&docid=L2cvMTFxOTl0a2owag%3D%3D
https://data.mendeley.com/datasets/vg4mw2x2dh/1
https://datasetsearch.research.google.com/search?
https://www.kaggle.com/datasets/goldian/writers
https://www.kaggle.com/datasets/carlosgdcj/genius-song-lyrics-with-language-information
https://github.com/DenoiseLABGit/AI_News
https://www.kaggle.com/competitions/us-patent-phrase-to-phrase-matching/discussion/314323
https://www.newscatcherapi.com/blog/ultimate-guide-to-text-similarity-with-python
Классификаторы:
https://vc.ru/ml/139880-reshaem-nlp-zadachu-kak-klassificirovat-teksty-po-temam
Анализ данных:
https://habr.com/ru/companies/otus/articles/759552/
https://examples.dask.org/machine-learning/text-vectorization.html
https://github.com/rosewang2008/sight
Переводчик:
https://www.deepl.com/translator
Форматы данных:
https://habr.com/ru/companies/vsk_insurance/articles/710798/
Авто-код:
https://developers.sber.ru/link/gc4tg
https://chatgpt-free.ai/ru
https://www.phind.com
NLP:
https://www.kaggle.com/code/andreshg/nlp-glove-bert-tf-idf-lstm-explained/notebook
https://habr.com/ru/companies/lanit/articles/749946/
https://github.com/Rothgargeert/Dissertation-Chapter-3-Natural-Language-Processing
https://www.kaggle.com/code/sandeepbhogaraju/text-summarization-with-seq2seq-model
https://arxiv.org/pdf/2309.05494.pdf
https://arxiv.org/pdf/2308.01463.pdf
https://arxiv.org/pdf/2212.09701.pdf
https://arxiv.org/pdf/2212.09580.pdf
https://arxiv.org/pdf/2201.04831.pdf
https://arxiv.org/pdf/2108.00552.pdf
https://arxiv.org/pdf/2104.08017.pdf
https://arxiv.org/pdf/2104.01477.pdf
https://arxiv.org/pdf/2103.15581.pdf
https://arxiv.org/pdf/2012.02223.pdf
https://arxiv.org/pdf/1910.10849.pdf
https://arxiv.org/pdf/1910.10363.pdf
https://arxiv.org/pdf/1908.10784.pdf
https://arxiv.org/pdf/1602.07217.pdf
https://arxiv.org/ftp/arxiv/papers/1406/1406.7093.pdf
https://www.researchgate.net/publication/315634243_Metody_i_sistemy_semanticeskogo_analiza_tekstov
https://opensearch.org/blog/semantic-science-benchmarks/
https://www.kaggle.com/datasets/amananandrai/ag-news-classification-dataset/code?datasetId=612351&sortBy=voteCount
https://www.kaggle.com/code/mattison/unsupervised-matrix-factorization
https://github.com/sebischair/Lbl2Vec
https://huggingface.co/bert-base-multilingual-uncased
https://habr.com/ru/articles/516098/
Bert:
https://www.kaggle.com/code/foolofatook/news-classification-using-bert
https://habr.com/ru/companies/just_ai/articles/733110/
https://github.com/AminRezaei0x443/Semantic-BERT
https://github.com/leenasuva/Topic-Analysis---BERT-Tokenizer
https://github.com/avikshit-banerjee/Semantic-and-Sentiment-Analysis-of-low-frequency-linguisics-using-BERT
https://github.com/AkankshaAgg/MoviesReviewsSemanticAnalysis-BERT
https://github.com/harshalDharpure/Word2Vec_And_BERT-Embedding.
Семантика:
https://habr.com/ru/articles/110078/
https://habr.com/ru/articles/323516/
https://russianblogs.com/article/406431495/
https://textblob.readthedocs.io/en/dev/
https://habr.com/ru/articles/197238/
https://habr.com/ru/articles/335668/
https://github.com/BelovN/semantic
https://github.com/yupest/data-analysis
https://github.com/ArtemYerokhin/Semantic_analysis
https://github.com/nproellochs/SentimentDictionaries
Дубликаты:
https://pkghosh.wordpress.com/2021/07/21/duplicate-data-detection-with-neural-network-and-contrastive-learning/
https://habr.com/ru/companies/mts_ai/articles/726012/
https://newtechaudit.ru/ekspress-obrabotka-i-razmetka-teksta/
https://cyberleninka.ru/article/n/dvuhshagovyy-metod-obedineniya-novostey-v-syuzhety/viewer
https://web.archive.org/web/20220812210142/https://nlpub.ru/Обработка_текста
https://www.newscatcherapi.com/blog/ultimate-guide-to-text-similarity-with-python
Энкодеры
https://habr.com/ru/articles/669674/
https://saturncloud.io/blog/using-huggingface-zeroshot-text-classification-with-large-datasets/
https://huggingface.co/datasets/ag_news
https://habr.com/ru/articles/669674/
Поиск
https://querybase.ru/chto-mozhno-uznat-po-id-v-telegramme/?ysclid=lmkvg5v1hd93392593
Корпусы
https://www.kaggle.com/datasets/vyhuholl/large-russian-news-dataset
https://natasha.github.io/corus/
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount
Кластеризация
https://scikit-learn.org/stable/modules/clustering.html
https://scikit-learn.org/stable/auto_examples/text/plot_document_clustering.html
https://ru.stackoverflow.com/questions/995616/Как-сделать-tf-idf-для-русских-текстов
Парсера:
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
https://www.rbc.ru/search/ajax/?project=crypto
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
https://pkghosh.wordpress.com/2021/07/21/duplicate-data-detection-with-neural-network-and-contrastive-learning/
https://habr.com/ru/companies/mts_ai/articles/726012/
https://newtechaudit.ru/ekspress-obrabotka-i-razmetka-teksta/
https://cyberleninka.ru/article/n/dvuhshagovyy-metod-obedineniya-novostey-v-syuzhety/viewer
https://web.archive.org/web/20220812210142/https://nlpub.ru/Обработка_текста
https://www.newscatcherapi.com/blog/ultimate-guide-to-text-similarity-with-python
Энкодеры
https://habr.com/ru/articles/669674/
https://saturncloud.io/blog/using-huggingface-zeroshot-text-classification-with-large-datasets/
https://huggingface.co/datasets/ag_news
https://habr.com/ru/articles/669674/
Поиск
https://querybase.ru/chto-mozhno-uznat-po-id-v-telegramme/?ysclid=lmkvg5v1hd93392593
Корпусы
https://www.kaggle.com/datasets/vyhuholl/large-russian-news-dataset
https://natasha.github.io/corus/
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount
https://www.kaggle.com/datasets/yutkin/corpus-of-russian-news-articles-from-lenta?datasetId=37495&sortBy=voteCount
Кластеризация
https://scikit-learn.org/stable/modules/clustering.html
https://scikit-learn.org/stable/auto_examples/text/plot_document_clustering.html
https://ru.stackoverflow.com/questions/995616/Как-сделать-tf-idf-для-русских-текстов
Парсера:
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
https://www.rbc.ru/search/ajax/?project=crypto
https://www.kaggle.com/code/hardtype/parsing-news-from-rbc-lenta-ru
Сегодня финальный день сдачи все запаковываем и отдаем обязательно все расскажу как прошло во всех деталях, было круто опыт получен офигенный. Следите за обновлениями на канале.
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_118 (Часть_1)
🔠Q_118: Что такое Apache NiFi ?
Apache Nifi - это открытая платформа для обработки и распределения данных в реальном времени. Она разработана для работы с большими объемами данных и позволяет создавать сложные потоки данных для их обработки, маршрутизации и преобразования. Apache Nifi имеет визуальный интерфейс, который облегчает процесс создания и настройки потоков данных.
Сcылка: https://nifi.apache.org
#ApacheNifi #DataProcessing #RealTimeData #DataDistribution #DataStreams #DataRouting #DataTransformation #DataIntegration #DataManagement #DataAutomation #BigData #DataSources #Databases #Files #IOT #DataMonitoring #BusinessProcesses #Filtering #Routing #Transformation #Aggregation
🔠Q_118: Что такое Apache NiFi ?
Apache Nifi - это открытая платформа для обработки и распределения данных в реальном времени. Она разработана для работы с большими объемами данных и позволяет создавать сложные потоки данных для их обработки, маршрутизации и преобразования. Apache Nifi имеет визуальный интерфейс, который облегчает процесс создания и настройки потоков данных.
Сcылка: https://nifi.apache.org
#ApacheNifi #DataProcessing #RealTimeData #DataDistribution #DataStreams #DataRouting #DataTransformation #DataIntegration #DataManagement #DataAutomation #BigData #DataSources #Databases #Files #IOT #DataMonitoring #BusinessProcesses #Filtering #Routing #Transformation #Aggregation
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_118 (Часть_2)
🔠Q_118: Что такое Apache NiFi ?
С помощью Apache Nifi можно интегрировать различные источники данных, такие как базы данных, файлы, сенсоры IoT и другие, а также управлять потоками данных в режиме реального времени. Это позволяет организациям эффективно обрабатывать и мониторить данные, а также автоматизировать различные бизнес-процессы. Apache Nifi поддерживает большое количество операций обработки данных, включая фильтрацию, маршрутизацию, трансформацию, агрегацию и др.
Сcылка: https://nifi.apache.org
#ApacheNifi #DataProcessing #RealTimeData #DataDistribution #DataStreams #DataRouting #DataTransformation #DataIntegration #DataManagement #DataAutomation #BigData #DataSources #Databases #Files #IOT #DataMonitoring #BusinessProcesses #Filtering #Routing #Transformation #Aggregation
🔠Q_118: Что такое Apache NiFi ?
С помощью Apache Nifi можно интегрировать различные источники данных, такие как базы данных, файлы, сенсоры IoT и другие, а также управлять потоками данных в режиме реального времени. Это позволяет организациям эффективно обрабатывать и мониторить данные, а также автоматизировать различные бизнес-процессы. Apache Nifi поддерживает большое количество операций обработки данных, включая фильтрацию, маршрутизацию, трансформацию, агрегацию и др.
Сcылка: https://nifi.apache.org
#ApacheNifi #DataProcessing #RealTimeData #DataDistribution #DataStreams #DataRouting #DataTransformation #DataIntegration #DataManagement #DataAutomation #BigData #DataSources #Databases #Files #IOT #DataMonitoring #BusinessProcesses #Filtering #Routing #Transformation #Aggregation
⚠️Инструменты для пентеста №1
🔠Q1: Popmem ?
Pompem - это инструмент с открытым исходным кодом, созданный для автоматического поиска уязвимостей и эксплойтов в основных базах данных. Он обеспечивает возможность сканирования целевой системы и обнаружения устаревших версий программного обеспечения с известными уязвимостями.
С помощью Pompem можно провести сканирование различных уязвимых точек в целевой системе, таких как веб-серверы, базы данных и другие службы. Он использует базы данных, содержащие эксплойты и определения уязвимостей, чтобы найти совпадения с версиями программного обеспечения, установленными на целевой системе.
Ссылка: https://github.com/rfunix/Pompem
🔥🔥🔥Отказ от ответственности: см. в постах выше.
🔠Q1: Popmem ?
Pompem - это инструмент с открытым исходным кодом, созданный для автоматического поиска уязвимостей и эксплойтов в основных базах данных. Он обеспечивает возможность сканирования целевой системы и обнаружения устаревших версий программного обеспечения с известными уязвимостями.
С помощью Pompem можно провести сканирование различных уязвимых точек в целевой системе, таких как веб-серверы, базы данных и другие службы. Он использует базы данных, содержащие эксплойты и определения уязвимостей, чтобы найти совпадения с версиями программного обеспечения, установленными на целевой системе.
Ссылка: https://github.com/rfunix/Pompem
🔥🔥🔥Отказ от ответственности: см. в постах выше.
⚠️Инструменты для пентеста №2
🔠Q1: ?
Justniffer - это анализатор сетевых протоколов, который может записывать сетевой трафик и создавать настраиваемые журналы. Этот инструмент способен эмулировать файлы журналов веб-сервера Apache, отслеживать время отклика и извлекать все "перехваченные" файлы из HTTP-трафика.
Ссылка: https://onotelli.github.io/justniffer/
#justniffer #networkprotocols #trafficanalysis #networktraffic #logfiles #webserver #apache #responsivetime #fileextraction #httptraffic
🔠Q1: ?
Justniffer - это анализатор сетевых протоколов, который может записывать сетевой трафик и создавать настраиваемые журналы. Этот инструмент способен эмулировать файлы журналов веб-сервера Apache, отслеживать время отклика и извлекать все "перехваченные" файлы из HTTP-трафика.
Ссылка: https://onotelli.github.io/justniffer/
#justniffer #networkprotocols #trafficanalysis #networktraffic #logfiles #webserver #apache #responsivetime #fileextraction #httptraffic
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_119 (Часть_1)
🔠Q_119: Какую концепцию поддерживает Apache Nifi ?
Apache NiFi поддерживает концепцию "переток данных" (data flow). Это означает, что NiFi обеспечивает возможность создания, управления и мониторинга потоков данных между различными системами.
Основные концепции, которые поддерживает Apache NiFi, включают:
1. Простота использования: NiFi предоставляет графический интерфейс пользователя (GUI), который позволяет легко создавать и настраивать потоки данных без необходимости написания кода.
2. Масштабируемость: NiFi позволяет горизонтально масштабировать систему для обработки больших объемов данных.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
🔠Q_119: Какую концепцию поддерживает Apache Nifi ?
Apache NiFi поддерживает концепцию "переток данных" (data flow). Это означает, что NiFi обеспечивает возможность создания, управления и мониторинга потоков данных между различными системами.
Основные концепции, которые поддерживает Apache NiFi, включают:
1. Простота использования: NiFi предоставляет графический интерфейс пользователя (GUI), который позволяет легко создавать и настраивать потоки данных без необходимости написания кода.
2. Масштабируемость: NiFi позволяет горизонтально масштабировать систему для обработки больших объемов данных.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_119 (Часть_2)
👉Ответ:
3. Надежность: NiFi имеет встроенные механизмы для обработки ошибок и обеспечения доставки данных даже при наличии сбоев.
4. Управление потоком данных: NiFi позволяет контролировать, мониторить и маршрутизировать потоки данных на основе различных условий и правил.
5. Безопасность: NiFi поддерживает различные механизмы аутентификации и авторизации для защиты данных.
6. Гибкость: NiFi может работать с различными типами данных (текстовые файлы, базы данных, потоки сенсорных данных и т. д.) и поддерживает множество интеграций с другими системами.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
👉Ответ:
3. Надежность: NiFi имеет встроенные механизмы для обработки ошибок и обеспечения доставки данных даже при наличии сбоев.
4. Управление потоком данных: NiFi позволяет контролировать, мониторить и маршрутизировать потоки данных на основе различных условий и правил.
5. Безопасность: NiFi поддерживает различные механизмы аутентификации и авторизации для защиты данных.
6. Гибкость: NiFi может работать с различными типами данных (текстовые файлы, базы данных, потоки сенсорных данных и т. д.) и поддерживает множество интеграций с другими системами.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
⚠️Инструменты для пентеста №3
🔠Q3: httpry ?
Httpry - это специализированный анализатор пакетов, предназначенный для отображения и регистрации HTTP-трафика. Этот инструмент не выполняет сам анализ трафика, а служит для сбора, анализа и регистрации трафика для его последующего анализа. Httpry может быть запущен в режиме реального времени, где он отображает трафик по мере его анализа, или как процесс-демон, который записывает трафик в выходной файл. Этот инструмент разработан таким образом, чтобы быть легким и гибким, что позволяет его легко адаптировать к различным приложениям.
Ссылка: https://dumpsterventures.com/jason/httpry/
#httpry #packet analyzer #http traffic #real-time mode #traffic recording #output file #lightweight #flexible #application
🔠Q3: httpry ?
Httpry - это специализированный анализатор пакетов, предназначенный для отображения и регистрации HTTP-трафика. Этот инструмент не выполняет сам анализ трафика, а служит для сбора, анализа и регистрации трафика для его последующего анализа. Httpry может быть запущен в режиме реального времени, где он отображает трафик по мере его анализа, или как процесс-демон, который записывает трафик в выходной файл. Этот инструмент разработан таким образом, чтобы быть легким и гибким, что позволяет его легко адаптировать к различным приложениям.
Ссылка: https://dumpsterventures.com/jason/httpry/
#httpry #packet analyzer #http traffic #real-time mode #traffic recording #output file #lightweight #flexible #application
⚠️Инструменты для пентеста №4
🔠Q3: ngrep ?
Ngrep - это инструмент для анализа сетевого трафика, который позволяет использовать регулярные выражения для поиска и фильтрации пакетов данных. Он поддерживает различные протоколы, такие как IPv4/6, TCP, UDP, ICMPv4/6, IGMP, а также может работать с различными интерфейсами сетевого соединения, такими как Ethernet, PPP, SLIP, FDDI, Token Ring и Null. Ngrep позволяет указывать расширенные регулярные выражения для поиска и анализа полезной нагрузки пакетов данных.
Ngrep также поддерживает фильтрацию BPF (Berkeley Packet Filter) - технологию, используемую для фильтрации сетевого трафика на более низком уровне. Это позволяет более гибко управлять анализом и отслеживанием пакетов данных с помощью ngrep
Ссылка: https://github.com/jpr5/ngrep/
#ngrep #networktrafficanalysis #regularexpressions #ipv4 #ipv6 #tcp #udp #icmpv4 #icmpv6 #igmp #ethernet #ppp #slip #fddi #tokenring #null #berkeleypacketfilter #networkfiltering #networkmonitoring
🔠Q3: ngrep ?
Ngrep - это инструмент для анализа сетевого трафика, который позволяет использовать регулярные выражения для поиска и фильтрации пакетов данных. Он поддерживает различные протоколы, такие как IPv4/6, TCP, UDP, ICMPv4/6, IGMP, а также может работать с различными интерфейсами сетевого соединения, такими как Ethernet, PPP, SLIP, FDDI, Token Ring и Null. Ngrep позволяет указывать расширенные регулярные выражения для поиска и анализа полезной нагрузки пакетов данных.
Ngrep также поддерживает фильтрацию BPF (Berkeley Packet Filter) - технологию, используемую для фильтрации сетевого трафика на более низком уровне. Это позволяет более гибко управлять анализом и отслеживанием пакетов данных с помощью ngrep
Ссылка: https://github.com/jpr5/ngrep/
#ngrep #networktrafficanalysis #regularexpressions #ipv4 #ipv6 #tcp #udp #icmpv4 #icmpv6 #igmp #ethernet #ppp #slip #fddi #tokenring #null #berkeleypacketfilter #networkfiltering #networkmonitoring
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_120 (Часть_1)
🔠Q_120: Из чего состоит Apache Nifi ?
1. Web-сервер: Apache NiFi включает в себя встроенный web-сервер, который обеспечивает веб-интерфейс для управления и мониторинга потоков данных.
2. Flow Controller: Flow Controller или контроллер потока данных является центральным управляющим компонентом Apache NiFi. Он управляет потоками данных, управляет компонентами и обрабатывает события.
3. Processors: Процессоры выполняют фактическую обработку данных и преобразование потоков данных. Они принимают входные данные, выполняют действия, например, фильтрацию, преобразование формата, объединение данных и отправляют обработанные данные в другие процессоры или системы.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
🔠Q_120: Из чего состоит Apache Nifi ?
1. Web-сервер: Apache NiFi включает в себя встроенный web-сервер, который обеспечивает веб-интерфейс для управления и мониторинга потоков данных.
2. Flow Controller: Flow Controller или контроллер потока данных является центральным управляющим компонентом Apache NiFi. Он управляет потоками данных, управляет компонентами и обрабатывает события.
3. Processors: Процессоры выполняют фактическую обработку данных и преобразование потоков данных. Они принимают входные данные, выполняют действия, например, фильтрацию, преобразование формата, объединение данных и отправляют обработанные данные в другие процессоры или системы.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_120 (Часть_2)
🔠Q_120: Из чего состоит Apache Nifi ?
4. Connections: Соединения представляют собой каналы связи между процессорами, которые передают данные из одного процессора в другой. Они определяют направление потока данных и механизмы доставки данных.
5. FlowFiles: FlowFiles являются базовыми объектами данных в Apache NiFi. Они содержат данные, а также набор атрибутов, описывающих эти данные.
6. Controllers: Контроллеры используются для настройки и управления системными ресурсами, например, базами данных, шифрованием, аутентификацией и авторизацией.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
🔠Q_120: Из чего состоит Apache Nifi ?
4. Connections: Соединения представляют собой каналы связи между процессорами, которые передают данные из одного процессора в другой. Они определяют направление потока данных и механизмы доставки данных.
5. FlowFiles: FlowFiles являются базовыми объектами данных в Apache NiFi. Они содержат данные, а также набор атрибутов, описывающих эти данные.
6. Controllers: Контроллеры используются для настройки и управления системными ресурсами, например, базами данных, шифрованием, аутентификацией и авторизацией.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
⚠️Инструменты для пентеста №5
🔠Q1: Sagan ?
Sagan - это инструмент, который использует движок, схожий со Snort, и набор правил для анализа различных журналов, таких как системные журналы, журналы событий, SNMP-ловушки, Netflow и другие.
Sagan предназначен для обнаружения и анализа аномального поведения в сети, с целью выявления потенциальных угроз безопасности. Он основан на системе обнаружения вторжений Snort, которая широко известна и популярна в сообществе информационной безопасности.
Cсылка: https://github.com/quadrantsec/sagan/
🔥🔥🔥Отказ от ответственности: см. в постах выше.
#sagan #networksecurity #anomalydetection #intrusiondetection #snort
🔠Q1: Sagan ?
Sagan - это инструмент, который использует движок, схожий со Snort, и набор правил для анализа различных журналов, таких как системные журналы, журналы событий, SNMP-ловушки, Netflow и другие.
Sagan предназначен для обнаружения и анализа аномального поведения в сети, с целью выявления потенциальных угроз безопасности. Он основан на системе обнаружения вторжений Snort, которая широко известна и популярна в сообществе информационной безопасности.
Cсылка: https://github.com/quadrantsec/sagan/
🔥🔥🔥Отказ от ответственности: см. в постах выше.
#sagan #networksecurity #anomalydetection #intrusiondetection #snort
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_120 (Часть_3)
🔠Q_120: Из чего состоит Apache Nifi ?
7. Reporting Task: Задания отчетов предоставляют возможность собирать и отображать информацию о статусе системы, процессоров и потоков данных.
8. Templates: Шаблоны позволяют сохранить конфигурацию потока данных в файле для повторного использования или обмена с другими экземплярами Apache NiFi.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
🔠Q_120: Из чего состоит Apache Nifi ?
7. Reporting Task: Задания отчетов предоставляют возможность собирать и отображать информацию о статусе системы, процессоров и потоков данных.
8. Templates: Шаблоны позволяют сохранить конфигурацию потока данных в файле для повторного использования или обмена с другими экземплярами Apache NiFi.
#ApacheNifi #DataFlow #DataIntegration #GUI #Scalability #Reliability #ErrorHandling #DataDelivery #DataManagement #Security #Flexibility #Authentication #Authorization #TextFiles #Databases #SensorData #Integrations
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_121
🔠Q_121: Что такое NLTK ?
NLTK (Natural Language Toolkit) - это библиотека для обработки естественного языка на языке программирования Python. Она предоставляет инструменты для работы с текстовыми данными, включая различные функции для токенизации, лемматизации, предварительной обработки текста, классификации и извлечения информации. NLTK также содержит различные корпусы текстовых данных и модели, которые можно использовать для обучения и тестирования алгоритмов обработки естественного языка. Эта библиотека широко используется в академических и исследовательских целях, а также в индустрии для разработки и применения алгоритмов обработки текста и анализа данных.
ССылка: https://www.nltk.org
#nltk #natural #language #processing #python
🔠Q_121: Что такое NLTK ?
NLTK (Natural Language Toolkit) - это библиотека для обработки естественного языка на языке программирования Python. Она предоставляет инструменты для работы с текстовыми данными, включая различные функции для токенизации, лемматизации, предварительной обработки текста, классификации и извлечения информации. NLTK также содержит различные корпусы текстовых данных и модели, которые можно использовать для обучения и тестирования алгоритмов обработки естественного языка. Эта библиотека широко используется в академических и исследовательских целях, а также в индустрии для разработки и применения алгоритмов обработки текста и анализа данных.
ССылка: https://www.nltk.org
#nltk #natural #language #processing #python
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_122
🔠Q_122: Что такое object detection и какие алгоритмы с ним работают ?
Object detection — это задача компьютерного зрения, которая заключается в определении и локализации объектов различных классов на изображении или видео. Целью алгоритмов object detection является не только идентификация объектов, но и определение их прямоугольной области на изображении.
Существует несколько алгоритмов для решения задачи object detection:
1. R-CNN (Region-Based Convolutional Neural Networks) — этот алгоритм применяет выделение регионов для локализации объектов, а затем применяет нейронные сети для классификации найденных регионов.
2. Fast R-CNN — улучшенная версия R-CNN, которая предложила совместное обучение сверточных слоев для выделения регионов и классификации.
Сcылки:
- https://habr.com/ru/companies/jetinfosystems/articles/498652/
- https://habr.com/ru/articles/421299/
#object #detection #cnn #fast
🔠Q_122: Что такое object detection и какие алгоритмы с ним работают ?
Object detection — это задача компьютерного зрения, которая заключается в определении и локализации объектов различных классов на изображении или видео. Целью алгоритмов object detection является не только идентификация объектов, но и определение их прямоугольной области на изображении.
Существует несколько алгоритмов для решения задачи object detection:
1. R-CNN (Region-Based Convolutional Neural Networks) — этот алгоритм применяет выделение регионов для локализации объектов, а затем применяет нейронные сети для классификации найденных регионов.
2. Fast R-CNN — улучшенная версия R-CNN, которая предложила совместное обучение сверточных слоев для выделения регионов и классификации.
Сcылки:
- https://habr.com/ru/companies/jetinfosystems/articles/498652/
- https://habr.com/ru/articles/421299/
#object #detection #cnn #fast
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_122 (Часть_2)
🔠Q_122: Что такое object detection и какие алгоритмы с ним работают ?
3. Faster R-CNN — алгоритм, который добавляет в Fast R-CNN специальный слой Region Proposal Network (RPN), отвечающий за генерацию предложений регионов.
4. YOLO (You Only Look Once) — это алгоритм, который обрабатывает изображение одним проходом через нейронную сеть и делает прогнозы прямоугольных областей объектов и их классов в реальном времени.
Cсылка: https://medium.com/@bigdataschool/3-метода-детектирования-объектов-c-deep-learning-r-cnn-fast-r-cnn-и-faster-r-cnn-acdf6380fd33
#object #detection #cnn #fast
🔠Q_122: Что такое object detection и какие алгоритмы с ним работают ?
3. Faster R-CNN — алгоритм, который добавляет в Fast R-CNN специальный слой Region Proposal Network (RPN), отвечающий за генерацию предложений регионов.
4. YOLO (You Only Look Once) — это алгоритм, который обрабатывает изображение одним проходом через нейронную сеть и делает прогнозы прямоугольных областей объектов и их классов в реальном времени.
Cсылка: https://medium.com/@bigdataschool/3-метода-детектирования-объектов-c-deep-learning-r-cnn-fast-r-cnn-и-faster-r-cnn-acdf6380fd33
#object #detection #cnn #fast
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_123 (Часть_1)
🔠Q_123: Что такое tensorflow и какая у него архитектура ?
TensorFlow - это открытая программная библиотека для машинного обучения, разработанная компанией Google. Она позволяет создавать, обучать и применять глубокие нейронные сети и другие модели машинного обучения. TensorFlow предоставляет удобный набор инструментов для работы с большими объемами данных и выполнения сложных вычислительных операций.
Архитектура TensorFlow основана на графовых структурах. Она состоит из двух основных компонентов: графа выполнения и среды выполнения.
Cсылка: https://www.tensorflow.org/?hl=ru
# tensorflow #gpu
🔠Q_123: Что такое tensorflow и какая у него архитектура ?
TensorFlow - это открытая программная библиотека для машинного обучения, разработанная компанией Google. Она позволяет создавать, обучать и применять глубокие нейронные сети и другие модели машинного обучения. TensorFlow предоставляет удобный набор инструментов для работы с большими объемами данных и выполнения сложных вычислительных операций.
Архитектура TensorFlow основана на графовых структурах. Она состоит из двух основных компонентов: графа выполнения и среды выполнения.
Cсылка: https://www.tensorflow.org/?hl=ru
# tensorflow #gpu