DenoiseLAB
486 subscribers
1.33K photos
159 videos
3 files
1.57K links
Блог DenoiseLAB (машинное обучение, аналитика)

Информация в канале служит только для ознакомления и не является призывом к действию. Не нарушайте законы РФ и других стран. Мы не несем отвественность за ваши действия или бездействия.
Download Telegram
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_141

🔠 Какие еще методы нормализации данных существуют помимо Min-Max и Z-нормализации? (Часть_1)

🧪Ответ:

1/ Робастная нормализация (Robust normalization): Этот метод основан на медиане и интерквартильном расстоянии (IQR) и предназначен для работы с выбросами в данных. Он нормализует данные, учитывая их статистическое распределение, и делает их более устойчивыми к выбросам.

2/ Логарифмическая нормализация (Logarithmic normalization): Этот метод применяется к данным, которые имеют сильно смещенное распределение или широкий диапазон значений. Он применяет логарифмическую функцию к данным, чтобы сгладить их распределение и уменьшить различия в масштабе.

🎉Всем приятного чтения, и как всегда приветствуются комментарии, вопросы лайки и шеры, если их будет много, посты будут чаще и больше!!!

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_141

🔠 Какие еще методы нормализации данных существуют помимо Min-Max и Z-нормализации? (Часть_2)

🧪Ответ:

3/ Масштабирование на основе распределения (Distribution-based scaling): Этот метод основан на статистических свойствах распределения данных, таких как среднее и стандартное отклонение. Он масштабирует данные таким образом, чтобы они имели определенное распределение, например, нормальное распределение или равномерное распределение.

4/ Масштабирование на основе рангов (Rank-based scaling): Этот метод основан на ранжировании значений данных. Он преобразует данные в их ранговые значения, чтобы сохранить порядок значений, не обращая внимания на их конкретные числовые значения. Это полезно, когда данные содержат выбросы или несимметричные распределения.

#scaling #scaling #statistical properties #mean #standarddeviation #datadistribution #normaldistribution

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
⚠️100 Инструментов для Penetration Testing - Tools №1

Кодирование изображения: Вы можете использовать этот инструмент для встраивания секретной информации в изображение. Это происходит путем изменения наименее значимых битов пикселей в изображении, чтобы сохранить внешний вид изображения практически неизменным.

Декодирование изображения: Этот инструмент позволяет извлекать скрытую информацию из изображений, созданных с использованием стеганографии. Он восстанавливает скрытые данные из наименее значимых битов пикселей.

Сравнение двух изображений: Этот инструмент позволяет сравнивать два изображения и выявлять различия между ними. Если изображения содержат скрытую информацию, то они могут отличаться на уровне наименее значимых битов.

👉Ссылка: https://futureboy.us/stegano/

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#image_encoding #image_steganography #least_significant_bit (LSB) #image_manipulation #image_decoding #hidden_information_extraction #image_comparison

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
⚠️100 Инструментов для Penetration Testing - Tools №2

GTFOBins - это кураторский список Unix-бинарных файлов, которые могут использоваться для обхода локальных ограничений безопасности в неправильно настроенных системах. Проект собирает легитимные функции Unix-бинарных файлов, которые могут быть злоупотреблены для обхода ограничений, повышения или поддержания привилегий, передачи файлов, создания bind и reverse shell'ов и выполнения других задач после эксплуатации. Вместо этого GTFOBins является сборником информации о том, как использовать имеющиеся бинарные файлы. GTFOBins - это совместный проект, созданный Эмилио Пинной и Андреа Кардачи, где каждый может внести свой вклад, добавив дополнительные бинарные файлы и методики.

👉Ссылка: https://gtfobins.github.io

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#image_encoding #image_steganography #least_significant_bit (LSB) #image_manipulation #image_decoding #hidden_information_extraction #image_comparison

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_143

🔠Какой метод нормализации подходит для данных с нелинейной зависимостью? (Часть_1)

🧪Ответ:

Для данных с нелинейной зависимостью подходит полиномиальное масштабирование (Polynomial scaling). Этот метод позволяет захватить нелинейные взаимосвязи между переменными и улучшить моделирование.

При использовании полиномиального масштабирования данные преобразуются с помощью полиномиальных функций. Обычно используются функции, такие как полиномы Лежандра, полиномы Чебышева или полиномы Лагерра. Эти функции позволяют учитывать нелинейные зависимости и взаимодействия между переменными.

#scaling #scaling #statistical #mean #standarddeviation #datadistribution #normaldistribution

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_143

🔠Какой метод нормализации подходит для данных с нелинейной зависимостью? (Часть_2)

Полиномиальное масштабирование может быть полезным, когда в данных присутствуют квадратичные, кубические или более высокие нелинейные зависимости. Применение полиномиального масштабирования позволяет моделировать и учитывать такие зависимости, что может привести к более точным и предсказательным моделям.

Однако при использовании полиномиального масштабирования необходимо быть осторожным, так как он может привести к увеличению размерности данных и возникновению проблемы проклятия размерности (curse of dimensionality). Если размерность данных слишком высока, это может привести к увеличению сложности модели и переобучению.

#scaling #scaling #statistical #mean #standarddeviation #datadistribution #normaldistribution

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔓🔓🔓Ребята всем привет! Вот такая прикольная картинка, по всем библиотекам и модулям. Сохраняем себе постим и активно пользуем.

🌡🌡🌡Чем более шеров и лаков тем больше буду закидывать такого полезного контента !!!
Please open Telegram to view this post
VIEW IN TELEGRAM
5
https://www.youtube.com/watch?v=U9mJuUkhUzk&ab_channel=OpenAI - презентация OpenAI по поводу ChatGPT 4.5
🎉🎉🎉И завершилось голосование в линке, победили временные ряды, это хорошо, так как наш курс полностью посвящен временным рядам.
⚠️100 Инструментов для Penetration Testing - Tools №3

CyberChef - это простое и интуитивно понятное веб-приложение для анализа и декодирования данных без необходимости использования сложных инструментов или языков программирования. CyberChef помогает разбираться с данными различных форматов, шифрования и сжатия как техническим, так и неспециализированным пользователям.

CyberChef содержит около 200 полезных операций для всех, кто работает с чем-либо, связанным с Интернетом, будь то преобразование временной метки в другой формат, распаковка данных из формата gzip, создание хэша SHA3 или анализ сертификата X.509 для определения его эмитента.

👉Ссылка: https://gchq.github.io/CyberChef/

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#CyberChef #data analysis #data decoding #web application #data formats #encryption #compression #data manipulation #time conversion #gzip unpacking #SHA3 hashing #X.509 certificate analysis #Internet-related tasks

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
⚠️100 Инструментов для Penetration Testing - Tools №4 (Часть_1)

CHOMTE.SH - это универсальный shell-скрипт, предназначенный для автоматизации задач разведки при тестировании на проникновение. Он призван упростить и оптимизировать.процесс сбора информации и определения поверхности атаки. Особенности и функциональные возможности CHOMTE.SH:

- Обнаружение поддоменов: инструмент subfinder для легкого поиска поддоменов, что позволяет тестировщикам выявлять потенциальные точки входа и векторы атак.

- Перебор поддоменов DNS: инструмент dmut, компания CHOMTE.SH усиливает защиту DNS, выполняя перебор поддоменов, что позволяет обнаружить скрытые или забытые поддомены, которые могут представлять опасность.

👉Ссылка: https://github.com/mr-rizwan-syed/chomtesh

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#CyberChef #data analysis #data decoding #web application #data formats #encryption #compression #data manipulation #time conversion #gzip unpacking #SHA3 hashing #X.509 certificate analysis #Internet-related tasks

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔓🔓🔓Ребята новая конфа, кто в теме залетайте !!!

👉👉👉Scoring LLM Results with UpTrain and SingleStoreDB

https://www.singlestore.com/resources/webinar-scoring-llm-results-with-uptrain-and-singlestoredb/?utm_medium=email&utm_source=singlestore&utm_campaign=7014X000002ZuP1QAK&campaignid=7014X000002ZuP1QAK
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_144

🔠 Что такое модель пробит- и логит-регрессии ? (Часть_1)

Модель пробит и логит регрессии являются статистическими моделями, которые используются для анализа бинарных зависимых переменных, то есть переменных, которые могут принимать только два значения: 0 и 1.

Модель пробит регрессии предполагает, что вероятность принятия значения 1 зависит от линейной комбинации независимых переменных, а затем проходит через функцию нормального распределения, называемую функцией пробита. Функция пробита преобразует линейную комбинацию в вероятность, ограниченную в диапазоне от 0 до 1. В модели пробит регрессии используется метод максимального правдоподобия для оценки параметров модели.

#probit regression #logit regression #probability model #linear combination #independent variables #normal distribution #probit function #logistic function #maximum likelihood estimation #model parameters

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_144

🔠 Что такое модель пробит- и логит-регрессии ? (Часть_2)

Модель логит-регрессии также предполагает линейную комбинацию независимых переменных, но вместо использования функции пробита, она использует функцию логистической (сигмоидальной) функции, известной как функция логита. Функция логита преобразует линейную комбинацию в вероятность, используя логистическое преобразование. В модели логит регрессии также используется метод максимального правдоподобия для оценки параметров модели.

#probitregression #logitregression #probabilitymodel #linearcombination #independentvariables #normal distribution #probitfunction #logisticfunction #maximumlikelihoodestimation #modelparameters

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
Ребята всем привет !!!
🔓🔓🔓 https://www.chess.com/play/online - что мы все о работе да о работе, давайте за отдых, вот вам прикольный тренажер по игре в шахматы опять же с ИИ, фишка в том что когда вы с ним играете и проигрываете он начинает вас троллить )))
https://habr.com/ru/articles/771636/ - прикольная статья вышла как Яндекс банит все и вся если это сгенерировано машиной, и требует оригинального контента. В первую очередь идет речь об оригинальности, по моему мнению Яндекс начал набирать себе уникальных текстов чтобы раскручивать свои алгоритмы, генерации. Однако молодцы ))) С подобной историей я уже сталкивался на Дзене, они банят все и вся если замечена генерация. Корпорации приобрели себе армию генерации уникального контента, вот такой вот поворот. Между прочим Ютубчик тоже начал с этим бороться. Что из этого следует, мы будем наблюдать размежевание, сми и появления отдельных конгломератов именно региональных, что не очень хорошо.

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔓🔓🔓Прикольная библиотека которая поможет вам писать статьи и оформлять отчеты, особенно полезно для Data Science или кто работает с научными выкладками. Все делается прям на лету.

https://github.com/lukas-blecher/LaTeX-OCR

👉👉👉Чем более шеров и лайков тем больше буду закидывать такого полезного контента !!!

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
⚠️100 Инструментов для Penetration Testing - Tools №4 (Часть_2)

Быстрое сканирование портов: инструмент Naabu для быстрого сканирования портов, что позволяет тестировщикам быстро выявлять открытые порты и потенциальные уязвимости.

HTTP Probing: инструмент HTTPX от projectdiscovery используется компанией CHOMTE.SH для создания подробных отчетов. Он позволяет определить используемые технологии, обнаружить неправильную конфигурацию и получить представление о потенциальных проблемах безопасности.

Перечисление сервисов: Nmap для обнаружения открытых портов и сервисов на целевых системах, что позволяет тестировщикам сосредоточиться на анализе и оценке конкретных запущенных сервисов.

👉Ссылка: https://github.com/mr-rizwan-syed/chomtesh

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#port_scanning #Naabu #vulnerability testing #open_ports #security_testing #HTTP_probing #HTTPX #CHOMTE.SH #technology_detection #configuration_assessment

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
⚠️100 Инструментов для Penetration Testing - Tools №4 (Часть_3)

Формирование отчетов: CHOMTE.SH может генерировать комплексные отчеты в различных форматах, включая XML, NMAP, CSV и HTML. Эти отчеты могут быть использованы для представления выводов и эффективной передачи результатов разведки.

Обнаружение содержимого: Сценарий позволяет выявить конфиденциальные файлы, открытые в веб-приложениях, что может помочь обнаружить потенциальные недостатки и уязвимости в системе безопасности.

Сканирование уязвимостей: CHOMTE.SH включает в себя функции, позволяющие обнаружить распространенные ошибки конфигурации и уязвимости как в инфраструктуре, так и в веб-приложениях, что помогает тестировщикам выявить потенциальные слабые места, которые могут быть использованы.

👉Ссылка: https://github.com/mr-rizwan-syed/chomtesh

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#port_scanning #Naabu #vulnerability testing #open_ports #security_testing #HTTP_probing #HTTPX #CHOMTE.SH #technology_detection #configuration_assessment

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM