DenoiseLAB
486 subscribers
1.33K photos
159 videos
3 files
1.57K links
Блог DenoiseLAB (машинное обучение, аналитика)

Информация в канале служит только для ознакомления и не является призывом к действию. Не нарушайте законы РФ и других стран. Мы не несем отвественность за ваши действия или бездействия.
Download Telegram
⚠️100 Инструментов для Penetration Testing - Tools №6 (cSploit)

MITM-атаки: С помощью cSploit можно проводить атаки типа "Man-in-the-Middle" (MITM), которые позволяют перехватывать и изменять сетевой трафик между двумя узлами. Это может быть полезно для анализа безопасности, перехвата паролей, изменения данных и других целей.

Анализ уязвимостей: cSploit предоставляет возможность анализировать уязвимости в сетевых устройствах и приложениях, а также предлагает инструменты для тестирования на проникновение и оценки безопасности.

👉Ссылка: https://github.com/cSploit/android

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#cSploit #information_security #Android_devices #Metasploit #MITM #network_scanning #vulnerability_detection

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
⚠️100 Инструментов для Penetration Testing - Tools №7 (Plausible Analytics)

Plausible Analytics - это простой, открытый и легкий веб-аналитический инструмент, который представляет собой альтернативу Google Analytics. Он имеет размер менее 1 КБ и обеспечивает высокую конфиденциальность данных пользователей.

Отсутствие беспорядка: предоставляет простую веб-аналитику и отсекает шум. Никаких многоуровневых меню, никакой необходимости в создании пользовательских отчетов. Получите все важные данные на одной странице. Нет необходимости в обучении.

Соответствие требованиям GDPR/CCPA/PECR: Измеряйте трафик, а не отдельных людей. В нашей базе данных никогда не хранятся персональные данные или IP-адреса. Мы не используем файлы cookie и другие постоянные идентификаторы.

👉Ссылка: https://github.com/plausible/analytics

🔥🔥🔥Отказ от ответственности: см. в постах выше.

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
😂😂😂Красивая картиночка мне прям сразу зашло, коротко о работе Data Analyst/Data Scientist. Только в реальном продакшене не все так красиво, плавно и весело, а больше напоминает пробивание головой стены, причем не одной и даже без перерыва на обед ))

🌡🌡🌡Чем более шеров и лаков тем больше буду закидывать такого полезного контента !!!
Please open Telegram to view this post
VIEW IN TELEGRAM
😁4
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_146

🔠 Что такое Лассо-регресси Тибширани ? (Часть_3)

Выбор признаков: может использоваться для автоматического выбора наиболее важных признаков, исключая незначимые признаки из модели. Это особенно полезно при работе с большим количеством признаков или признаков с высокой корреляцией.

Сокращение размерности: позволяет сократить размерность данных, оставляя только наиболее информативные признаки. Это может улучшить производительность модели, снизить переобучение и упростить интерпретацию результатов.

Регуляризация: Добавление штрафа на сумму абсолютных значений коэффициентов помогает контролировать сложность модели и предотвращает переобучение, особенно при наличии мультиколлинеарности между признаками.

#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_146

🔠 Что такое Лассо-регресси Тибширани ? (Часть_4)

Выбор гиперпараметра: требует выбора гиперпараметра - коэффициента регуляризации, который определяет силу штрафа на коэффициенты. Выбор правильного значения гиперпараметра может быть нетривиальной задачей и требует кросс-валидации или других методов выбора.

Отбор признаков: может быть слишком суровой в отборе признаков и исключать некоторые полезные переменные, особенно если есть корреляция между признаками.

Неустойчивость к корреляции: При наличии сильной корреляции между признаками лассо-регрессия Тибширани может быть неустойчива и выбрать только один из коррелирующих признаков, в то время как другие признаки считаются незначимыми.

#lasso #regression #Tibshirani #regularization #model_selection #model_estimation #penalization #absolute values #regression_coefficients #L1_regularization #loss_function #model_complexity #feature_space

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
⚠️100 Инструментов для Penetration Testing - Tools №8 (ClickHouse) (Часть_1)

ClickHouse - это система управления базами данных с открытым исходным кодом, ориентированная на аналитическую обработку больших объемов данных в режиме реального времени.

Высокая производительность: ClickHouse разработан для обработки миллиардов строк данных и обеспечивает высокую скорость выполнения запросов. Он может эффективно обрабатывать как агрегированные запросы, так и сложные аналитические запросы с большим количеством фильтров, сортировок и объединений данных.

👉Ссылка: https://github.com/ClickHouse/ClickHouse

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#ClickHouse #analytics #high performance #big data processing #scalability #data aggregation #data types #structured data #semi-structured_data

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
⚠️100 Инструментов для Penetration Testing - Tools №8 (ClickHouse) (Часть_2)

Многообразие функций агрегации: ClickHouse предоставляет широкий набор встроенных функций агрегации, таких как сумма, среднее, минимум, максимум, количество и т. д. Он также поддерживает пользовательские агрегатные функции, позволяющие создавать собственные функции агрегации для специфических потребностей.

Поддержка структурированных и полуструктурированных данных: ClickHouse может работать с различными типами данных, включая числа, строки, даты и массивы. Он также поддерживает работу с JSON-данными, что позволяет анализировать и обрабатывать полуструктурированные данные.

👉Ссылка: https://github.com/ClickHouse/ClickHouse

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#ClickHouse #analytics #high performance #big data processing #scalability #data aggregation #data types #structured data #semi-structured_data

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
https://www.fb.org/focus-on-agriculture/artificial-intelligence-a-sustainable-approach-to-todays-farming - интересная статья про использование ИИ в животноводстве, среди множества решений, которые уже задействованы, значатся следующие:
- раняя диагностика респираторных заболеваний у молочных телят;
- технология опрыскивания позволяет машине определять сорняки и направлять гербицид только на них;
- контроль веса и наличие заболеваний у коров;

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
А вот это интересно )) началась гонка за качество ИИ моделей и крупные корпорации отказываются открывать свои наработки для ChatGPT: https://habr.com/ru/news/773120/
- Microsoft временно заблокировала доступ к ChatGPT на корпоративных устройствах из-за проблем с безопасностью данных;
- В октябре Космическое командование США запретило использование нейросетей, включая ChatGPT, из-за опасений утечки секретной информации.
- Adobe закрыла доступ к чат-ботам на базе ИИ для безопасности сотрудников.
- Google разослала предупреждение о необходимости использования чат-ботов с осторожностью, включая Bard.
- Apple запретила использование ChatGPT, других чат-ботов и генеративных платформ ИИ из-за необходимости соблюдения безопасности.
- Samsung сначала ограничила, а затем полностью запретила использование ChatGPT, Google Bard и Bing на рабочих устройствах.

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
👋👋👋200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_147

Что такое SASRec ?

SASRec (Self-Attentive Sequential Recommendation) — это модель рекомендаций, основанная на механизме самоорганизующегося внимания (self-attention). Она предназначена для решения задачи персонализированной рекомендации, где необходимо предсказать предпочтения пользователя на основе его истории взаимодействий.

SASRec отличается от других моделей рекомендаций тем, что учитывает последовательность взаимодействий пользователя с предметами, а не только их совокупное представление. Она использует механизм самоорганизующегося внимания для моделирования зависимостей между различными элементами последовательности.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation #RecommenderSystem #MachineLearning #DeepLearning #ContextualSignals #SequenceModeling

💊💊💊Чем более шеров и лаков тем больше буду закидывать такого полезного контента !!!

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
👋👋👋200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_148

Какие еще методы машинного обучения используются в рекомендательных системах, помимо глубокого обучения? (Часть_1)

Методы коллаборативной фильтрации: Эти методы основываются на анализе взаимодействий между пользователями и предметами. Они могут быть основаны на покупках, оценках, просмотрах и других действиях пользователей. Примеры включают методы на основе сходства пользователей (User-Based Collaborative Filtering) и методы на основе сходства предметов (Item-Based Collaborative Filtering).

Методы контента-ориентированной фильтрации: Эти методы используют информацию о характеристиках или содержании предметов для создания рекомендаций. Например, для фильмов это может быть информация о жанре, актерах, режиссерах и т.д. Методы контент-ориентированной фильтрации позволяют рекомендовать предметы, которые подобны тем, которые пользователю уже понравились.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation

💊💊💊Чем более шеров и лаков тем больше буду закидывать такого полезного контента !!!

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_148

🔠 Какие еще методы машинного обучения используются в рекомендательных системах, помимо глубокого обучения? (Часть_2)

Факторизационные методы: Эти методы используют матричную факторизацию для представления пользователей и предметов в скрытом пространстве. Они моделируют взаимодействие между пользователями и предметами путем умножения факторизованных представлений. Примером таких методов является метод SVD (Singular Value Decomposition) и его вариации, такие как SVD++, NMF (Non-Negative Matrix Factorization) и другие.

Гибридные методы: Это комбинация различных подходов для получения лучшей точности рекомендаций. Гибридные методы могут объединять методы коллаборативной фильтрации, контент-ориентированной фильтрации и другие методы, используя различные комбинации и взвешивание между ними.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_148

🔠 Какие еще методы машинного обучения используются в рекомендательных системах, помимо глубокого обучения? (Часть_3)

Контекстуальные методы: Эти методы учитывают контекстуальные сигналы, такие как время, местоположение, устройство и другие факторы, которые могут влиять на предпочтения пользователей. Контекстуальные методы могут использоваться для улучшения персонализации рекомендаций, учитывая текущий контекст пользователя.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
🪙🪙🪙🪙Новые разработки Delta Air Lines с применением машинного обучения уже во всю работают и приносят реальную прибыль. Вообще компания активно внедряет алгоритмы машинного обучения на всех уровнях своей непосредственной деятельности от пассажироперевозок до до контроля бухгалтерии. Наиболее значимые прорывы у компании по следующим решениям:
- метеорология и планирование полетов;
- перемещение багажа между терминалами и внутри их;
- координация данных клиентов для создания "бесшовного" процесса путешествий;
- создание сервисной системы обслуживания клиентов.

⬆️⬆️⬆️Источник: https://themessenger.com/business/delta-air-lines-ai-and-machine-learning

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
😂😂😂Среди лидеров по покупке стартапов за минувший год оказалась не кто иной как Apple Inc. а не Microsoft с их нереальными вложениями в OpenAI. Казалось бы, а вот так. По полученным данным c 2017 года Apple приобрела 21 ИИ-стартап, почти вдвое больше, чем Microsoft и Meta вместе взятые. Основной фокус их покупок сконцентрировался на стартапах с ИИ, специализирующиеся на технологиях автопилотов, голосовом дизайне и распознавании изображений.

Более того, компания, намеренно, избегает публичного обсуждения своих инвестиций в ИИ, в отличие от Microsoft и Google, однако сейчас ее вектор смещается на работу со стартапами, а не покупку их напрямую, из-за усиления антимонопольного контроля со стороны правительства США. В то время как их прямой конкурент Amazon инвестирует до 4 миллиардов долларов в Anthropic, создателя чат-бота Claude с искусственным интеллектом, примерно тем же самым сейчас занята компания Илона Маска с собственной разработкой в данном направлении.

⬆️⬆️⬆️Ссылка: https://qz.com/apple-may-be-quiet-on-ai-but-it-s-also-the-biggest-buy-1850872570

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_149

🔠 Какие есть методы SVD?

- Ядерное SVD (Kernelized SVD): Этот метод применяет ядерные функции для нелинейного преобразования данных, что позволяет учесть нелинейные зависимости между пользователями и предметами.

- SVD++, SVD-Bias: Эти вариации SVD учитывают дополнительные факторы, такие как смещение (bias) предметов и пользователей, а также информацию о неявных оценках или взаимодействиях.

- Sparse SVD: Этот метод предназначен для работы с разреженными матрицами взаимодействий, которые часто встречаются в реальных рекомендательных системах. Он учитывает разреженность данных для более эффективной факторизации.

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation
Please open Telegram to view this post
VIEW IN TELEGRAM
200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_150

🔠 Какие еще методы факторизации используются в рекомендательных системах?

Матричная факторизация с ограничениями (Matrix Factorization with Constraints): Этот метод включает в себя введение дополнительных ограничений на факторизованные матрицы, чтобы учесть дополнительную информацию или задачи. Например, можно добавить ограничение на разреженность факторизованных матриц или включить информацию о контексте или времени.

Non-negative Matrix Factorization (NMF): В NMF матрица взаимодействий представляется как произведение двух неотрицательных матриц меньшего размера. Этот метод широко используется при работе с неотрицательными данными, такими как рейтинги или счетчики.

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation
Please open Telegram to view this post
VIEW IN TELEGRAM
🪙🪙🪙https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал. Все начал я вести платный контент. Не дорого, но полезно ))
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥3
👨‍💻👨‍💻👨‍💻Провел сравнительный тест Pandas vs Polars и все расписал, посмотреть можно здесь:
⬆️⬆️⬆️https://boosty.to/denoise_lab/donate
Please open Telegram to view this post
VIEW IN TELEGRAM
DenoiseLAB pinned «🪙🪙🪙https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал. Все начал я вести платный контент. Не дорого, но полезно ))»