⚠️100 Инструментов для Penetration Testing - Tools №8 (ClickHouse) (Часть_2)

Многообразие функций агрегации: ClickHouse предоставляет широкий набор встроенных функций агрегации, таких как сумма, среднее, минимум, максимум, количество и т. д. Он также поддерживает пользовательские агрегатные функции, позволяющие создавать собственные функции агрегации для специфических потребностей.

Поддержка структурированных и полуструктурированных данных: ClickHouse может работать с различными типами данных, включая числа, строки, даты и массивы. Он также поддерживает работу с JSON-данными, что позволяет анализировать и обрабатывать полуструктурированные данные.

👉Ссылка: https://github.com/ClickHouse/ClickHouse

🔥🔥🔥Отказ от ответственности: см. в постах выше.

#ClickHouse #analytics #high performance #big data processing #scalability #data aggregation #data types #structured data #semi-structured_data

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

https://www.fb.org/focus-on-agriculture/artificial-intelligence-a-sustainable-approach-to-todays-farming - интересная статья про использование ИИ в животноводстве, среди множества решений, которые уже задействованы, значатся следующие:
- раняя диагностика респираторных заболеваний у молочных телят;
- технология опрыскивания позволяет машине определять сорняки и направлять гербицид только на них;
- контроль веса и наличие заболеваний у коров;

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

А вот это интересно )) началась гонка за качество ИИ моделей и крупные корпорации отказываются открывать свои наработки для ChatGPT: https://habr.com/ru/news/773120/
- Microsoft временно заблокировала доступ к ChatGPT на корпоративных устройствах из-за проблем с безопасностью данных;
- В октябре Космическое командование США запретило использование нейросетей, включая ChatGPT, из-за опасений утечки секретной информации.
- Adobe закрыла доступ к чат-ботам на базе ИИ для безопасности сотрудников.
- Google разослала предупреждение о необходимости использования чат-ботов с осторожностью, включая Bard.
- Apple запретила использование ChatGPT, других чат-ботов и генеративных платформ ИИ из-за необходимости соблюдения безопасности.
- Samsung сначала ограничила, а затем полностью запретила использование ChatGPT, Google Bard и Bing на рабочих устройствах.

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

👋👋👋200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_147

❓❓❓Что такое SASRec ?

SASRec (Self-Attentive Sequential Recommendation) — это модель рекомендаций, основанная на механизме самоорганизующегося внимания (self-attention). Она предназначена для решения задачи персонализированной рекомендации, где необходимо предсказать предпочтения пользователя на основе его истории взаимодействий.

SASRec отличается от других моделей рекомендаций тем, что учитывает последовательность взаимодействий пользователя с предметами, а не только их совокупное представление. Она использует механизм самоорганизующегося внимания для моделирования зависимостей между различными элементами последовательности.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation #RecommenderSystem #MachineLearning #DeepLearning #ContextualSignals #SequenceModeling

💊💊💊Чем более шеров и лаков тем больше буду закидывать такого полезного контента !!!

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

👋👋👋200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_148

❓❓❓ Какие еще методы машинного обучения используются в рекомендательных системах, помимо глубокого обучения? (Часть_1)

Методы коллаборативной фильтрации: Эти методы основываются на анализе взаимодействий между пользователями и предметами. Они могут быть основаны на покупках, оценках, просмотрах и других действиях пользователей. Примеры включают методы на основе сходства пользователей (User-Based Collaborative Filtering) и методы на основе сходства предметов (Item-Based Collaborative Filtering).

Методы контента-ориентированной фильтрации: Эти методы используют информацию о характеристиках или содержании предметов для создания рекомендаций. Например, для фильмов это может быть информация о жанре, актерах, режиссерах и т.д. Методы контент-ориентированной фильтрации позволяют рекомендовать предметы, которые подобны тем, которые пользователю уже понравились.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation

💊💊💊Чем более шеров и лаков тем больше буду закидывать такого полезного контента !!!

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_148

🔠 Какие еще методы машинного обучения используются в рекомендательных системах, помимо глубокого обучения? (Часть_2)

Факторизационные методы: Эти методы используют матричную факторизацию для представления пользователей и предметов в скрытом пространстве. Они моделируют взаимодействие между пользователями и предметами путем умножения факторизованных представлений. Примером таких методов является метод SVD (Singular Value Decomposition) и его вариации, такие как SVD++, NMF (Non-Negative Matrix Factorization) и другие.

Гибридные методы: Это комбинация различных подходов для получения лучшей точности рекомендаций. Гибридные методы могут объединять методы коллаборативной фильтрации, контент-ориентированной фильтрации и другие методы, используя различные комбинации и взвешивание между ними.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_148

🔠 Какие еще методы машинного обучения используются в рекомендательных системах, помимо глубокого обучения? (Часть_3)

Контекстуальные методы: Эти методы учитывают контекстуальные сигналы, такие как время, местоположение, устройство и другие факторы, которые могут влиять на предпочтения пользователей. Контекстуальные методы могут использоваться для улучшения персонализации рекомендаций, учитывая текущий контекст пользователя.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

🪙🪙🪙🪙Новые разработки Delta Air Lines с применением машинного обучения уже во всю работают и приносят реальную прибыль. Вообще компания активно внедряет алгоритмы машинного обучения на всех уровнях своей непосредственной деятельности от пассажироперевозок до до контроля бухгалтерии. Наиболее значимые прорывы у компании по следующим решениям:
- метеорология и планирование полетов;
- перемещение багажа между терминалами и внутри их;
- координация данных клиентов для создания "бесшовного" процесса путешествий;
- создание сервисной системы обслуживания клиентов.

⬆️⬆️⬆️Источник: https://themessenger.com/business/delta-air-lines-ai-and-machine-learning

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

😂😂😂Среди лидеров по покупке стартапов за минувший год оказалась не кто иной как Apple Inc. а не Microsoft с их нереальными вложениями в OpenAI. Казалось бы, а вот так. По полученным данным c 2017 года Apple приобрела 21 ИИ-стартап, почти вдвое больше, чем Microsoft и Meta вместе взятые. Основной фокус их покупок сконцентрировался на стартапах с ИИ, специализирующиеся на технологиях автопилотов, голосовом дизайне и распознавании изображений.

Более того, компания, намеренно, избегает публичного обсуждения своих инвестиций в ИИ, в отличие от Microsoft и Google, однако сейчас ее вектор смещается на работу со стартапами, а не покупку их напрямую, из-за усиления антимонопольного контроля со стороны правительства США. В то время как их прямой конкурент Amazon инвестирует до 4 миллиардов долларов в Anthropic, создателя чат-бота Claude с искусственным интеллектом, примерно тем же самым сейчас занята компания Илона Маска с собственной разработкой в данном направлении.

⬆️⬆️⬆️Ссылка: https://qz.com/apple-may-be-quiet-on-ai-but-it-s-also-the-biggest-buy-1850872570

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_149

🔠 Какие есть методы SVD?

- Ядерное SVD (Kernelized SVD): Этот метод применяет ядерные функции для нелинейного преобразования данных, что позволяет учесть нелинейные зависимости между пользователями и предметами.

- SVD++, SVD-Bias: Эти вариации SVD учитывают дополнительные факторы, такие как смещение (bias) предметов и пользователей, а также информацию о неявных оценках или взаимодействиях.

- Sparse SVD: Этот метод предназначен для работы с разреженными матрицами взаимодействий, которые часто встречаются в реальных рекомендательных системах. Он учитывает разреженность данных для более эффективной факторизации.

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_150

🔠 Какие еще методы факторизации используются в рекомендательных системах?

Матричная факторизация с ограничениями (Matrix Factorization with Constraints): Этот метод включает в себя введение дополнительных ограничений на факторизованные матрицы, чтобы учесть дополнительную информацию или задачи. Например, можно добавить ограничение на разреженность факторизованных матриц или включить информацию о контексте или времени.

Non-negative Matrix Factorization (NMF): В NMF матрица взаимодействий представляется как произведение двух неотрицательных матриц меньшего размера. Этот метод широко используется при работе с неотрицательными данными, такими как рейтинги или счетчики.

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation

🪙🪙🪙https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал. Все начал я вести платный контент. Не дорого, но полезно ))

👨‍💻👨‍💻👨‍💻Провел сравнительный тест Pandas vs Polars и все расписал, посмотреть можно здесь:
⬆️⬆️⬆️https://boosty.to/denoise_lab/donate

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_151

🔠 Какие еще методы факторизации используются в рекомендательных системах?

Probabilistic Matrix Factorization (PMF): PMF моделирует матрицу взаимодействий как вероятностное распределение, используя вероятностные методы и статистическую модель. Он позволяет учесть неопределенность в данных и обеспечивает более гибкую модель.

Factorization Machines (FM): FM являются более общим методом факторизации, который моделирует взаимодействия между пользователями и предметами, а также другие контекстуальные признаки. FM обрабатывает взаимодействия как взаимодействие между парами признаков и использует линейные и нелинейные комбинации этих пар для предсказания рекомендаций.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_152

🔠 Можете ли вы привести примеры применения Probabilistic Matrix Factorization (PMF) в рекомендательных системах?

Рекомендации фильмов: В случае рекомендаций фильмов, PMF может быть использован для моделирования матрицы взаимодействий между пользователями и фильмами. PMF представляет матрицу взаимодействий как вероятностное распределение, где каждый элемент матрицы представляет вероятность взаимодействия между пользователем и фильмом. Затем PMF факторизует эту матрицу на две более низкоразмерные матрицы, представляющие скрытые факторы пользователей и фильмов.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

☄️Ребят напоминаю, все наши соцсети:

🔼Telegramm: https://t.me/DenoiseLAB
🔼TelegrammChat: https://t.me/DenoseLABChat
🔼Profi.ru: https://profi.ru/profile/MironovVO8/
🔼YouTube: https://www.youtube.com/@DenoiseLAB
🔼Business Card: https://taplink.cc/denoiselab
🔼Habr: https://habr.com/ru/users/CrXf_17/
🔼Boosty: https://boosty.to/denoise_lab/donate
🔼Dzen: https://dzen.ru/profile/editor/denoiselabtalk

🤝🤝🤝Ребят всем привет!!!

👍👍👍https://youtu.be/cQmuu0NJvVw - Новое видео не канале, выпуск №7.

⬆️⬆️⬆️На этот раз говорим про One Hot Encoding, что это такое и как он работает.

Очень жизненный мем, но работает точно. Проверил на хакатонах. Первый месяц все идут ровно, ноздря в ноздрю. Потом начинается "разброд и шатание". А какие еще гипотезы проверить, а какие фичи еще накрутить и начинается паника )).

Где взять аналитиков, чтобы накидали идей. В реальном продакшене на серьезной задаче, гипотез проверяется, примерно, под полсотни, перерывается куча статей, данные просеиваются с такой скоростью и такие конвейры строятся, что потом диву даешься как вообще такое можно было найти )).

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.

❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_152

🔠 Можете ли вы привести примеры применения Probabilistic Matrix Factorization (PMF) в рекомендательных системах? (Часть_2)

Рекомендации товаров: В контексте электронной коммерции, PMF может быть применен для моделирования матрицы взаимодействий между пользователями и товарами. Это может быть матрица рейтингов, покупок или просмотров товаров. PMF моделирует эту матрицу как вероятностное распределение и факторизует ее на две матрицы более низкого ранга, представляющие скрытые факторы пользователей и товаров. Затем полученные факторизованные представления могут быть использованы для рекомендации новых товаров пользователям на основе вероятностей взаимодействия.

#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation

🤕🤕🤕https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.