❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_153
🔠Можете ли вы объяснить, как PMF учитывает неопределенность в данных? (Часть_2)
При обучении PMF происходит итеративный процесс, в котором оптимизируются параметры модели, такие как факторизованные представления пользователей и элементов, а также параметры распределения. Процесс максимизации правдоподобия позволяет модели адаптироваться к данным и учесть неопределенность в предсказаниях, учитывая разброс и шум в данных.
Таким образом, PMF моделирует неопределенность в данных, представляя матрицу взаимодействий как вероятностное распределение и используя метод максимального правдоподобия для оптимизации параметров модели. Это позволяет более точно оценивать вероятности взаимодействия и учитывать неопределенность при генерации рекомендаций в рекомендательных системах.
#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation
🤕 🤕 🤕 https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
🔠Можете ли вы объяснить, как PMF учитывает неопределенность в данных? (Часть_2)
При обучении PMF происходит итеративный процесс, в котором оптимизируются параметры модели, такие как факторизованные представления пользователей и элементов, а также параметры распределения. Процесс максимизации правдоподобия позволяет модели адаптироваться к данным и учесть неопределенность в предсказаниях, учитывая разброс и шум в данных.
Таким образом, PMF моделирует неопределенность в данных, представляя матрицу взаимодействий как вероятностное распределение и используя метод максимального правдоподобия для оптимизации параметров модели. Это позволяет более точно оценивать вероятности взаимодействия и учитывать неопределенность при генерации рекомендаций в рекомендательных системах.
#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Ну, наконец-то нормальный помощник, а не вот это ваше все, щас все будет по шоколаду. А то я уже устал перечитывать целые "простыни" своего кода.
Осталось совсем немного, чтобы он начал говорить:
- Слушай бро, давай завтра, че-то сегодня я не ресурсе ))
Please open Telegram to view this post
VIEW IN TELEGRAM
и т.д.
Please open Telegram to view this post
VIEW IN TELEGRAM
Boosty.to
DenoiseLAB - Все об ML & DL, аналике и анализе данных
Информационный портал DenoiseLAB о машинном обучении, информационной безопасности, аналитике и разработке. Новинки, полезные материалы новости и полные руководства вы найдете здесь. ОБО МНЕ: Миронов Владимир (Data Analyst / Business Analyst / Data Scientist)…
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_154
🔠Можете ли вы объяснить, как происходит оптимизация параметров модели в PMF? (Часть_1)
Формулирование модели: Сначала определяется вероятностная модель для PMF, которая включает предположения о распределении данных и параметры модели. Наиболее распространенное предположение состоит в моделировании рейтинговых данных с использованием нормального (гауссовского) распределения.
Логарифмическая функция правдоподобия: Для оптимизации параметров модели используется логарифмическая функция правдоподобия (log-likelihood function). Эта функция оценивает, насколько хорошо модель соответствует наблюдаемым данным.
#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation
🤕 🤕 🤕 https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
🔠Можете ли вы объяснить, как происходит оптимизация параметров модели в PMF? (Часть_1)
Формулирование модели: Сначала определяется вероятностная модель для PMF, которая включает предположения о распределении данных и параметры модели. Наиболее распространенное предположение состоит в моделировании рейтинговых данных с использованием нормального (гауссовского) распределения.
Логарифмическая функция правдоподобия: Для оптимизации параметров модели используется логарифмическая функция правдоподобия (log-likelihood function). Эта функция оценивает, насколько хорошо модель соответствует наблюдаемым данным.
#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_154
🔠Можете ли вы объяснить, как происходит оптимизация параметров модели в PMF? (Часть_2)
Оптимизация параметров: Цель состоит в максимизации логарифмической функции правдоподобия. Обычно используются методы оптимизации, такие как градиентный спуск (gradient descent), для нахождения оптимальных значений параметров модели. В ходе итераций параметры модели обновляются в направлении, которое увеличивает значение логарифмической функции правдоподобия.
Регуляризация: Часто в PMF применяются методы регуляризации для предотвращения переобучения модели и улучшения ее обобщающей способности. Регуляризация добавляет дополнительные штрафы к функции правдоподобия, основанные на норме параметров модели. Это помогает контролировать сложность модели и предотвращать переобучение.
#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation
🤕 🤕 🤕 https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
🔠Можете ли вы объяснить, как происходит оптимизация параметров модели в PMF? (Часть_2)
Оптимизация параметров: Цель состоит в максимизации логарифмической функции правдоподобия. Обычно используются методы оптимизации, такие как градиентный спуск (gradient descent), для нахождения оптимальных значений параметров модели. В ходе итераций параметры модели обновляются в направлении, которое увеличивает значение логарифмической функции правдоподобия.
Регуляризация: Часто в PMF применяются методы регуляризации для предотвращения переобучения модели и улучшения ее обобщающей способности. Регуляризация добавляет дополнительные штрафы к функции правдоподобия, основанные на норме параметров модели. Это помогает контролировать сложность модели и предотвращать переобучение.
#SASRec #SequentialRecommendation #SelfAttention #PersonalizedRecommendation
Please open Telegram to view this post
VIEW IN TELEGRAM
То есть получается, что стройка в целом дело решеное, все как правило упирается в место стройки.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤝Ребята всем привет!!!
✔️ Машинное обучение все чаще, теперь ставится на рельсы валидации и верификации так в статье: https://www.genengnews.com/topics/bioprocessing/machine-learning-an-ideal-fit-for-process-validation/ данный кейс показан на примере производства лекарственных препаратов. При этом было показано, что определение валидации процесса, как правило, состоит из трех частей: разработка процесса (PD); квалификация процесса (PQ); и непрерывная верификация процесса (CPV). При этом 2/3 это рутина, которая в целом не нуждается в человеческом участии.
✔️ В работе использовались две модели искусственного интеллекта - модель изоляции для выявления аномалий на этапе дозирования и модель случайного леса для прогнозирования необходимых управляющих действий оператора на этапе полуавтоматизированного дозирования. Эти модели превзошли традиционные подходы с использованием одной переменной, заняли меньше времени и, по мнению авторов, иллюстрируют потенциальные преимущества ИИ в анализе технологических процессов.
✔️ Исследование проводилось при изучении выработки рекомбинантного белка, называемого липазой 1 candida rugosa (Crl1), дрожжами вида Pichia pastoris в условиях гипоксии (отсутствие кислорода).
✔️ То есть в целом получается ситуация, что мы получили и при использовании лапораскопических операций вместо операций с непосредственным открытым типом хирургического вмешательства. Подход тот же самый а эффекта больше. Именно эта способность находить в сложных данных необнаруживаемые закономерности с минимальным вмешательством оператора делает системы искусственного интеллекта идеально подходящими для производственных операций.
🤕 🤕 🤕 https://boosty.to/denoise_lab/donate - фишки кода, полезные фичи или просто если вы хотите поддержать наш канал.
Please open Telegram to view this post
VIEW IN TELEGRAM
Выявлении и диагностике синдрома поликистозных яичников (СПКЯ) у женщин. Ребята запилил модель, в которую взяли данные NIH за 25 лет (!!!) и проводили оценку гормональных нарушений. При этом выяснилось, что:
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
DenoiseLAB pinned «💊 Ребята, если вы хотите что-то опубликовать какой-то пост или заметку, закидывайте в личку, все обсудим, скоро появится бот для обратной связи, будет удобнее.»
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_155
🔠Как устроена внутри библиотека Polars и почему она лучше Pandas ?
Производительность: Polars была разработана с учетом производительности и масштабируемости. Она использует векторизованные операции и многопоточность для обработки данных эффективно. Это особенно полезно при работе с большими объемами данных, где Polars может значительно ускорить выполнение операций по сравнению с Pandas.
Поддержка распределенных вычислений: Polars предоставляет возможность распределенных вычислений через интеграцию с Apache Arrow и Ray. Это позволяет обрабатывать данные на кластере или в распределенной среде, что может быть полезно для работы с очень большими наборами данных.
#performance #scalability #multithreading #bigdata #Polars #Pandas #distributedcomputing
#ApacheArrow #Ray
🔠Как устроена внутри библиотека Polars и почему она лучше Pandas ?
Производительность: Polars была разработана с учетом производительности и масштабируемости. Она использует векторизованные операции и многопоточность для обработки данных эффективно. Это особенно полезно при работе с большими объемами данных, где Polars может значительно ускорить выполнение операций по сравнению с Pandas.
Поддержка распределенных вычислений: Polars предоставляет возможность распределенных вычислений через интеграцию с Apache Arrow и Ray. Это позволяет обрабатывать данные на кластере или в распределенной среде, что может быть полезно для работы с очень большими наборами данных.
#performance #scalability #multithreading #bigdata #Polars #Pandas #distributedcomputing
#ApacheArrow #Ray
❓200 Вопросов по Машинному обучению (Machine Learning) - Вопрос_156
🔠Как устроена внутри библиотека Polars и почему она лучше Pandas ?
Удобный API: Polars предлагает простой и интуитивно понятный API, который легко изучить и использовать. Он предоставляет широкий набор функций и операций для манипулирования данными, включая фильтрацию, сортировку, группировку, объединение и многое другое.
Интеграция с другими инструментами: Polars интегрируется с другими популярными инструментами обработки данных, такими как PySpark и Dask, что обеспечивает большую гибкость и возможность использования существующих инфраструктур и инструментов.
#performance #scalability #multithreading #bigdata #Polars #Pandas #distributedcomputing
#ApacheArrow #Ray
🔠Как устроена внутри библиотека Polars и почему она лучше Pandas ?
Удобный API: Polars предлагает простой и интуитивно понятный API, который легко изучить и использовать. Он предоставляет широкий набор функций и операций для манипулирования данными, включая фильтрацию, сортировку, группировку, объединение и многое другое.
Интеграция с другими инструментами: Polars интегрируется с другими популярными инструментами обработки данных, такими как PySpark и Dask, что обеспечивает большую гибкость и возможность использования существующих инфраструктур и инструментов.
#performance #scalability #multithreading #bigdata #Polars #Pandas #distributedcomputing
#ApacheArrow #Ray