Если байес нужен всем
Для тех, кто только начинает свой путь в байесовских методах, есть отличный курс на русском и материалы к нему.
Для тех, кто уже продолжает, есть записи с летней школы Deep Bayes (на английском).
И наконец, для тех, у кого нет так много времени, а пощупать хочется, небольшой курс от той же вышки на курсере.
Для тех, кто только начинает свой путь в байесовских методах, есть отличный курс на русском и материалы к нему.
Для тех, кто уже продолжает, есть записи с летней школы Deep Bayes (на английском).
И наконец, для тех, у кого нет так много времени, а пощупать хочется, небольшой курс от той же вышки на курсере.
YouTube
Курс «Байесовские методы в машинном обучении». Лекция 1 (Дмитрий Ветров)
Байесовский подход к теории вероятностей. Примеры байесовских рассуждений
Целью курса является освоение байесовского подхода к теории вероятностей и основных способов его применения при решении задач машинного обучения. Курс научит вас строить комплексные…
Целью курса является освоение байесовского подхода к теории вероятностей и основных способов его применения при решении задач машинного обучения. Курс научит вас строить комплексные…
5 книг
Классическая классика ML
Pattern Recognition and Machine Learning, Bishop
The Elements of Statistical Learning
Классика нейронок
Neural Networks and Learning Machines, Haykin
Нейросети
Deep Learning - здесь больше теории
Hands-On Machine Learning with Scikit-Learn and TensorFlow - здесь больше практики с примерами на Tensorflow
Классическая классика ML
Pattern Recognition and Machine Learning, Bishop
The Elements of Statistical Learning
Классика нейронок
Neural Networks and Learning Machines, Haykin
Нейросети
Deep Learning - здесь больше теории
Hands-On Machine Learning with Scikit-Learn and TensorFlow - здесь больше практики с примерами на Tensorflow
Best paper award ICML 2019
Такую награду получило две статьи.
Про первую статью уже было тут.
Вторая статья называется Rates of Convergence for Sparse Variational Gaussian Process Regression.
Как и предполагает название, описывает она достижения в области сходимости регреcсии на основе гауссовских процессов.
Гауссовские процессы часто используют для задания априорных распределения в байесовских моделях. Их плюс в том, что известно аналитическое решение для апостериорного и маргинального распределения для регрессионной модели. Их минус - в вычислительной сложности O(N³) и O(N²) по памяти, где N - количество экземпляров в данных.
Известны алгоритмы, сводящие этот вывод к O(NM² + M³) по времени и O(NM + M²) по памяти, где M - это число "индуцирующих" переменных (inducing variables). В этом случае, настоящяя вычислительная сложность зависит от того, как увеличивается M при увеличении N с сохранением точности приближения.
В статье показано, что с большой вероятностью расстояние Кульбака-Лейблера (KL divergence) между аппроксимирующим и реальным распределением можно сделать сколь угодно малым при том, что M будет расти медленнее, чем N. В частности, если есть нормально распределенные данные размерности D и в качестве ядра ковариции используется squared exponential, то M может расти как логарифм от N по основанию D.
Заметки обо всём ICML:
https://david-abel.github.io/notes/icml_2019.pdf
Что такое регрессия на основе гауссовских процессов: длинное объяснение и короткое.
Такую награду получило две статьи.
Про первую статью уже было тут.
Вторая статья называется Rates of Convergence for Sparse Variational Gaussian Process Regression.
Как и предполагает название, описывает она достижения в области сходимости регреcсии на основе гауссовских процессов.
Гауссовские процессы часто используют для задания априорных распределения в байесовских моделях. Их плюс в том, что известно аналитическое решение для апостериорного и маргинального распределения для регрессионной модели. Их минус - в вычислительной сложности O(N³) и O(N²) по памяти, где N - количество экземпляров в данных.
Известны алгоритмы, сводящие этот вывод к O(NM² + M³) по времени и O(NM + M²) по памяти, где M - это число "индуцирующих" переменных (inducing variables). В этом случае, настоящяя вычислительная сложность зависит от того, как увеличивается M при увеличении N с сохранением точности приближения.
В статье показано, что с большой вероятностью расстояние Кульбака-Лейблера (KL divergence) между аппроксимирующим и реальным распределением можно сделать сколь угодно малым при том, что M будет расти медленнее, чем N. В частности, если есть нормально распределенные данные размерности D и в качестве ядра ковариции используется squared exponential, то M может расти как логарифм от N по основанию D.
Заметки обо всём ICML:
https://david-abel.github.io/notes/icml_2019.pdf
Что такое регрессия на основе гауссовских процессов: длинное объяснение и короткое.