#random

Очень интересная работа по интерпретируемости нейронок.

Короткое содержание:
🎼 Есть теорема Колмогорова-Арнольда о том, что многомерную функцию можно разложить на суперпозицию функций одной переменной, где по-сути суммирование - это единственная функция многих переменных
🏛 Речь идёт об архитектуре нейронок KAN, которая основана на применении теоремы Колмогорова-Арнольда. Эту архитектуру придумали давно, но её развитие считалось плохой идеей, так как функции могут быть не гладкими, а следовательно не деференцируемыми, а следовательно никакого градиентного спуска и обратного распространения ошибки. Решили проблему, как и всегда, введением гладких аппроксимаций не гладких функций.
🐳 Сейчас вернулись к этой архитектуре по тем же причинам, по которым в принципе вернулись в середине 2010х к нейронкам: доступ к большим вычислительным мощностям
⚛ Основной целью архитектуры было применение в естественной науке, где законы редко зависимы более чем от 2 переменных и в таких условиях новая KAN показывает себя хорошо, однако решение является не универсальным и хуже справляется с изображениями, звуком, NLP (и по-видимому временными рядами).

В общем метод очень интересный и точно стоит того, чтобы пробовать экспериментировать с ним. Лично мне было бы интересно попробовать применить его в простых RL задачах оптимизации.

https://habr.com/ru/articles/843234/