🤔2
Forwarded from Data Secrets
Просто некоторые цитаты Франсуа Шолле: создателя Keras, ведущего исследователя Google DeepMind и автора книги "Deep Learning with Python"
⚪️ "Исследования в области глубокого обучения — это эволюционный процесс, движимый, на деле, очень плохо понятыми нам случайными эмпирическими результатами."
⚪️ "Математика в статьях по Deep Learning обычно бесполезна и, скорее всего, была помещена в текст исключительно для деловитости."
⚪️ "Ключ к хорошему исследованию – это понимание того, что именно порождает результаты, которые вы получили. Выяснить это не так просто, потому что такой процесс требует глубоких экспериментальных исследований (которые на самом деле проводят или стараются проводить очень немногие)."
Шолее, кстати, – один из учредителей премии ARC Prize, того самого ML-соревнования с призом в $1 млн. Оно нацелено на разработку новых архитектур, которые смогут побороть один из самых сложных существующих ИИ-бенчмарков: ARC AGI.
Шолее, кстати, – один из учредителей премии ARC Prize, того самого ML-соревнования с призом в $1 млн. Оно нацелено на разработку новых архитектур, которые смогут побороть один из самых сложных существующих ИИ-бенчмарков: ARC AGI.
Please open Telegram to view this post
VIEW IN TELEGRAM
✍2
#knowledge_box
Добавил в таблицу немного стиля, и информации про z-test. Кроме того отредачил readme так, чтобы были ссылочки на сайт.
https://dmatryus.github.io/knowledge_box/
Добавил в таблицу немного стиля, и информации про z-test. Кроме того отредачил readme так, чтобы были ссылочки на сайт.
https://dmatryus.github.io/knowledge_box/
👍2
#knowledge_box
Добавил ещё u-test и q-test. Удивительно как часто коллеги неправильно их используют (привет коллегам из Сбер Спасибо). Например, для меня стало откровением, что u-test допустимо применять только на малых выборках (до 60 в каждой).
https://dmatryus.github.io/knowledge_box/
Добавил ещё u-test и q-test. Удивительно как часто коллеги неправильно их используют (привет коллегам из Сбер Спасибо). Например, для меня стало откровением, что u-test допустимо применять только на малых выборках (до 60 в каждой).
https://dmatryus.github.io/knowledge_box/
👍1🤔1
#iron
Маленькость отлично справляется, как мобильная рабочая станция для простых задач. Поехал на дачу, не взяв зарядку. В итоге за 2 дня разрядил только наполовину. Правда и работал не особо интенсивно, но в PyCharm.
Маленькость отлично справляется, как мобильная рабочая станция для простых задач. Поехал на дачу, не взяв зарядку. В итоге за 2 дня разрядил только наполовину. Правда и работал не особо интенсивно, но в PyCharm.
👍2🔥2🤔2
#random
Очень интересная работа по интерпретируемости нейронок.
Короткое содержание:
🎼 Есть теорема Колмогорова-Арнольда о том, что многомерную функцию можно разложить на суперпозицию функций одной переменной, где по-сути суммирование - это единственная функция многих переменных
🏛 Речь идёт об архитектуре нейронок KAN, которая основана на применении теоремы Колмогорова-Арнольда. Эту архитектуру придумали давно, но её развитие считалось плохой идеей, так как функции могут быть не гладкими, а следовательно не деференцируемыми, а следовательно никакого градиентного спуска и обратного распространения ошибки. Решили проблему, как и всегда, введением гладких аппроксимаций не гладких функций.
🐳 Сейчас вернулись к этой архитектуре по тем же причинам, по которым в принципе вернулись в середине 2010х к нейронкам: доступ к большим вычислительным мощностям
⚛ Основной целью архитектуры было применение в естественной науке, где законы редко зависимы более чем от 2 переменных и в таких условиях новая KAN показывает себя хорошо, однако решение является не универсальным и хуже справляется с изображениями, звуком, NLP (и по-видимому временными рядами).
В общем метод очень интересный и точно стоит того, чтобы пробовать экспериментировать с ним. Лично мне было бы интересно попробовать применить его в простых RL задачах оптимизации.
https://habr.com/ru/articles/843234/
Очень интересная работа по интерпретируемости нейронок.
Короткое содержание:
🎼 Есть теорема Колмогорова-Арнольда о том, что многомерную функцию можно разложить на суперпозицию функций одной переменной, где по-сути суммирование - это единственная функция многих переменных
🏛 Речь идёт об архитектуре нейронок KAN, которая основана на применении теоремы Колмогорова-Арнольда. Эту архитектуру придумали давно, но её развитие считалось плохой идеей, так как функции могут быть не гладкими, а следовательно не деференцируемыми, а следовательно никакого градиентного спуска и обратного распространения ошибки. Решили проблему, как и всегда, введением гладких аппроксимаций не гладких функций.
⚛ Основной целью архитектуры было применение в естественной науке, где законы редко зависимы более чем от 2 переменных и в таких условиях новая KAN показывает себя хорошо, однако решение является не универсальным и хуже справляется с изображениями, звуком, NLP (и по-видимому временными рядами).
В общем метод очень интересный и точно стоит того, чтобы пробовать экспериментировать с ним. Лично мне было бы интересно попробовать применить его в простых RL задачах оптимизации.
https://habr.com/ru/articles/843234/
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Сети Колмогорова-Арнольда: новый «старый» шаг к интерпретируемому ИИ
В мире искусственного интеллекта произошел интересный прорыв. Исследователи разработали новый тип нейронных сетей, который может сделать их работу более прозрачной и понятной. Эти сети, названные...
👍2
Dmatryusофрения
#life Удивительно, но кажется я выжил!
Я дожил до отпуска! Но чувствую себя лаймом из сквизера
🔥4❤🔥2🌚2
#quote
Из сериала "Семнадцать мгновений весны"
Самые счастливые люди - те, что могут свободно распоряжаться временем, не опасаясь последствий.
Из сериала "Семнадцать мгновений весны"
🤔2
#review
Посмотрел за последние 2 дня 2 олдовые черно-белые картины: "Собачье Сердце" и "17 Мгновений Весны".
Начнём с первого.
Фильм довольно близко к книге излагает. Признаться честно, в школе я не прочитал книгу полностью, но прочитал первые 30 минут фильма, впрочем, учительница сама говорила, что можно ограничится фильмом. Я отвечал по нему отлично и получил несколько соответствующих оценок по литературе.
Пересматривая сейчас, и понимая больше контекста, считаю произведение совершенно великолепным. Но видно, что фильм стал жертвой монтажа, ибо контекст ряда сцен упущен.
Есть несколько дискуссионных аспектов по содержанию, но основная его идея понятна, и она совсем не про превращение собаки в человека, а про проблемы идеалогии и её смены.
В целом я оценил бы картину на 8 гипотоламусов из 10, и с удовольствием её пересматриваю раз в несколько лет.
17 Мгновений Весны я посмотрел впервые.
Поскольку сериал очень старый, он совершенно не соответствует современному шаблону повествования: слишком много экспозиции, а многие сцены слишком затянуты. Понятно зачем так делали, и какой в них смысл, однако сейчас они выглядят несколько неуместными, зато могут раскрывать картину лучше при повторном просмотре и углублении в контекст времени описываемых событий.
У сериала не редко встречаются проблемы с логикой связи сцен. То есть сами сцены логичны, но события между ними невозможны (наверное поэтому остаются за кадром), а некоторые персонажи ведут себя не последовательно и не разумно, а их мотивация может быть только предметом домыслов.
Картина в основном держит зрителя в напряжении, что хорошо в жанре шпионского кино, но экспозиционные сегменты очень сбивают темп повествования.
Заглавная музыкальная тема великолепна, но весьма поилипчивая, и, если смотреть залпом (как делал я), успевает надоесть.
Вообще тема времени отлично раскрыта и показана в сериале. Практически каждая серия позволяет ощутить его и делает на нём акцент, оправдывая тем самым название (в отличии от Собачьего Сердца, в котором это самое сердце вообще не при делах, а выступает довольно слабой метафорой, путающей слабо знакомых с медициной людей).
Некоторые декорации сделаны плохо, а актёры побочных ролей играют не очень хорошо, ломая 4 стену. Это портит погружение.
В кино очень много пьют и курят. Просто заметная деталь, забавно, что стриминг это никак не коментирует, в отличии от Собачьего Сердца, где на этом меньше акцента. Ещё из забавного - рейтинг 12+ при этом всём, ещё и с довольно жестокими сценами.
То, что все говорят на хорошем русском и немецкие документы тоже на нём портит погоужение. Опять же понятно почему так сделано, и персонажи от разных стран ясно прослеживаются, но это все равно серьёзный удар по контексту, хотя как сделать иначе, да так, чтобы было комфортно зрителю, учитывая, что большин действующих лиц - немцы не очень ясно.
Знаю, что есть цветная версия. Интересно посмотреть, как это выглядит чисто технологически и сравнить с тем, как нейронки автоматически попытались бы воссоздать цвет. Уверен, что если бы картина изначально снималась в цвете - она была бы очень красивой.
Не очень приятно, что в конце не завершили арку всех персонажей и не случилось катарсиса. Как бы то, что Берлин возьмут было известно с самого начала. Для нас же важнее персональные истории, а не глобальный финал, который мы и так знаем.
Моя итоговая оценка: 12 мгновений из 17
Посмотрел за последние 2 дня 2 олдовые черно-белые картины: "Собачье Сердце" и "17 Мгновений Весны".
Начнём с первого.
Фильм довольно близко к книге излагает. Признаться честно, в школе я не прочитал книгу полностью, но прочитал первые 30 минут фильма, впрочем, учительница сама говорила, что можно ограничится фильмом. Я отвечал по нему отлично и получил несколько соответствующих оценок по литературе.
Пересматривая сейчас, и понимая больше контекста, считаю произведение совершенно великолепным. Но видно, что фильм стал жертвой монтажа, ибо контекст ряда сцен упущен.
Есть несколько дискуссионных аспектов по содержанию, но основная его идея понятна, и она совсем не про превращение собаки в человека, а про проблемы идеалогии и её смены.
В целом я оценил бы картину на 8 гипотоламусов из 10, и с удовольствием её пересматриваю раз в несколько лет.
17 Мгновений Весны я посмотрел впервые.
Поскольку сериал очень старый, он совершенно не соответствует современному шаблону повествования: слишком много экспозиции, а многие сцены слишком затянуты. Понятно зачем так делали, и какой в них смысл, однако сейчас они выглядят несколько неуместными, зато могут раскрывать картину лучше при повторном просмотре и углублении в контекст времени описываемых событий.
У сериала не редко встречаются проблемы с логикой связи сцен. То есть сами сцены логичны, но события между ними невозможны (наверное поэтому остаются за кадром), а некоторые персонажи ведут себя не последовательно и не разумно, а их мотивация может быть только предметом домыслов.
Картина в основном держит зрителя в напряжении, что хорошо в жанре шпионского кино, но экспозиционные сегменты очень сбивают темп повествования.
Заглавная музыкальная тема великолепна, но весьма поилипчивая, и, если смотреть залпом (как делал я), успевает надоесть.
Вообще тема времени отлично раскрыта и показана в сериале. Практически каждая серия позволяет ощутить его и делает на нём акцент, оправдывая тем самым название (в отличии от Собачьего Сердца, в котором это самое сердце вообще не при делах, а выступает довольно слабой метафорой, путающей слабо знакомых с медициной людей).
Некоторые декорации сделаны плохо, а актёры побочных ролей играют не очень хорошо, ломая 4 стену. Это портит погружение.
В кино очень много пьют и курят. Просто заметная деталь, забавно, что стриминг это никак не коментирует, в отличии от Собачьего Сердца, где на этом меньше акцента. Ещё из забавного - рейтинг 12+ при этом всём, ещё и с довольно жестокими сценами.
То, что все говорят на хорошем русском и немецкие документы тоже на нём портит погоужение. Опять же понятно почему так сделано, и персонажи от разных стран ясно прослеживаются, но это все равно серьёзный удар по контексту, хотя как сделать иначе, да так, чтобы было комфортно зрителю, учитывая, что большин действующих лиц - немцы не очень ясно.
Знаю, что есть цветная версия. Интересно посмотреть, как это выглядит чисто технологически и сравнить с тем, как нейронки автоматически попытались бы воссоздать цвет. Уверен, что если бы картина изначально снималась в цвете - она была бы очень красивой.
Не очень приятно, что в конце не завершили арку всех персонажей и не случилось катарсиса. Как бы то, что Берлин возьмут было известно с самого начала. Для нас же важнее персональные истории, а не глобальный финал, который мы и так знаем.
Моя итоговая оценка: 12 мгновений из 17
🤔1👌1💯1
Forwarded from Data Secrets
Крутая статья от Microsoft: Differential Transformer
Трансформеры склонны аллоцировать внимание на нерелевантный контекст (в статье это называют шумом), и это приводит к проблемам с извлечением информации и, как следствие, к галлюцинациям и потерям в точности. Это известная проблема.
Microsoft предложили изящное решение: вместо одной attention мапы они создают две, дублируя keys и queries, а затем легким движением руки... вычитают их друг из друга, тем самым нивелируя шум в attention scores.
Такой подход сразу повышает аттеншен к релевантным деталям: эксперименты показали, что трансформеры с таким diff вниманием лучше обычных справляются с задачами на длинном контексте (вроде известной задачи иголки в стоге сена). Кроме того подход еще и уменьшает количество выбросов в активациях модели, что упрощает ее квантование.
Статья полностью – здесь
Трансформеры склонны аллоцировать внимание на нерелевантный контекст (в статье это называют шумом), и это приводит к проблемам с извлечением информации и, как следствие, к галлюцинациям и потерям в точности. Это известная проблема.
Microsoft предложили изящное решение: вместо одной attention мапы они создают две, дублируя keys и queries, а затем легким движением руки... вычитают их друг из друга, тем самым нивелируя шум в attention scores.
Такой подход сразу повышает аттеншен к релевантным деталям: эксперименты показали, что трансформеры с таким diff вниманием лучше обычных справляются с задачами на длинном контексте (вроде известной задачи иголки в стоге сена). Кроме того подход еще и уменьшает количество выбросов в активациях модели, что упрощает ее квантование.
Статья полностью – здесь
🤔1🏆1