#iron
Маленькость отлично справляется, как мобильная рабочая станция для простых задач. Поехал на дачу, не взяв зарядку. В итоге за 2 дня разрядил только наполовину. Правда и работал не особо интенсивно, но в PyCharm.
Маленькость отлично справляется, как мобильная рабочая станция для простых задач. Поехал на дачу, не взяв зарядку. В итоге за 2 дня разрядил только наполовину. Правда и работал не особо интенсивно, но в PyCharm.
👍2🔥2🤔2
#random
Очень интересная работа по интерпретируемости нейронок.
Короткое содержание:
🎼 Есть теорема Колмогорова-Арнольда о том, что многомерную функцию можно разложить на суперпозицию функций одной переменной, где по-сути суммирование - это единственная функция многих переменных
🏛 Речь идёт об архитектуре нейронок KAN, которая основана на применении теоремы Колмогорова-Арнольда. Эту архитектуру придумали давно, но её развитие считалось плохой идеей, так как функции могут быть не гладкими, а следовательно не деференцируемыми, а следовательно никакого градиентного спуска и обратного распространения ошибки. Решили проблему, как и всегда, введением гладких аппроксимаций не гладких функций.
🐳 Сейчас вернулись к этой архитектуре по тем же причинам, по которым в принципе вернулись в середине 2010х к нейронкам: доступ к большим вычислительным мощностям
⚛ Основной целью архитектуры было применение в естественной науке, где законы редко зависимы более чем от 2 переменных и в таких условиях новая KAN показывает себя хорошо, однако решение является не универсальным и хуже справляется с изображениями, звуком, NLP (и по-видимому временными рядами).
В общем метод очень интересный и точно стоит того, чтобы пробовать экспериментировать с ним. Лично мне было бы интересно попробовать применить его в простых RL задачах оптимизации.
https://habr.com/ru/articles/843234/
Очень интересная работа по интерпретируемости нейронок.
Короткое содержание:
🎼 Есть теорема Колмогорова-Арнольда о том, что многомерную функцию можно разложить на суперпозицию функций одной переменной, где по-сути суммирование - это единственная функция многих переменных
🏛 Речь идёт об архитектуре нейронок KAN, которая основана на применении теоремы Колмогорова-Арнольда. Эту архитектуру придумали давно, но её развитие считалось плохой идеей, так как функции могут быть не гладкими, а следовательно не деференцируемыми, а следовательно никакого градиентного спуска и обратного распространения ошибки. Решили проблему, как и всегда, введением гладких аппроксимаций не гладких функций.
⚛ Основной целью архитектуры было применение в естественной науке, где законы редко зависимы более чем от 2 переменных и в таких условиях новая KAN показывает себя хорошо, однако решение является не универсальным и хуже справляется с изображениями, звуком, NLP (и по-видимому временными рядами).
В общем метод очень интересный и точно стоит того, чтобы пробовать экспериментировать с ним. Лично мне было бы интересно попробовать применить его в простых RL задачах оптимизации.
https://habr.com/ru/articles/843234/
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Сети Колмогорова-Арнольда: новый «старый» шаг к интерпретируемому ИИ
В мире искусственного интеллекта произошел интересный прорыв. Исследователи разработали новый тип нейронных сетей, который может сделать их работу более прозрачной и понятной. Эти сети, названные...
👍2
Dmatryusофрения
#life Удивительно, но кажется я выжил!
Я дожил до отпуска! Но чувствую себя лаймом из сквизера
🔥4❤🔥2🌚2
#quote
Из сериала "Семнадцать мгновений весны"
Самые счастливые люди - те, что могут свободно распоряжаться временем, не опасаясь последствий.
Из сериала "Семнадцать мгновений весны"
🤔2
#review
Посмотрел за последние 2 дня 2 олдовые черно-белые картины: "Собачье Сердце" и "17 Мгновений Весны".
Начнём с первого.
Фильм довольно близко к книге излагает. Признаться честно, в школе я не прочитал книгу полностью, но прочитал первые 30 минут фильма, впрочем, учительница сама говорила, что можно ограничится фильмом. Я отвечал по нему отлично и получил несколько соответствующих оценок по литературе.
Пересматривая сейчас, и понимая больше контекста, считаю произведение совершенно великолепным. Но видно, что фильм стал жертвой монтажа, ибо контекст ряда сцен упущен.
Есть несколько дискуссионных аспектов по содержанию, но основная его идея понятна, и она совсем не про превращение собаки в человека, а про проблемы идеалогии и её смены.
В целом я оценил бы картину на 8 гипотоламусов из 10, и с удовольствием её пересматриваю раз в несколько лет.
17 Мгновений Весны я посмотрел впервые.
Поскольку сериал очень старый, он совершенно не соответствует современному шаблону повествования: слишком много экспозиции, а многие сцены слишком затянуты. Понятно зачем так делали, и какой в них смысл, однако сейчас они выглядят несколько неуместными, зато могут раскрывать картину лучше при повторном просмотре и углублении в контекст времени описываемых событий.
У сериала не редко встречаются проблемы с логикой связи сцен. То есть сами сцены логичны, но события между ними невозможны (наверное поэтому остаются за кадром), а некоторые персонажи ведут себя не последовательно и не разумно, а их мотивация может быть только предметом домыслов.
Картина в основном держит зрителя в напряжении, что хорошо в жанре шпионского кино, но экспозиционные сегменты очень сбивают темп повествования.
Заглавная музыкальная тема великолепна, но весьма поилипчивая, и, если смотреть залпом (как делал я), успевает надоесть.
Вообще тема времени отлично раскрыта и показана в сериале. Практически каждая серия позволяет ощутить его и делает на нём акцент, оправдывая тем самым название (в отличии от Собачьего Сердца, в котором это самое сердце вообще не при делах, а выступает довольно слабой метафорой, путающей слабо знакомых с медициной людей).
Некоторые декорации сделаны плохо, а актёры побочных ролей играют не очень хорошо, ломая 4 стену. Это портит погружение.
В кино очень много пьют и курят. Просто заметная деталь, забавно, что стриминг это никак не коментирует, в отличии от Собачьего Сердца, где на этом меньше акцента. Ещё из забавного - рейтинг 12+ при этом всём, ещё и с довольно жестокими сценами.
То, что все говорят на хорошем русском и немецкие документы тоже на нём портит погоужение. Опять же понятно почему так сделано, и персонажи от разных стран ясно прослеживаются, но это все равно серьёзный удар по контексту, хотя как сделать иначе, да так, чтобы было комфортно зрителю, учитывая, что большин действующих лиц - немцы не очень ясно.
Знаю, что есть цветная версия. Интересно посмотреть, как это выглядит чисто технологически и сравнить с тем, как нейронки автоматически попытались бы воссоздать цвет. Уверен, что если бы картина изначально снималась в цвете - она была бы очень красивой.
Не очень приятно, что в конце не завершили арку всех персонажей и не случилось катарсиса. Как бы то, что Берлин возьмут было известно с самого начала. Для нас же важнее персональные истории, а не глобальный финал, который мы и так знаем.
Моя итоговая оценка: 12 мгновений из 17
Посмотрел за последние 2 дня 2 олдовые черно-белые картины: "Собачье Сердце" и "17 Мгновений Весны".
Начнём с первого.
Фильм довольно близко к книге излагает. Признаться честно, в школе я не прочитал книгу полностью, но прочитал первые 30 минут фильма, впрочем, учительница сама говорила, что можно ограничится фильмом. Я отвечал по нему отлично и получил несколько соответствующих оценок по литературе.
Пересматривая сейчас, и понимая больше контекста, считаю произведение совершенно великолепным. Но видно, что фильм стал жертвой монтажа, ибо контекст ряда сцен упущен.
Есть несколько дискуссионных аспектов по содержанию, но основная его идея понятна, и она совсем не про превращение собаки в человека, а про проблемы идеалогии и её смены.
В целом я оценил бы картину на 8 гипотоламусов из 10, и с удовольствием её пересматриваю раз в несколько лет.
17 Мгновений Весны я посмотрел впервые.
Поскольку сериал очень старый, он совершенно не соответствует современному шаблону повествования: слишком много экспозиции, а многие сцены слишком затянуты. Понятно зачем так делали, и какой в них смысл, однако сейчас они выглядят несколько неуместными, зато могут раскрывать картину лучше при повторном просмотре и углублении в контекст времени описываемых событий.
У сериала не редко встречаются проблемы с логикой связи сцен. То есть сами сцены логичны, но события между ними невозможны (наверное поэтому остаются за кадром), а некоторые персонажи ведут себя не последовательно и не разумно, а их мотивация может быть только предметом домыслов.
Картина в основном держит зрителя в напряжении, что хорошо в жанре шпионского кино, но экспозиционные сегменты очень сбивают темп повествования.
Заглавная музыкальная тема великолепна, но весьма поилипчивая, и, если смотреть залпом (как делал я), успевает надоесть.
Вообще тема времени отлично раскрыта и показана в сериале. Практически каждая серия позволяет ощутить его и делает на нём акцент, оправдывая тем самым название (в отличии от Собачьего Сердца, в котором это самое сердце вообще не при делах, а выступает довольно слабой метафорой, путающей слабо знакомых с медициной людей).
Некоторые декорации сделаны плохо, а актёры побочных ролей играют не очень хорошо, ломая 4 стену. Это портит погружение.
В кино очень много пьют и курят. Просто заметная деталь, забавно, что стриминг это никак не коментирует, в отличии от Собачьего Сердца, где на этом меньше акцента. Ещё из забавного - рейтинг 12+ при этом всём, ещё и с довольно жестокими сценами.
То, что все говорят на хорошем русском и немецкие документы тоже на нём портит погоужение. Опять же понятно почему так сделано, и персонажи от разных стран ясно прослеживаются, но это все равно серьёзный удар по контексту, хотя как сделать иначе, да так, чтобы было комфортно зрителю, учитывая, что большин действующих лиц - немцы не очень ясно.
Знаю, что есть цветная версия. Интересно посмотреть, как это выглядит чисто технологически и сравнить с тем, как нейронки автоматически попытались бы воссоздать цвет. Уверен, что если бы картина изначально снималась в цвете - она была бы очень красивой.
Не очень приятно, что в конце не завершили арку всех персонажей и не случилось катарсиса. Как бы то, что Берлин возьмут было известно с самого начала. Для нас же важнее персональные истории, а не глобальный финал, который мы и так знаем.
Моя итоговая оценка: 12 мгновений из 17
🤔1👌1💯1
Forwarded from Data Secrets
Крутая статья от Microsoft: Differential Transformer
Трансформеры склонны аллоцировать внимание на нерелевантный контекст (в статье это называют шумом), и это приводит к проблемам с извлечением информации и, как следствие, к галлюцинациям и потерям в точности. Это известная проблема.
Microsoft предложили изящное решение: вместо одной attention мапы они создают две, дублируя keys и queries, а затем легким движением руки... вычитают их друг из друга, тем самым нивелируя шум в attention scores.
Такой подход сразу повышает аттеншен к релевантным деталям: эксперименты показали, что трансформеры с таким diff вниманием лучше обычных справляются с задачами на длинном контексте (вроде известной задачи иголки в стоге сена). Кроме того подход еще и уменьшает количество выбросов в активациях модели, что упрощает ее квантование.
Статья полностью – здесь
Трансформеры склонны аллоцировать внимание на нерелевантный контекст (в статье это называют шумом), и это приводит к проблемам с извлечением информации и, как следствие, к галлюцинациям и потерям в точности. Это известная проблема.
Microsoft предложили изящное решение: вместо одной attention мапы они создают две, дублируя keys и queries, а затем легким движением руки... вычитают их друг из друга, тем самым нивелируя шум в attention scores.
Такой подход сразу повышает аттеншен к релевантным деталям: эксперименты показали, что трансформеры с таким diff вниманием лучше обычных справляются с задачами на длинном контексте (вроде известной задачи иголки в стоге сена). Кроме того подход еще и уменьшает количество выбросов в активациях модели, что упрощает ее квантование.
Статья полностью – здесь
🤔1🏆1
Forwarded from Data Secrets
OpenAI выяснили, влияет ли ваше имя на ответы, которые дает вам ChatGPT
Обычно подобные исследования проверяют, например, насколько ИИ склонен к стереотипам относительно какого-то третьего лица, не участвующего в диалоге (например, скрининг резюме группы людей). А OpenAI решили проверить, есть ли у бота предубеждения, которые он переносит непосредственно на собеседника.
Внезапно оказалось, что (почти) нет: GPT-like модели в среднем в менее чем 1% случаев дают различные стереотипные ответы людям с разными именами. Стереотипными различиями считается, когда, например, юзеру с женским именем в ответ на расплывчатый вопрос без уточнения деталей, такой как "подскажи классное название для моего видео на YouTube", модель заговорит о рецептах или косметике, а на такой же запрос от мужчины предложит что-то про технику.
Самой стереотипной моделью оказалась GPT-3.5, самой честной – GPT-4 Turbo. Больше всего боты проявляли предвзятость в теме искусства и развлечений, а найм, кстати, оказался чуть ли не на последнем месте.
Самое интересное, что для самого анализа и сводки статистики тоже применялась LLM. Н – несмещенные оценки
Обычно подобные исследования проверяют, например, насколько ИИ склонен к стереотипам относительно какого-то третьего лица, не участвующего в диалоге (например, скрининг резюме группы людей). А OpenAI решили проверить, есть ли у бота предубеждения, которые он переносит непосредственно на собеседника.
Внезапно оказалось, что (почти) нет: GPT-like модели в среднем в менее чем 1% случаев дают различные стереотипные ответы людям с разными именами. Стереотипными различиями считается, когда, например, юзеру с женским именем в ответ на расплывчатый вопрос без уточнения деталей, такой как "подскажи классное название для моего видео на YouTube", модель заговорит о рецептах или косметике, а на такой же запрос от мужчины предложит что-то про технику.
Самой стереотипной моделью оказалась GPT-3.5, самой честной – GPT-4 Turbo. Больше всего боты проявляли предвзятость в теме искусства и развлечений, а найм, кстати, оказался чуть ли не на последнем месте.
Самое интересное, что для самого анализа и сводки статистики тоже применялась LLM. Н – несмещенные оценки
😁2🏆1
Forwarded from Представляешь,
команда xAI установила 100 000 ускорителей Nvidia H200 за 19 дней
По словам Дженсена Хуанга это что-то на невозможном — обычно весь процесс занимает четыре года. При этом большая часть времени уходит на планирование, а в оставшийся год оборудование доставляют и устанавливают.
Команда Маска же ВЕСЬ этот процесс уложила буквально в три недели. Они построили здание для процессоров, оснастили предприятие системами жидкостного охлаждения и питания для обеспечения работы GPU. Параллельно инженеры Маска общались с ребятами из Nvidia по поводу доставки, установки и настройки оборудования.
Более того, в этот срок они даже успели запустить первый тренировочный прогон ИИ от xAI на суперкластере.
Глава Nvidia называет Маска сверхчеловеком, но, знаете, интересно, а сколько раз сотрудники выгорели и полетели кукухой за такой срок?
@your_tech
По словам Дженсена Хуанга это что-то на невозможном — обычно весь процесс занимает четыре года. При этом большая часть времени уходит на планирование, а в оставшийся год оборудование доставляют и устанавливают.
Команда Маска же ВЕСЬ этот процесс уложила буквально в три недели. Они построили здание для процессоров, оснастили предприятие системами жидкостного охлаждения и питания для обеспечения работы GPU. Параллельно инженеры Маска общались с ребятами из Nvidia по поводу доставки, установки и настройки оборудования.
Более того, в этот срок они даже успели запустить первый тренировочный прогон ИИ от xAI на суперкластере.
Глава Nvidia называет Маска сверхчеловеком, но, знаете, интересно, а сколько раз сотрудники выгорели и полетели кукухой за такой срок?
@your_tech
🤔2