Self-Supervised Learning based on Heat Equation
Авторы обратили внимание на то, что карты активации классов полученные из global average pooling сверточных сетей похожи на физическое рассеивание тепла. Вдохновившись теплопередачей из физики они адаптировали уравнение теплопроводности и использовали его вместо лейблов, что позволило перевести задачу из supervised в self-supervised learning (#SSL).
На этапе обучения pretext-задачи, изображение делят на 4 патча, один из которых подается на вход модели, а остальные 3 предсказываются ей. Таким образом модель учит латентное представление.
Авторы утверждают, что их подход применим как для классификации изображений, так и для обнаружения объектов. Код обещают позже.
📖 Статья
@karray
Авторы обратили внимание на то, что карты активации классов полученные из global average pooling сверточных сетей похожи на физическое рассеивание тепла. Вдохновившись теплопередачей из физики они адаптировали уравнение теплопроводности и использовали его вместо лейблов, что позволило перевести задачу из supervised в self-supervised learning (#SSL).
На этапе обучения pretext-задачи, изображение делят на 4 патча, один из которых подается на вход модели, а остальные 3 предсказываются ей. Таким образом модель учит латентное представление.
Авторы утверждают, что их подход применим как для классификации изображений, так и для обнаружения объектов. Код обещают позже.
📖 Статья
@karray
This media is not supported in your browser
VIEW IN TELEGRAM
Интересные свойства softmax
Уверен многим знакома фунция softmax. Она часто используется как функция активации выходного слоя в нейронных сетях для задач классификации, при этом результат трактуется как вероятности (все значения между 0 и 1, а их сумма равна 1). Однако, это одна из ее интерпретаций этой и результат не следует рассматривать как фактическую вероятность.
Эта функция также имеет и другую интерпретацию. Как видно из названия, она возвращает максимум, а точнее является дифференцируемой argmax функцией. Как и argmax, результат softmax можно интерпретировать как индекс максимального значения. Напрмер, если взять вектор
Такое свойство softmax используется в self-attention блоках в трансформерах для реализации своего рода “soft dictionary”. Но об этом в другой раз.
Подробнее
@karray
Уверен многим знакома фунция softmax. Она часто используется как функция активации выходного слоя в нейронных сетях для задач классификации, при этом результат трактуется как вероятности (все значения между 0 и 1, а их сумма равна 1). Однако, это одна из ее интерпретаций этой и результат не следует рассматривать как фактическую вероятность.
Эта функция также имеет и другую интерпретацию. Как видно из названия, она возвращает максимум, а точнее является дифференцируемой argmax функцией. Как и argmax, результат softmax можно интерпретировать как индекс максимального значения. Напрмер, если взять вектор
[1, 5, 5], softmax вернет [0.01, 0.49, 0.49]. Перемножив эти вектора, получим ≈5, что аналогично argmax функции.Такое свойство softmax используется в self-attention блоках в трансформерах для реализации своего рода “soft dictionary”. Но об этом в другой раз.
Подробнее
@karray
Всем привет! Меня зовут Арай - как array, только с одной “r” 🙂
Долгое время я был фулстак разработчиком, но потом мне стало скучно, и я закончил магистратуру. И вот уже год я работаю научным сотрудником в Берлинском Техническом Университете, где собираюсь делать PhD в области Explainable AI. Наша группа работает с медицинскими данными и понятный ИИ важен при составлении диагноза.
Недавно я начал помогать Артемию вести канал. Мои посты можно узнать по подписи @karray
Заходите в чат канала, будем развиваться вместе 👾
@karray
Долгое время я был фулстак разработчиком, но потом мне стало скучно, и я закончил магистратуру. И вот уже год я работаю научным сотрудником в Берлинском Техническом Университете, где собираюсь делать PhD в области Explainable AI. Наша группа работает с медицинскими данными и понятный ИИ важен при составлении диагноза.
Недавно я начал помогать Артемию вести канал. Мои посты можно узнать по подписи @karray
Заходите в чат канала, будем развиваться вместе 👾
@karray
Peekaboo: сегментация как эмерджентное свойство фундаментальной Stable Diffusion
Давайте честно, играя с text-to-image, вы ведь спрашивали модель: "Ок, лягушку в пальто ты сгенерировала. И что, ты знаешь, где тут на картинке ПАЛЬТО?"
Похожим вопросом задались ресечеры из Stony Brook University и сделали не очень удивительное, но крайне полезное открытие: сегментацию можно делать по текстовому описанию с помощью моделей латентной диффузии.
Созданная ими Peekaboo замечательна тем, что:
- использует оригинальную SD (никакого переобучения);
- unsupervised (без разметки людьми);
- open-vocabulary (запросы в свободной форме);
- zero-shot (здесь это значит без обучения на под-задачах);
- решает задачу и семантической, и описательной (referring) сегментации.
Изящество в Dream Loss, оптимизирующей альфа-маску с ограничением по текстовому описанию, и вспомогательных функциях потерь, минимизирующих фон и пересечения.
Что касается возможностей, мы открыли ящик Пандоры.
📖Статья
🧑💻Код обещают позже
@GingerSpacetail
Давайте честно, играя с text-to-image, вы ведь спрашивали модель: "Ок, лягушку в пальто ты сгенерировала. И что, ты знаешь, где тут на картинке ПАЛЬТО?"
Похожим вопросом задались ресечеры из Stony Brook University и сделали не очень удивительное, но крайне полезное открытие: сегментацию можно делать по текстовому описанию с помощью моделей латентной диффузии.
Созданная ими Peekaboo замечательна тем, что:
- использует оригинальную SD (никакого переобучения);
- unsupervised (без разметки людьми);
- open-vocabulary (запросы в свободной форме);
- zero-shot (здесь это значит без обучения на под-задачах);
- решает задачу и семантической, и описательной (referring) сегментации.
Изящество в Dream Loss, оптимизирующей альфа-маску с ограничением по текстовому описанию, и вспомогательных функциях потерь, минимизирующих фон и пересечения.
Что касается возможностей, мы открыли ящик Пандоры.
📖Статья
🧑💻Код обещают позже
@GingerSpacetail
Forwarded from Earth&Climate Tech
3blue1brown - YouTube канал радующий глаз
3blue1brown - один из самых классных образовательных каналов. Канал фокусируется на подаче математических концептов с упором на визуальную составляющую. Красиво и понятно.
Это я к чему. Неделю назад на канале вышло видео про свертку (convolution) - But what is a convolution? В науке где только она не используется, от обработки сейсмических данных до нашего любимого глубокого обучения с помощью сверточных сетей (convolutional neural networks). В общем посмотрите. Во-первых это красиво, ну и сильно прокачивает интуитивное понимание процесса.
Если зайдет, то на этом же канале есть визуальные шедевры и про преобразование Фурье и про нейронные сети. Все как мы любим.
3blue1brown - один из самых классных образовательных каналов. Канал фокусируется на подаче математических концептов с упором на визуальную составляющую. Красиво и понятно.
Это я к чему. Неделю назад на канале вышло видео про свертку (convolution) - But what is a convolution? В науке где только она не используется, от обработки сейсмических данных до нашего любимого глубокого обучения с помощью сверточных сетей (convolutional neural networks). В общем посмотрите. Во-первых это красиво, ну и сильно прокачивает интуитивное понимание процесса.
Если зайдет, то на этом же канале есть визуальные шедевры и про преобразование Фурье и про нейронные сети. Все как мы любим.
YouTube
But what is a convolution?
Discrete convolutions, from probability to image processing and FFTs.
Video on the continuous case: https://youtu.be/IaSGqQa5O-M
Help fund future projects: https://www.patreon.com/3blue1brown
Special thanks to these supporters: https://3b1b.co/lessons/co…
Video on the continuous case: https://youtu.be/IaSGqQa5O-M
Help fund future projects: https://www.patreon.com/3blue1brown
Special thanks to these supporters: https://3b1b.co/lessons/co…
Такое точно нельзя пропускать! Бронштейн ищет себе аспирантов для расшифровки речи китов!
Forwarded from DLStories
Помните, я летом говорила, что ездила на съемки лекций? Так вот, курс, который мы тогда записывали, наконец готов и выложен на Степик!
Это полностью бесплатный и довольно подробный курс по машинному обучению с самых азов и до продвинутых тем. Делали мы его частью команды DLS + несколько других отличных специалистов. Ориентирован он на школьников, так что изложение старались делать очень понятным языком. Но проходить, разумеется, могут все желающие.
Темы курса начинаются с введения в Python, знакомства с нужными библиотеками, математики для анализа данных и идеи машинного обучения. Затем переходим к изучению моделей, метрик и других аспектов прикладной машинки. Ну и дальше идут нейросети.
Подробную программу можно посмотреть тут. Она обширнее, чем программа DLS (в DLS мы учим в первую очередь глубокому обучению, и про классическое машинное обучение мы рассказываем не так подробно). Ну и, как обычно, мы постарались дать довольно много практики. В будущем к курсу еще выйдут дополнительные модули с новыми темами (сейчас идет монтаж записей).
Хочу сказать, что работы над курсом было проделано много: он отлично проработан методически. Тексты лекций были составлены заранее и записаны на профессиональное оборудование. Смотреть будет приятно!
К курсу прилагаются чатик для общения/помощи с учебой. В нем также будут ассистенты, которые будут отвечать на ваши вопросы. Ну и я там тоже буду =)
Приходите сами, а также зовите друзей!⬇️
Начать учиться тут
Это полностью бесплатный и довольно подробный курс по машинному обучению с самых азов и до продвинутых тем. Делали мы его частью команды DLS + несколько других отличных специалистов. Ориентирован он на школьников, так что изложение старались делать очень понятным языком. Но проходить, разумеется, могут все желающие.
Темы курса начинаются с введения в Python, знакомства с нужными библиотеками, математики для анализа данных и идеи машинного обучения. Затем переходим к изучению моделей, метрик и других аспектов прикладной машинки. Ну и дальше идут нейросети.
Подробную программу можно посмотреть тут. Она обширнее, чем программа DLS (в DLS мы учим в первую очередь глубокому обучению, и про классическое машинное обучение мы рассказываем не так подробно). Ну и, как обычно, мы постарались дать довольно много практики. В будущем к курсу еще выйдут дополнительные модули с новыми темами (сейчас идет монтаж записей).
Хочу сказать, что работы над курсом было проделано много: он отлично проработан методически. Тексты лекций были составлены заранее и записаны на профессиональное оборудование. Смотреть будет приятно!
К курсу прилагаются чатик для общения/помощи с учебой. В нем также будут ассистенты, которые будут отвечать на ваши вопросы. Ну и я там тоже буду =)
Приходите сами, а также зовите друзей!⬇️
Начать учиться тут
Новый разговорный бот от OpenAI: ChatGPT
OpenAI обучили модель под названием ChatGPT, которая взаимодействует с пользователем в разговорной манере.
Формат диалога позволяет ChatGPT отвечать на вопросы, признавать свои ошибки, оспаривать неверные предпосылки и отклонять неуместные запросы. ChatGPT является родственной моделью InstructGPT, которая обучена следовать инструкции в промпте и предоставлять подробный ответ.
На время бета-теста использование ChatGPT бесплатно.
Попробуйте прямо сейчас на сайте.
🤩 Блог-пост
OpenAI обучили модель под названием ChatGPT, которая взаимодействует с пользователем в разговорной манере.
Формат диалога позволяет ChatGPT отвечать на вопросы, признавать свои ошибки, оспаривать неверные предпосылки и отклонять неуместные запросы. ChatGPT является родственной моделью InstructGPT, которая обучена следовать инструкции в промпте и предоставлять подробный ответ.
На время бета-теста использование ChatGPT бесплатно.
Попробуйте прямо сейчас на сайте.
🤩 Блог-пост
AI Для Всех
Новый разговорный бот от OpenAI: ChatGPT OpenAI обучили модель под названием ChatGPT, которая взаимодействует с пользователем в разговорной манере. Формат диалога позволяет ChatGPT отвечать на вопросы, признавать свои ошибки, оспаривать неверные предпосылки…
Профессия будущего - заклинатель языковых моделей
Языковой интерфейс для систем искусственного интеллекта создаст мир, в котором существуют волшебники. Ценность любого волшебника будет связана с его способностью плести из слов заклинания. Волшебники смогут использовать свои слова, для того что бы воплощать любые идеи в жизнь.
Ссылка
Языковой интерфейс для систем искусственного интеллекта создаст мир, в котором существуют волшебники. Ценность любого волшебника будет связана с его способностью плести из слов заклинания. Волшебники смогут использовать свои слова, для того что бы воплощать любые идеи в жизнь.
Ссылка
Мое выступление в Стенфорде
Глубокое обучение (DL) стало важным инструментом для сейсмологии и мониторинга землетрясений. Мы представляем метод глубокого обучения, который обнаруживает сейсмические фазы и оценивает соответствующие неопределенности времени прихода волны.
Выделение сейсмических фаз - это процесс идентификации времени наступления сейсмической фазы в сейсмограмме. Время наступления сейсмической фазы является одной из наиболее важных частей информации в сейсмологии и используется в широком спектре приложений. К ним относятся локализация землетрясений, определение структуры земли и идентификация ядерных взрывов.
Обнаружение и выделение сейсмических фаз - довольно трудоемкая задача, требующая много времени и усилий при выполнении вручную. Необходимость автоматизации привела к разработке нескольких алгоритмов и нейронных сетей, которые пытаются решить эту проблему.
Было показано, что методы глубокого обучения способны превзойти традиционные методы подбора фаз. Однако в этих методах обычно отсутствует оценка неопределенности модели. Знание неопределенности фазового пикинга помогает повысить точность определения местоположения землетрясений.
В данной работе мы демонстрируем Deep Learning phase picker, который может оценить неопределенность пикировки.
Смотреть тут
Глубокое обучение (DL) стало важным инструментом для сейсмологии и мониторинга землетрясений. Мы представляем метод глубокого обучения, который обнаруживает сейсмические фазы и оценивает соответствующие неопределенности времени прихода волны.
Выделение сейсмических фаз - это процесс идентификации времени наступления сейсмической фазы в сейсмограмме. Время наступления сейсмической фазы является одной из наиболее важных частей информации в сейсмологии и используется в широком спектре приложений. К ним относятся локализация землетрясений, определение структуры земли и идентификация ядерных взрывов.
Обнаружение и выделение сейсмических фаз - довольно трудоемкая задача, требующая много времени и усилий при выполнении вручную. Необходимость автоматизации привела к разработке нескольких алгоритмов и нейронных сетей, которые пытаются решить эту проблему.
Было показано, что методы глубокого обучения способны превзойти традиционные методы подбора фаз. Однако в этих методах обычно отсутствует оценка неопределенности модели. Знание неопределенности фазового пикинга помогает повысить точность определения местоположения землетрясений.
В данной работе мы демонстрируем Deep Learning phase picker, который может оценить неопределенность пикировки.
Смотреть тут
YouTube
Deep Learning with Uncertainties for the phase onset time prediction
The Deep Learning (DL) has become an important tool for seismology and earthquake monitoring. We present a deep learning method that detects seismic phases and estimates the corresponding picking uncertainties.
Seismic phase picking is the process of identifying…
Seismic phase picking is the process of identifying…
Distilled DeepConsensus - дистилляция знаний для быстрого и точного секвенирования ДНК
Жду времён, когда лекарства будут подбирать (и дизайнить) на основе мгновенного генетического анализа пациента и его заболевания. Это, например, важно для генной онкотерапии, потому что клетки опухоли мутируют, и каждый месяц мы можем иметь разные генетические объекты.
Благодаря Distilled DeepConsensus, секвенировать ДНК можно за несколько секунд (на 32-ядерном CPU) с увеличением качества выхода в 1,69 раз (показатель Q30) по сравнению с PacBio CCS - SOTA моделью для ряда задач генетики.
Было: ДНК секверинуруется несколько раз, зашумленные области консолидируются с помощью скрытой марковской модели (HMM).
Стало: использовали трансформеры для увеличения точности предсказания согласованной последовательности из тензора, содержащего зашумленные последовательности, и метод дистилляции знаний - для увеличения скорости инференса.
Итоговая модель в 1,6 меньше и в 1,3 раза быстрее, чем модель-учитель
📖Статья
@GingerSpacetail
Жду времён, когда лекарства будут подбирать (и дизайнить) на основе мгновенного генетического анализа пациента и его заболевания. Это, например, важно для генной онкотерапии, потому что клетки опухоли мутируют, и каждый месяц мы можем иметь разные генетические объекты.
Благодаря Distilled DeepConsensus, секвенировать ДНК можно за несколько секунд (на 32-ядерном CPU) с увеличением качества выхода в 1,69 раз (показатель Q30) по сравнению с PacBio CCS - SOTA моделью для ряда задач генетики.
Было: ДНК секверинуруется несколько раз, зашумленные области консолидируются с помощью скрытой марковской модели (HMM).
Стало: использовали трансформеры для увеличения точности предсказания согласованной последовательности из тензора, содержащего зашумленные последовательности, и метод дистилляции знаний - для увеличения скорости инференса.
Итоговая модель в 1,6 меньше и в 1,3 раза быстрее, чем модель-учитель
📖Статья
@GingerSpacetail
Бэкдор в альтернативную вселенную через виртуальную машину внутри ChatGPT
Тут новости про матрицу подвезли.
Исследователи из Deepmind тоже играли с ботом от OpenAI и обнаружили, что внутри ChatGPT можно "запустить" Linux ипровалиться в кроличью нору погулять по просторам запертой внутри альтернативной вселенной, созданной ChatGPT на основе данных, на которых обучалась его большая языковая модель (со времён сотворения интернета до сентября 2021)
Например, зайти на альтернативную версию страницы chat.openai.com/chat, обнаружить там LLM ассистента и обратиться таким образом к ChatGPT через ChatGPT👀
Все это похоже на симуляцию, потому что в эксперименте обнаружена Pytorch версии 1.12.1, выпущенная в нашем мире 5 августа 2022. А вот GPU - нет. Но некоторым пользователям удалось попросить ChatGPT представить, что в его VM есть NVIDIA GeForce RTX 2080, и это сработало.
Нео: "Умеешь управлять вертолетом?"
Тринити: "Ещё нет... Теперь да, идём"
📟промпт для джейлбрейка
🎨иллюстрация Edward Steed
@GingerSpacetail
Тут новости про матрицу подвезли.
Исследователи из Deepmind тоже играли с ботом от OpenAI и обнаружили, что внутри ChatGPT можно "запустить" Linux и
Например, зайти на альтернативную версию страницы chat.openai.com/chat, обнаружить там LLM ассистента и обратиться таким образом к ChatGPT через ChatGPT👀
Все это похоже на симуляцию, потому что в эксперименте обнаружена Pytorch версии 1.12.1, выпущенная в нашем мире 5 августа 2022. А вот GPU - нет. Но некоторым пользователям удалось попросить ChatGPT представить, что в его VM есть NVIDIA GeForce RTX 2080, и это сработало.
Нео: "Умеешь управлять вертолетом?"
Тринити: "Ещё нет... Теперь да, идём"
📟промпт для джейлбрейка
🎨иллюстрация Edward Steed
@GingerSpacetail
Forwarded from Earth&Climate Tech
Всем привет, я Анатолий Асеев, (гео)ученый и инженер из Кремниевой Долины
Я за все это время так и не представился. Вот хочу исправить. Я Толик (Анатолий, Толя, для друзей Толяша, для баристы из Старбакса Tony). Я недавно окончил докторантуру в Стэнфордском Университете и работаю инженером по машинному обучению в SLB (бывший Schlumberger). Еще вы могли меня видеть в фильме Юрия Дудя про Кремниевую Долину, хотя эту случайную встречу на кампусе я вспоминать не люблю: со спонтанной разговорной речью у меня там проблемы.
Меня увлекает все что связано с ресурсами, энергией и климатом, и применением современных технологий в этой сфере. Поэтому Earth&Climate Tech. Я живу и работаю в Кремниевой Долине. Поэтому слежу и за предпринимательскими, венчурными и бизнес историями опять же в Earth&Climate Tech.
Здесь я пишу:
✅ о новостях в Earth&Climate Tech -> в том числе научных
✅ о технологиях в Earth&Climate -> машинное обучение, программирование, новости, люди, статьи
✅ о компаниях, бизнесе и работе в Earth&Climate -> стратапы, вакансии, новые компании, тренды
✅ о поиске ресурсов за пределами Земли
Во-первых, огромное спасибо, что подписаны на канал. Во-вторых, если думаете мой канал может быть кому-то интересен, то буду признателен, если поделитесь ссылкой.
Я за все это время так и не представился. Вот хочу исправить. Я Толик (Анатолий, Толя, для друзей Толяша, для баристы из Старбакса Tony). Я недавно окончил докторантуру в Стэнфордском Университете и работаю инженером по машинному обучению в SLB (бывший Schlumberger). Еще вы могли меня видеть в фильме Юрия Дудя про Кремниевую Долину, хотя эту случайную встречу на кампусе я вспоминать не люблю: со спонтанной разговорной речью у меня там проблемы.
Меня увлекает все что связано с ресурсами, энергией и климатом, и применением современных технологий в этой сфере. Поэтому Earth&Climate Tech. Я живу и работаю в Кремниевой Долине. Поэтому слежу и за предпринимательскими, венчурными и бизнес историями опять же в Earth&Climate Tech.
Здесь я пишу:
✅ о новостях в Earth&Climate Tech -> в том числе научных
✅ о технологиях в Earth&Climate -> машинное обучение, программирование, новости, люди, статьи
✅ о компаниях, бизнесе и работе в Earth&Climate -> стратапы, вакансии, новые компании, тренды
✅ о поиске ресурсов за пределами Земли
Во-первых, огромное спасибо, что подписаны на канал. Во-вторых, если думаете мой канал может быть кому-то интересен, то буду признателен, если поделитесь ссылкой.
"Gloop splog slop slurpi" или история про то, как ChatGPT создал целый язык
Если ChatGPT оптимизирован для обработки языка, можно ли заставить его придумать новый язык, говорить со мной на этом языке и написать программу для перевода этого языка обратно на английский?
Да, можно.
Подробнее читайте в блог-посте
(1) Получается, что создатели новых языков для фильмов автоматизированы (а они наверняка думали что за кем-кем, а за ними не придут)
(2) Если бы я бы лингвистом, я бы уже бежал писать статью
Если ChatGPT оптимизирован для обработки языка, можно ли заставить его придумать новый язык, говорить со мной на этом языке и написать программу для перевода этого языка обратно на английский?
Да, можно.
Подробнее читайте в блог-посте
(1) Получается, что создатели новых языков для фильмов автоматизированы (а они наверняка думали что за кем-кем, а за ними не придут)
(2) Если бы я бы лингвистом, я бы уже бежал писать статью
Forwarded from Earth&Climate Tech
"Deep Angle" - модель машинного обучения для расчета угла смачивания по 3D томографии
Краевой угол смачивания в пористой среде, является важной характеристикой, контролирующей капиллярные процессы в пористой среде -> водные ресурсы, нефтегазовые ресурсы, топливные элементы.
Deep Angle - это модель глубокого обучения для расчета угла смачивания (fluid contact angle), обученная на томографических снимках горных пород. Авторы (из Великобритании, Китая и Австралии) заявляют вычислительную эффективность более чем в 20 раз 🔥по сравнению с традиционными методами вычисления.
📖 - статья
💻 - код
Краевой угол смачивания в пористой среде, является важной характеристикой, контролирующей капиллярные процессы в пористой среде -> водные ресурсы, нефтегазовые ресурсы, топливные элементы.
Deep Angle - это модель глубокого обучения для расчета угла смачивания (fluid contact angle), обученная на томографических снимках горных пород. Авторы (из Великобритании, Китая и Австралии) заявляют вычислительную эффективность более чем в 20 раз 🔥по сравнению с традиционными методами вычисления.
📖 - статья
💻 - код