🔥StyleGAN3 + CLIP

В твиттере выложили Colab для StyleGAN3+CLIP (с помощью текста, можно направлять генерацию картинки, а потом создавать красивые видосы), а я привел его к божескому виду, что бы было просто играться (и это что-то!)

💻Colab

P.S.: на картинке an amazon warrior трансформированный из MetFaces

#gan #text2image #clip

a trippy walk (StyleGAN3+CLIP)

Model-based analysis of brain activity reveals the hierarchy of language in 305 subjects

Интересная статья от авторов из Facebook AI и 2х Парижских университетов, про то как можно воспользоваться большими языковыми моделями для изучения корреляции между человеческой речью и активными зонами мозга. Хотя результаты у меня пока вызывают сомнение, посмотрим опубликуют ли вообще такое.

📎Статья

#ScientificML #nlp #biology

Relative Molecule Self-Attention Transformer

Self-supervised learning обещает произвести революцию в предсказании свойств молекул - центральной задаче открытия лекарств и многих других отраслей промышленности - благодаря возможности эффективного обучения на основе скудных экспериментальных данных.

Авторы полагают, что что-бы все реально заработало нужно решить проблему с выбором правильной архитектуры, которая, по их мнению, может быть самой проблемной частью.

Авторы предлагают новый вариант self-attention, адаптированный для обработки молекул, вдохновленный слоем relative self-attention, который предполагает объединение встроенного графа и отношений расстояния между атомами. Основной вклад работы - Relative Molecule Attention Transformer (R-MAT): новая модель на основе трансформера, которая достигает современных или очень конкурентоспособных результатов в широком диапазоне задач предсказания свойств молекул.

📎Статья

#ScientifcML #chemistry #transformer #SSL

StyleGAN3. Смешать, но не взбалтывать.

Я тут попробовал кое-что безумное, и на удивление это сработало. Берем веса обученого SG3 на MetFace (картины) и берем веса обученые на FFHQ (фотографии лиц). Складываем между собой и делим на 2. И вуаля - получаем GAN который рисует что-то среднее между портретом и фотографией

UPD: я вообще не намереваюсь этот канал превратить в обитель StyleGAN 😂

#gan

🚀 @SBERLOGA представляет онлайн доклад :
👨‍🔬 Антон Костин (МФТИ) "Биология на графах. Графы 'взаимодействия' генов на основе NLP анализа текстов."
⌚️ Пятница 15 октября, 18.00 по Москве

Рассмотрим корпус биологических текстов по определенной тематике - болезнь Альцгеймера , глиобластома и тд.
Обучим NLP модель (типа word2vec или более продвинутые) на выбранном корпусе.
Возьмем список интересующих нас терминов - например генов.
Рассмотрим эмбединги генов, которые получены данной моделью, построим по ним граф близости.
После этого мы можем анализировать данный граф и пытаться понять насколько он отражает биологическую информацию.
Насколько он зависит от корпуса текстов, насколько кластеры биологически осмысленны, и так далее.
Об этом и будет рассказано. Разобраны ноутбуки, которые делают данное построение.

Доклад является идейным продолжением предыдущего доклада - https://youtu.be/deFlfV3lB50 , https://t.me/sberloga/66

Ссылка на зум будет доступна через тг чат https://t.me/sberlogabio ближе к началу

DeepPoseKit

DeepPoseKit - это набор программных инструментов с высокоуровневым API для оценки 2D позы по заданным пользователем ключевым точкам. DeepPoseKit, можно использовать для: аннотирования изображений или видеокадров с заданными пользователем ключевыми точкам и для обучения моделей оценки позы.

Но самое крутое - не это. Эта библиотека была написана учеными для оценки поз животных (то есть для научных исследований).

Вот так вот ScientificML потихоньку врывается в жизнь обычных Computer Scientists. За наводку спасибо @pathetic_low_freq

📎Статья 🖥Код

#ScientificML #pose #biology

Михаил и Petar - довольно известные исследователи. Михаил возглавляет отдел графовых нейронных сетей в Twitter, а Petar - старший исследователь в Deep Mind. И тем не менее, из-за анонимизированного рецензирования, и крайне субъективного процесса ревью, даже у них случаются забавные казусы 😂

⚡️Комментарии в Colab

В Colab (Jupyter Notebooks с бесплатными GPU от Google) появилась возможность оставлять комментарии, как к Google Docs. Теперь совместная работа над блокнотами стала еще более удобной. Ура-ура-ура!

#resources

Pixray Panorama

Ещё чуть чуть искусства в нашем научном сообществе. Недавно, Алексей Тихонов выложил крутейший блокнот для генерации пиксельных панорам с помощью PixelDraw + CLIP. Присылайте в комменты что получилось!

💻Colab

#text2image #gan #clip

Causal ImageNet: How to discover spurious features in Deep Learning?

Часто, нейросети обученные на казалось бы больших датасетах типа ImageNet, плохо работают в реальном мире. Авторы исследования, считают что проблема может крыться в том, что сети уделяют слишком много внимания входным признакам, которые причинно не связаны с истинной меткой класса (например хотим предсказать кошку, а сеть зачем то ещё и фон учитывает).

Фокусируясь на классификации изображений, авторы определяют набор причинных визуальных признаков (всегда являются частью объекта) и набор ложных признаков (те, которые, так или иначе связаны с объектом, но не являются его частью. Например, признак «пальцы'' для класса «повязка'').

Авторы представляют набор данных Causal Imagenet, содержащий маски причинных и ложных признаков для большого набора сэмплов из Imagenet.

Данные пока не выложили, обновлю пост когда появятся.

📎Статья

#causality #datasets #images

NeRF 2021

Если вы интересуетесь компьютерной графикой и рендеренгом и ещё не слышали про Neuro Radiance Fields - то самое время с ними познакомиться.

NeRF был представлен в (недавней, но уже ставшей основополагающей) статье Neural Radiance Fields на ECCV 2020.

NeRF хранит объемное представление сцены в виде весов MLP (nn.Linear), обученного на множестве изображений с известной пространственной координатой (откуда снимали и куда повёрнута камера).

В блог-посте собраны обновления для NeRF выпущеные в этом году, самое то, to bring you up to speed.

#3d #nerf

97% accuracy on MNIST with a single decision tree (+ t-SNE)

Я довольно много пишу про сложные модели их интересные применения (это 662 пост в канале). Но в этот раз, давайте поговорим про простые модели. Вообще-то, добиться хорошей точности классификации можно и путем уменьшения размерности.

Берём Truncated Singular Value Decomposition (TSVD), «сжимаем» наш датасет (в этом случае MNIST - рукописные цифры) и преобразовываем данные в 2х мерное пространство с помощью T-SNE. Получаем 97% точности.

Полностью (супер подробно) метод разобран в этом блокноте.

#basics #reduction

Вот вам музыкальные котики от SG3 (самое прикольное, что работает в режиме реального времени – 25 кадров у секунду)

Автор

Вертикальный вывод в Colab

Colab продолжает по тихому вводить новые крутые штуки. Сегодня узнал, что вывод можно делать не после ячейки, а параллельно ей. Очень удобно.

Что бы так сделать, надо в начало ячейки вставить:

#@title Название {vertical-output: true}

#Colab #tricks

StyleGAN3 Music Video

Вдохновившись танцующими котиками, сделал демку для генерации музыкальных видео. Можно использовать со всеми доступнами моделями StyleGAN и с любыми музыкальными трэками (привзяно к частотам)

💻Играть в моем колабе

#GAN #demo #audio

Machine Learning Application for the Event Horizon Telescope 🔭

Продолжается серия увлекательных докладов Physics meets ML.
Доклад (20ого октября) можно послушать тут.

#ScientificML #meetings

Машинное обучение для гамма-излучения в центре галактики 🌌

Природа гамма-излучения Ферми в галактическом центре (GCE) до сих пор остается загадкой. Хотя избыток в целом совместим с излучением, ожидаемым из-за аннигиляции темной материи, объяснение в терминах, например, миллисекундных пульсаров, остается жизнеспособным.

Авторы используют методы оценки плотности с использованием нормализующих потоков, чтобы охарактеризовать вклад моделируемых компонентов (что именно выдаёт излишки гамма-излучения).

По сравнению с традиционными методами, основанными на статистическом распределении числа фотонов, их метод, основанный на машинном обучении, способен использовать больше информации, содержащейся в модели излучения Галактического центра, и, в частности, может выполнять апостериорную оценку параметров с учетом пространственных корреляций между пикселями на карте гамма-излучения. Это делает метод заметно более устойчивым к некоторым формам неправильной спецификации модели.

Статья
Код

#ScientificML #physics #flows

Естественно РНФовские сммщики не умеют ставить прямые ссылки, но тем не менее, рад для разнообразия написать и про российских ученых (я имею ввиду тех, которые работают в России).

Искусственный интеллект уже способен решать абсолютно разные задачи: от написания новостей до управления автомобилем. Что же нас ждет в будущем? Исследователи не останавливаются на достигнутом и используют искусственный интеллект в экспериментах на Большом адронном коллайдере для поиска физических законов, не входящих в Стандартную модель физики частиц.

О технологиях искусственного интеллекта, которые позволяют обрабатывать физические данные, симулировать события и происходящее на микроуровне, и даже планировать будущие эксперименты, расскажет Денис Деркач, PhD, доцент, старший научный сотрудник Лаборатории методов анализа больших данных Высшая школа экономики, победитель Президентской программы Российского научного фонда.

Какая досада, что уже прошло и я даже не глянул.