В «Яндекс Музыке» появилась сгенерированная алгоритмами «нейромузыка»

“Привет, это Нейромузыка. Я изучила, что вам нравится и написала вашу личную мелодию для концентрации. Готовы?». Так началось мое градиентное погружение в нейросетевую музыку от Яндекса. И хочу сказать что это огонь!

В «Нейромузыке» доступны три режима: «спокойствие», «бодрость» и «вдохновение». Новая функция доступна подписчикам «Музыки» и обладателям «Станции». Последним нужно произнести команду «Алиса, включи Нейромузыку». 

И нет, это не реклама. Никто мне не платил за этот пост. Просто крутая штука!

UPD: говорят: «Она изначально генерирует не сильно интересно, но ты переключаешь лайками/дизлайками и, говорят, она от этого быстро настраивается»

An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion

Ребята из Тель Авивского Университета интересно подошли к проблеме генерации картинок из текста.

Они решили поставить задачу следующим образом: как мы можем использовать модели, управляемые языком, чтобы превратить кошку в картину или представить новый продукт на основе нашей любимой игрушки?

Используя всего 3-5 изображений какой-нибудь концепции, например, объекта или стиля, они научились представлять эту концепцию с помощью новых "слов" в пространстве эмбедингов замороженной модели "текст-изображение". Эти "слова" могут быть составлены в предложения на естественном языке.

Работа основана на общедоступных латентных диффузионных моделях.

На сайте проекта ещё несколько прикольных примеров такой генерации, а ещё понятное и подробнее описание принципов работы модели.

📖 Статья 🤖 Код (обещают soon)

⭐️ Больше никакого промпт -инженеринга! ⭐️

Вышла новая работа "Prompt-to-Prompt" - которая позволяет пользователям редактировать изображения, основываясь только на текстовых правках промпта.

Авторы проанализировали Img2Text модели, и заметили, что слои Cross Attention являются ключом к управлению связью между пространственным расположением изображения и каждым словом в промпте.

Кода пока не будет, так как проект построен на основе Imagen (который совсем не опен). Но думаю у умельцев из Stable Diffusion быстро получится реализовать этот функционал.

📖 Статья

Может ли нейробиолог понять микропроцессор?

В нейронауке распространено мнение, что мы в первую очередь ограничены данными, и что получение больших, мультимодальных и сложных наборов данных приведет к фундаментальному пониманию того, как мозг обрабатывает информацию.

Таких наборов данных пока не существует, а если бы они существовали, у нас не было бы возможности оценить, являются ли выводы достаточными или даже правильными.

Авторы этой необычной статьи взяли классический микропроцессор в качестве модельного организма и провели на нем произвольные эксперименты, чтобы увидеть, могут ли популярные методы анализа данных из нейробиологии прояснить то, как микропроцессор обрабатывает информацию.

Они показали, что могут выявить интересную структуру в данных, но при этом не могут получить осмысленного описания иерархии обработки информации в микропроцессоре.

Вывод: существующие аналитические подходы в нейробиологии недостаточны для достижения значимого понимания нейросистем, независимо от объема данных.

Оказывается моему каналу на днях исполнился 1 год.

У меня было лишь смутное представление о том как вести канал и бесконечное количество энтузиазма, что бы рассказывать о том, что мне кажется важным, интересным и просто прикольным.

Теперь, ~1 год и ~1000 постов спустя, мы сообщество на 4000+ человек и продолжаем развиваться!

Спасибо каждому из вас! Впереди нас ждёт ещё много всего увлекательного 🤩

Пишите свои пожелания и предложения по каналу в комментах!

P.S.: да, у меня наконец то появился доступ к Dall-E 2

Как можно использовать ИИ для открытий в физике?

Энергия, масса, скорость. Эти три переменные составляют знаковое уравнение Эйнштейна E=MC2. Но откуда Эйнштейн вообще узнал об этих понятиях? Прекурсором к пониманию физики является определение соответствующих переменных. Без понятия энергии, массы и скорости даже Эйнштейн не смог бы открыть относительность. Но можно ли обнаружить такие переменные автоматически?

Ученые решили использовать ИИ для поиска минимального набора фундаментальных переменных, которые полностью описывают динамику явления по его видео записи.

Исследователи начали с подачи системе необработанных видеозаписей явлений, для которых они уже знали ответ. Например, они скормили системе видеозапись качающегося двойного маятника, у которого, как известно, есть ровно четыре "переменные состояния" - угол и угловая скорость каждого из двух плеч. После нескольких часов анализа ИИ выдал ответ: 4.7.

О том какие выводы они из этого сделали читайте в блог-посте на phys.org

GAUDI: A Neural Architect for Immersive 3D Scene Generation

Давненько у нас тут не было новостей от Apple. А они есть.

Apple представили GAUDI, генеративную модель, которая умеет строить трехмерные сцены.

Они декомпозируют генеративную модель на два этапа:
(i) Оптимизация латентного представления 3D-полей сияния (Radiance Fields) и соответствующих поз камеры.
(ii) Обучение мощной генеративной модели на основе латентного пространства.

GAUDI позволяет генерировать 3D-сцены из различных модальностей, таких как текст или RGB-изображения.

📖 статья 🤖 код

P.S.: ну и какое это отношение имеет к науке? Присылайте свои идею как эту технологию можно было бы использовать для науки-науки :)

OWL-ViT by GoogleAI

Давно не говорили о детекции, друзья.

Гугел сделал уверенный шаг в сторону open-vocabulary detection. Это когда у модели нет набора фиксированных классов, но она умеет реагировать на текстовые запросы. Вы вводите в промпт названия нужных объектов, и модель их находит. Попробовать демку можно на хагинфейсе.

По сути, это предобученный CLIP, где к картиночному энкодеру присобачили голову для предсказания координат баундинг боксов. То есть для каждому токена, полученного из картинки, мы предсказываем координаты и эмбеддинг. Далее этот эмбеддинг сравнивает с эмбеддингом заданного имени класса, и мы получаем similarity для класса. Дополнительные головы файнтюнятся лоссом в стиле DETR. Все подробности в статье.

Внизу схема архитектуры и минимальный код для инференса.

@ai_newz

Patreon заблокировали, но меня можно поддержать деньгами тут. Будет очень в тему, потому что они у меня закончились, а до новой работы ещё 2 недели.

Кто закинет денег расскажу первым о том, что за новая работа 🧑‍💼

Символы и ментальные программы: гипотеза о человеческой исключительности

Для того, что бы объяснить пространственную память у людей, учёные постулируют ментальный язык, с помощью которого можно производить необходимые операции.

Естественный язык часто рассматривается как единственный фактор, объясняющий когнитивную необычность человеческого вида. Вместо этого авторы статьи предполагают, что люди обладают несколькими внутренними языками мышления.

Представьте себе компьютер - ядро написано на ассемблере, ваш любимый браузер на С, а блог, который вы читаете за обедом на JS.

Похожим образом для разных функций наш мозг придумал различные языки. Эти языки опираются на корковые схемы, отличные от классических языковых областей.

Каждый из языков характеризуется:
(i) дискретизацией области с помощью небольшого набора символов, и (ii) их рекурсивной композицией в ментальные программы.

Мне кажется это интересное направление, которое открывает новые возможности по использованию LLM для роботов.

📖 Статья

Большой анонс

С завтрашнего дня, я начинаю работу в должности Постдок исследователя в Stanford University 🎓

А прямо в эту минуту взлетаю по маршруту Тель Авив - Сан Франциско.

На фоне неутихающих страстей журналистов и внешних экспертов по поводу опасностей ИИ для человечества интересно взглянуть на статистику мнений (а не громкие отдельные высказывания) тех, кто реально в этом поле работает. Вот как раз опубликованы методически вполне корректные результаты такого опроса среди 4271 исследователя, чьи работы были приняты конференциями NeurIPS или ICML в 2021.
Их мнения относительно HLMI разнятся (да, используется не расхожий и смутный термин Общий ИИ, а более внятный прагматичный HLMI - подразумевающий, что unaided machines can accomplish every task better and more cheaply than human workers и не обсуждающий вопросы самосознания).
Выводы в целом довольно спокойные: агрегированный прогноз наступления такого машинного интеллекта указывает на примерно 2060 год; медиана ответов про катастрофические результаты достижения HLMI составляет около 10%. Цифра внешне не кажется пугающей, но желающих играть в русскую рулетку с револьвером, у которого барабан на 10 патронов, довольно мало, поэтому неудивительно, что 69% респондентов считают, что надо поднять приоритет исследований на тему безопасности разработки ИИ, благо время вполне есть.
https://aiimpacts.org/what-do-ml-researchers-think-about-ai-in-2022/
(Полный материал - https://aiimpacts.org/2022-expert-survey-on-progress-in-ai/ ) Спасибо Лёше Тихонову за интересную ссылочку

🎥 Смотрите что CompVis творит с Text Video Editing

Как я уже показывал, Stability Diffusion готовит Inpainting версию своей модели.

Теперь Patrick Esser поделился интересным прогрессом. Посмотрите, я реально залип..

🤖 Мишин Лернинг

Самообучающийся искусственный интеллект демонстрирует сходство с работой мозга

Животные - в том числе и люди - не используют наборы маркированных данных для обучения. По большей части они самостоятельно исследуют окружающую среду и при этом получают богатое и глубокое понимание мира.

Некоторые специалисты по вычислительной неврологии начали изучать нейронные сети, которые были обучены на небольшом количестве данных, помеченных человеком, или вообще без них. Эти алгоритмы self-supervised (#SSL) оказались чрезвычайно успешными для моделирования человеческого языка и, совсем недавно, распознавания образов. В последних работах вычислительные модели зрительной и слуховой систем млекопитающих, построенные с использованием моделей SSL, показали более близкое соответствие функциям мозга, чем их аналоги с контролируемым обучением.

Некоторые нейробиологи считают, что искусственные сети начинают раскрывать некоторые из реальных методов, используемых нашим мозгом для обучения.

Подробнее

Кто стоит за StableDiffusion?

Посмотрите интервью с @EMostaque, основателем Stability AI. Яник поговорил с ним об открытых моделях, создании гигантского вычислительного кластера с нуля и о том, как он представляет себе настоящую демократизацию ИИ.

Интервью