DeepMind раздает стипендии

Искусственный интеллект может стать одним из самых полезных изобретений человечества. Но только если более разнообразное и инклюзивное сообщество поможет его создать.

Можете ли вы стать частью следующего поколения? Начните свой путь с их глобальной стипендиальной программы.

🤩 Подаваться тут

🥖 Поддержать канал

SD обученная на Midjourney

Кто-то обучил Stable Diffusion на картинках сгенерированных Midjourney. И это определенно следующий уровень пост-метаиронии.

На а почему бы и нет? Не только же Грегу Рудковскому страдать от воровства его стилей :)

🦝 Модель
__________________________
🥖 Поддержать канал

Postdoctoral Fellowship in CalTech

The Division of Geological and Planetary Sciences at the California Institute of Technology invites applications for a postdoctoral fellowship in global environmental science beginning in the fall of 2023. The intent of the program is to support innovative and creative early career scientists working in global environmental science, including research in areas such as climate adaptation and mitigation, environmental microbiology, terrestrial and marine biogeochemistry, glaciology, paleo-climatology, atmospheric chemistry and composition, physical oceanography, and climate dynamics. We seek to nurture the careers of exceptional individuals who contribute to a diverse and inclusive scientific workforce.
The fellowship is funded in part by an endowment provided by Foster and Coco Stanback. It carries an annual stipend of $74,000 plus a research expense fund of $10,000 and up to $1,500 for one-way travel costs to Pasadena. The duration of the appointment is normally two years, contingent upon completion of the Ph.D. degree and good progress in the first year. Fellows are eligible to participate in Caltech’s benefit programs, including health and dental programs. The Stanback Fellow will be hosted by one or more division professors (designated by the Chair) who will provide both financial support and mentorship.
To be eligible for the Stanback, candidates should have received their Ph.D. no earlier than April 1, 2022, except in exceptional circumstances.
Materials in support of an application should include curriculum vitae, list of publications, a one-page statement of research interests, and three letters of reference. Complete applications including letters of reference are due by November 11, 2022.

Подаваться тут
#job

Deep Learning with Uncertainty

Ребят, кто в теме, покидайте пожалуйста статьи про DL с Uncertainties (в комменты). Если кому то попадались хорошие видосы про uncertainty в целом (безотносительно DL) тоже кидайте 🦝🦦🐈

Иллюстрация архитектуры Stable Diffusion

Автор иллюстрированного трансформера написал новую 🍬.

Диффузионные модели были вдохновлены диффузией из физики. Но если в физике этот процесс необратим, основная идея диффузионных моделей заключается в том, что при помощи нейронный сетей мы можем восстановить оригинальное изображение из абсолютного шума за конечное число шагов.

Для этого обучение делиться на два этапа: в первом (Forward diffusion process) мы контролируемо добавляем шум к изображению; во втором (Reverse diffusion process) модель учится предсказывать добавленный шум. Так как мы точно знаем шум, который сами же и добавили, мы можем сконструировать функцию потерь, которая вычисляет L2 норму между добавленным и предсказанным шумом.

Архитектура Stable Diffusion не является монолитной и помимо диффузионной части (UNet + Scheduler) так же включает в себя текстовый энкодер (CLIP) и декодер для генерации изображений.

Эта иллюстрированная статья описывает компоненты и процесс диффузии.

📖 Статья
@karray

AMA Stanford x Silicon Valley

Ask me anything про Стенфорд, Долину, исследования и всякое разное

TAP-Vid - эталон в области анализа движения на видео

DeepMind формализовали задачу долгосрочного отслеживания любой точки на видео (TAP, track any point), включая деформацию, ускорения, повороты, перекрытие другими объектами.

Но главное - проделали ювелирную работу по созданию и разметке датасета для решения таких задач.
По дороге подняли планку для уже существующих моделей, собрав TAP-Net.

Зачем это: делать выводы о форме объектов, их физических свойствах и возможных взаимодействиях.

Датасет состоит из реальных видео с точными человеческими аннотациями и синтетических видео с истинными значениями.

Чтобы зафиксировать бейслайн, проверили RAFT, но он не справляется с перекрытием объектов и накапливает ошибки при интерполяции по многим кадрам;
CORT теряет информацию о деформации;
Kubric-VFS-Like слабо полезен при переходе от синтетических данных к реальным видео.
TAP-Net пока лучшая, но с таким датасетом - ненадолго.

Следующий шаг - освоить с жидкости и прозрачности.

📖Статья
🗂Датасет
@GingerSpacetail

Хочу сделать хороший сайт визитку для себя, подскажите кто на каких сервисах делал? Что почем?

Multi-layered Mapping of Brain Tissue via Segmentation Guided Contrastive Learning

В прошлом году в Google оцифровали 1 мм³ ткани коры головного мозга получив 3d карту высокого разрешения объемом 1,4 Пбайт. Для подробного изучения такой карты сначала нужно идентифицировать типы клеток и их синаптические связи, но разметить такое количество данных вручную невозможно (привет).

Для решение проблемы авторы предложили новую сеть SegCLR (модификация SimCLR). Она способна различать элементы меньше 10 µm с высокой точностью, тогда как эксперты уже не справляются.

Благодаря self-supervised (#SSL) подходу авторам удалось извлечь 8 млрд эмбеддингов без ручной аннотации. Далее, они были сгруппированы в кластеры и используя лишь небольшое количество размеченных данных, кластерам был присвоен лейбл. Кроме того, сеть понижает размерность данных до 64-мерных векторов, что облегчает обучение моделей для downstream задач.

Таким образом был получен размеченный датасет, который был вложен в открытый доступ.

🔬Блог
📖Статья
@karray

Работа в climate-tech

#📢Вакансия

Компании из портфолио Breakthrough Ventures набирают обороты. По ссылке список вакансий в 77 climate-energy-tech компаниях: водород, геотермалка, цемент, разведка металлов, захоронение СО2, квантовые компьютеры и многое другое.

Восхитительная эмерджентность модели EMSFold

Вы же знаете, что GPT-3 обучена просто предсказывать следующее слово в предложении, а в итоге пишет стихи, помогает читать научные статьи, писать и понимать код?

Это явление называется эмерджентность (emergence) - когда после обучения на простой задаче, модель умеет делать гораздо больше.

Эмерджентость - одно из ключевых свойств фундаментальных моделей, таких как DALL-E, BERT, GPT-3 и теперь - представленной в ноябре EMSFold.

Изначально Meta AI обучали языковую модель заполнять пробелы в последовательности белков, а оказалось, чтобы хорошо выполнить задачу, она должна узнать, какая у белка функция, и как ориентированы аминокислоты в пространстве.

Почему это восхитительно: эволюционная изменчивость белков не произвольная - их биологические свойства играют роль ограничителей на мутации в последовательности. Но головоломка в том, что свойства белка зависят от его 3D формы.

И EMSFold - новая SOTA модель, решающая эту головоломку.

📖Статья
🖇Код
@GingerSpacetail

Пять ошибок, которые допускают менеджеры при внедрении искусственного интеллекта, и как их исправить

Искусственный интеллект способен изменить процесс принятия корпоративных решений - увеличить доходы, снизить затраты и повысить качество. Если только сотрудники смогут его правильно применять.

Ошибка 1: концентрация на том, где алгоритмы будут иметь наибольшее влияние

Ошибка 2: Когда менеджеры внедряют алгоритмические технологии, они в основном устраняют технические трения и страхи перед инновациями.

Ошибка 3: акцент только на том, как алгоритмы могут помочь максимизировать доход и рентабельность

Ошибка 4: Использование алгоритмических технологий для предоставления работникам обратной связи в реальном времени об их работе

Ошибка 5: чрезмерное объяснение того, как работает алгоритм

Расписать каждую ошибку не хватит лимитов, так что подробности читайте в статье

🍬 Статья (возможен paywall)

MinD-Vis: диффузия для чтения мыслей

Представлена диффузионная модель, которая умеет декодировать то, что видит человек по его мозговой активности (fMRI).

Сначала авторы обучили self-supervised модель для получения универсальных эмбеддингов мозговой активности (одинаковых для разных людей). Далее они взяли предобученную Latent Diffusion и добавили к ней cross-attention на эти мысленные репрезентации. После короткого файнтюна на 1.5к парах картинка-fMRI модель смогла полноценно декодировать то, что видит перед собой человек!

Данные для обучения и код выложены в открытый доступ, веса моделей дают по запросу.

Статья, GitHub, блог

Focal Modulation Networks

Когда мы рассматриваем что-то, наши глаза совершают быстрые движения, называемые саккадами, фокусируясь на интересных деталях и мысленно строя сцену, учитывая глобальный контекст. Self-attention (SA) в ViT работает похожим образом, но проблема в том, что нужно вычислять attention между всеми частями изображения.

В Microsoft представили FocalNet, которая является развитием предыдущей идеи - авторы предложили вокруг каждого query-вектора создать зону из трех уровней: ближний - самый детальный и состоит из отдельных векторов, тогда как дальний - объединяет вектора в группу. В FocalNet развили эту идею, упростив вычисления при достижении SOTA результатов.

Восхитительно и то, что замена SA фокальной модуляцией позволяет не только упростить вычисления, но также локализовывать объекты без обращения к картам активации и вычисления градиент через backpropagation (как в Grad-CAM). Кроме того, полученные тепловые карты более консистентны в сравнении с SA (демо).

📖Статья
👨‍💻Код
@karray