GradInit: перебор гиперпараметров оптимизатора и warmup больше не нужны (by Google)

В гугл предложили супер крутой универсальный architecture-agnostic метод инициализации весов моделей.

Идея очень простая: добавить множители перед каждым блоком параметров и запустить по ним несколько итераций оптимизации лосса. Дальше эти множители фиксируем и учим модель как обычно. Такая инициализация не зависит от глубины и типа архитектуры (работает и на резнетах и на трансформерах) и почти полностью решает проблему взрывающихся\затухающих градиентов.

В итоге отпадает необходимость в переборе гиперпараметров оптимизатора, а трансформер вообще получилось обучить без warmup’a, что считалось практически невозможным. Как бонус, такая инициализация даёт небольшой буст на многих бенчмарках (и картиночных и текстовых).

Статья, GitHub

Отвал башки! Тут пацаны из гугла обучили NERF на RAW фотках. Получается просто башенного качества рендеринг HDR изображений. Можно менять экспозицию, фокус. Вы только посмотрите на получаемый эффект боке в ночных сценах!

Дополнительное преимущество этого метода перед обычным нерфом - это то, что он хорошо работает на шумных снимках с малым освещением. За счет того, что информация агрегируется с нескольких фотографий, метод хорошо справляется с шумом и недостатком освещения, превосходя специализированные single-photo denoising модели.

Статью ознаменовали как NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images. Ну, разве что кода еще нет.

Сайт проекта | Arxiv

🔥MTTR: End-to-End Text Referring Video Object Segmentation

Представлена новая SOTA в сегментации объектов на видео по их текстовому описанию. Качество просто невероятное!

Модель основана на мультимодальном трансформере, в который подаются фичи от текстового энкодера (RoBERTa) и видео энкодера (Video Swin). Примечательно, что в отличие от предыдущих решений, обучение здесь end2end — sequence prediction problem.

P.S. Авторы опубликали и код, и веса моделей 👍

Статья, GitHub

Face2arcane. Пока полет нормальный.

С помощью HyperStyle (отдельная версия StyleGAN) можно делать интересные переходы для онлайн-магазинов

Привет! Я ушел из Реплики (проработал там почти 7 лет и построил один из лучших в мире Conversational AI для десятков миллионов пользователей), поднял инвестиции от Питера Тиля, Давида Яна, кофаундеров Тиндера и запустил новый AI стартап.

Сегодня релизим наш апп Botify на Product Hunt! Botify позволяет создавать фотореалистичные говорящие аватары. Аватар моргает, улыбается, шевелит губами и орно чатится. Более того, у каждого аватара можно настроить характер и интересы, и таким образом получить какую угодно персону. Хотели поговорить с Маском про колонизацию Марса? Может у Иисуса спросить про NFT хайп? Или загрузить фотку своей бывшей и 😏. По сути Botify - это микс дипфейков и чатботов, интерактивные Digital humans.

Из тех жира - под капотом диалоговая GPT-Neo на 2.7B параметров, разные BERT'ы, first-order-motion, Wav2Lip, Super Resolution, face restoration, Stylegan, WaveNet, etc. Мы используем мультимодальный подход комбинируя генеративный текст, аудио и видео для создания интерактивных Digital Humans. Все работает около риал-тайм, чек ит аут.

Нам очень важна ваша поддержка на продакт-ханте и ваш честный фидбек 🙏 Заценить и поддержать апвоутом/комментом можно тут - https://www.producthunt.com/posts/botify-ai

#VR
В VR учиться рисовать проще: можно отменить неудачный штрих + ничего не отвлекает. Пример прогресса за неделю с нуля до неплохого уровня по урокам Stuart Davies. Рисует с помощью Vermillion

r/ #technology
В США создали «дрон на курьих ножках» — птичьи роболапы позволяют ему садиться на ветки и хватать предметы

Конструкцию «воздушного захвата, вдохновлённого природой» (так расшифровывается SNAG) инженеры Стэнфордского университета создали, изучая работу лап попугаев. «Кости» напечатали на 3D-принтере из полимерной массы, а роль мускулов и сухожилий взяли на себя электромоторы и нити из лески. За два десятка попыток инженерам удалось прийти к рабочему варианту роболап, которые реагируют всего за 20 миллисекунд, цепко обхватывая предмет или поверхность и погашая удар при посадке.

Дроны с такими роболапами можно использовать «в бесчисленном множестве сценариев» — например, для близкого наблюдения за птицами, экологического мониторинга лесов или перемещения небольших грузов неправильной формы.

Закинул первый парный 512x10k датасет face2arcane в ранний доступ на патреон.
Забрать тут

Ну вы знаете эту одну единственную нейросеть :D

Жду публикацию "neural network is all you need"

Голодный \ Бахнув пельменiв

Закинул face2comics на producthunt. Как говорится, го тыкать!
https://www.producthunt.com/posts/face2comics