CEO робо-стартапа FigureAI показал новое видео работы их робота Figure 2.0

Видео, предположительно, снято на заводе BMW, где роботы компании "стажируются" в реальных условиях уже с прошлого года. Гуманоид автономно сканирует, обрабатывает и сортирует пакеты разного размера.

Обратите внимание на скорость принятия решений и плавность движений. Робот почти не останавливается + руки работают ну очень акуратно для железки.

Видео, кстати, выложили через час после того, как директору стартапа в коментариях написали, что "это НИКОГДА не будет работать с произвольной партией пакетов" 😎

Nvidia не перестает радовать: совместно с Корнеллским Университетом они предложили Eso-LM – новую архитектуру, сочетающую в себе авторегрессию и диффузию

Буквально в прошлом посте мы написали, что, возможно, за диффузионными текстовыми моделями будущее, – и сразу же наткнулись на только что выпущенную статью Nvidia про новую архитектуру, основанную на этой идее.

Кратко разбираем:

➖ Авторегрессивные модели (трансформеры) генерируют токены слева направо, а диффузионные – постепенно размаскировывают последовательность в любом порядке. Это значит, что диффузию можно параллелить на инференсе, восстанавливая по нескольку токенов за раз, а трансформеры – нет. В Eso-LM авторы попытались соединить два подхода, чтобы качество было, как у авторегрессии, а скорость – как у диффузии.

➖ Тут у нас две фазы инференса. Сначала диффузионная: модель параллельно восстанавливает большинство токенов. Затем авторегрессивная: оставшиеся замаскированные позиции достраиваются последовательно слева направо.

➖ При этом в диффузионной фазе токены восстанавливаются по заранее заданному расписанию, которое определяется перестановкой индексов σ – эта схема определяет, какие позиции размаскируются на каждом шаге. Благодаря тому, что порядок фиксирован, для уже восстановленных токенов можно накапливать KV-кеш и быстро переиспользовать его в автоконтекстной фазе. Это называется казуальным вниманием.

В итоге у нас: качество – трансформеров, а скорость – диффузии. На тестах Eso-LM демонстрирует perplexity около 25.97 против 22.83 у обычного авторегрессивного трансформера.

Статья полностью

Eleven Labs удивили всех своей новой моделью синтеза речи

Казалось бы, в наше время уже сложно таким впечатлить, но их новая text2speech Eleven v3 смогла. Послушайте демо и сами все поймете.

Модель может: петь, смеяться, вздыхать, шептать. И, в целом, звучит все ну очень естественно (даже иногда не по себе 😬). Можно генерировать мульти-голосовые диалоги и детально контролировать интонации тегами (как на видео). Поддерживают около 70 языков, русский тоже.

Сейчас модель вышла в публичную альфу, и в июне на нее будут скидки 80%. Пишут, что, так как это исследовательское превью, модель пока требует больше промпт инжиниринга. Видимо, пока не тюнили отдельно на instruction following.

Пробуем здесь