AI + нейроимплант вернули голос парализованной женщине 🧠

Под вечер поделюсь трогательной историей, как технологии помогли человеку, запертому в собственном теле, вернуть часть своей жизни.

Об этом писали еще летом 2023, видел тогда новость, но только сейчас прочитал подробно про процесс и результаты исследования. Общую суть я кратко изложил в видео, но хочу рассказать еще про пару моментов.

Во-первых, просто невероятно, что из сигналов мозга получилось напрямую декодировать речь. Для этого несколько недель нейросеть обучалась понимать, что хочет сказать Энн (пациентка), но только не целые слова, а фонемы. Из получившейся системы получилось сделать словарный запас на 1024 слова.

Скорость, с которой получается декодировать и воспроизводить речь — это 80 слов в минуту! Для примера, обычно у здорового человека 150-200 слов.

Ах да, цифрового аватара собрали на игровом движке Unreal Engine!
Самое удивительное применение анрила, которое я знаю.

В общем, супер радуют подобные техно-оптимистичные истории. Кому интересно, подробная статья от Калифорнийского университета, который занимался этим исследованием — [ ссылка ]
Полное видео, по которому делал озвучку — [ ссылка ]

Студийный звук даже с плохим микрофоном - одной кнопкой 🔺

В голосовом выше показал⬆️, как работает эта нейронка. Для наглядности включил шум стройки на фоне - поверьте, стоит мне начать записывать озвучку, как соседи сразу вспоминают, что им нужно сверлить стены...

Итак, в обновлении NVIDIA Broadcast 2.0 появилась AI-функция Studio Voice, которая подтягивает качество звука до уровня профессионального подкаста.

Голос ощущается объемнее и ниже, посторонние шумы исчезли, но результат ооочень далек от идеала. Звук стал каким-то неестественным и роботизированным, а также нейронка съедает некоторые буквы.

Еще из минусов: вообще нет никаких настроек - только вкл/выкл. Да и ресурсов ПК потребляет много - у моей 4070ti на 12GB съедает почти половину памяти.

😻Вывод: Если нет оборудования и навыков обработки, а нужно быстро улучшить звук — Studio Voice однозначно пригодится. В остальных случаях — это не лучшее решение.

Кстати, как вам такой формат с голосовыми? Стоит пробовать периодически рассказывать что-то в аудио, а не текстом?

ссылка на Nvidia Broadcast

Нейросеть для удаления фона у видео

PramaLLC представили новую модель BEN2, которая вырезает объекты из фона. Хорошо справляется с деталями, может как и с фото, так и с видео.

Есть бесплатное онлайн демо, с лимитом на 100 кадров для одного видео. Протестировал на танцующем Фареле — теперь он может плясать, где угодно🕺

Демо на HF
Сайт разработчиков

Как моё видео собрало 6 млн просмотров и 2,5к подписчиков на ютубe… НО на чужом канале

Нет, это не кликбейт. Захотелось немного разбавить контент чем-то закулисным, и как раз появилась забавная история про мои успехи с короткими видео на разных площадках.

Так вот, некоторые мои ролики хорошо залетают, в основном в запретграмме. Например, недавнее видео про нейроимплант у женщины уже собрало больше 1 млн просмотров в reels всего за неделю!

Периодически мне скидывают, что какие-то мои видео постят к себе разные паблики в ТГ, и даже, блин, в VK. Не, я вообще не против, даже если меня никак не отмечают. Сам периодически беру за основу сторонние футажи для озвучки или эдитов.

Но недавно мне в рекомендациях попался маленький канал про пчел на ютубе, который взял видео с моей озвучкой, немного его ускорил, и набрал 6 млн просмотров и 2,5к подписчиков!
И вот теперь внимание: тоже самое видео конечно же есть на моем ютуб канале, но у него всего 1000 просмотров 😅

Алгоритмы ютуба конечно беспощадны! Пока до конца не понимаю, как именно они работают. Возможно, от части, важную роль сыграли все эти "замедления".

В запретграмме, кстати, это же видео про пчел у меня рекордсмен — 4 млн просмотров за всё время.

😮‍💨 На чужом канале
🌸 У меня на канале

Стоматолог одним рилсом попала в очень широкую ЦА фанатов спорта. При этом и незаметно сразу, что использовалась нейросеть 💪

Если без шуточек, правда крутой ролик. Снова убеждаюсь, что решает не супер-дупер реалистичность, а креативность... точнее даже умение в мемастность.

Кстати, нейронка здесь Viggle, которая заменяет персонажа в видео на вас. Достаточно просто фотографии.

Автор svetlana.mets

"Сделаем свой YouTube" — свежий апдейт в Telegram

Знаю, что среди нас много тех, кто ведет свои ТГ каналы. Тут как раз Дуров выпустил интересную обнову, которая будет точно полезна как админам каналов, так и юзерам.

Видео:
🔴Теперь можно ставить обложки для видео — это важный инструмент для оформления, на том же ютуб конверсия у роликов сильно зависит от обложек (thumbnail)
🔴Делиться ссылкой на нужный момент — тоже супер полезная опция из ютуба
🔴Полоска прогресса просмотра, когда видео идет в фоновом режиме в чате — вроде UX мелочь, но хорошо работает на удержание

Для важных переговоров:
Улучшенный поиск стикеров с помощью ИИ — теперь ищет среди базы из миллионов стикеров.
Лично я вообще не фанат стикеров, мне хватает эмоджи. Вы часто пользуетесь ими в общении? 🤔

Продвижение:
Звёздные реакции от имени своего канала — теперь можно поддержать автора чужого канала и прорекламировать свой. Всё равно пока сломанная система, в плане донатов, но хотя бы так

Я уже как-то упоминал, что телега продолжает развиваться в сторону видео-платформы, но пока есть большая проблема — это отсутствие механик для органического продвижения контента внутри ТГ. Однако радует, что они двигаются небольшими, но продуманными шагами, а не превращают мессенджер в свалку из всего и вся.

Подробная папира со всеми обновлениями

@digital_beam

Самый умный ИИ на Земле

Завтра утром по Москве будет релиз Grok 3 от компании xAI. Илон Маск уже скромно назвал новую версию своего чат-бота "Самым умным на Земле" — мы конечно же верим, ага...

Однако, ресурсов вложили действительно немало! Обучали на ферме Colossus из 100 000 Nvidia H100, которую построили всего за 8 месяцев в том году. В итоге на обучение Grok 3 было затрачено в 10 раз больше GPU часов, чем для предыдущей версии.
Подробнее тут

Насколько это всё оправдано, будет понятно по тестам. Пока что юзаю Grok, только для быстрых картинок с селебами.

😻И еще одна новость от Маска. В Дубае запускают строительство Dubai Loop — подземной высокоскоростной транспортной системы, как в Лас-Вегасе. Хотят решить проблемы с пробками или просто сделать город еще футуристичнее.

Вместо Марса будут покорять геймдев 🚀

Маск и команда xAI представили сегодня Grok 3. Мне их состав чем-то напомнил шоу "ПрожекторПерисХилтон" 😂
В итоге, громкие заявления Илона оказались не пустым звуком — Chatbot Arena и другие бенчмарки показали, что модель не уступает топовым конкурентам.

Мне понравилось, как Grok 3 сгенерировал рабочую игру по текстовому промту, объединив матч-3 и тетрис. Перевел даже этот момент с трансляции — в конце есть эпическая шутка от Маска 🎤

Добавили Deep Search — поиск с анализом (рассуждением) данных из всех доступных источников. Сейчас это трендовая опция, которую другие компании тоже внедряют.

А ещё выяснилось, что для обучения использовали 200 тысяч GPU, а не 100. При этом xAI собирает инвестиции, чтобы продолжить наращивать вычислительные мощности.

В общем, Grok 3 пока выглядит очень интересно, учитывая что всего за год получилось догнать Open AI. Скоро еще добавят голосовой режим.

🤥 Полный разбор хайлайтов можно почитать тут