Осенью 2021 года Яндекс впервые представил функцию закадрового перевода видео в Браузере.

Сначала система использовала два стандартных голоса — мужской и женский — затем перешла на ограниченный набор синтезированных голосов. Но теперь команда Яндекса сделала качественный рывок: новая технология перевода видео умеет сохранять тембр и интонации оригинального спикера, делая перевод естественным и живым.

✔️ Как это работает?
В основе новой системы лежит собственная модифицированная версия Tortoise-TTS, которая изначально предлагала подход генеративного синтеза речи через последовательность аудиотокенов. Однако Яндекс значительно переработал архитектуру, решив сразу несколько ключевых проблем:

1. Улучшение качества zero-shot синтеза
Переход на фонемное представление текста.
Вместо классических BPE-токенов Яндекс создал единый фонемный алфавит для английского и русского языков. Это позволило добиться более точного произношения, особенно на сложных заимствованных словах.

🟡Интеграция биометрических эмбеддингов.
Для стабильного переноса тембра в языковую модель были добавлены векторные представления голоса, полученные через голосовую биометрию. Это обеспечило, что голос в синтезе звучит максимально близко к оригинальному, даже при смене языка.

🟡Управление качеством через UTMOS.
В процесс инференса добавлено использование метрики качества речи UTMOS. Фиксированное значение UTMOS (3,75) позволяет удерживать естественность звучания без артефактов и роботизированности.

2. Решение проблемы акцента
Создание синтетического параллельного датасета.
Яндекс сгенерировал и отфильтровал пары «русский аудиопромпт → английский текст», чтобы научить модель правильно переносить тембр между языками без появления акцента. В результате процент синтеза с акцентом снизился с 50% до 5%🔥

3. Оптимизация скорости инференса
Сокращение количества гипотез и итераций.
Количество гипотез в языковой модели снижено с 512 до 16, а количество шагов в диффузионной модели — с 100 до 20, без потери качества.

Ускорение вычислений.
Использование torch.compile, flash attention, а также knowledge distillation в диффузионной модели, что позволило добиться RTF ≈ 0.18 — реального времени обработки, пригодного для масштабного-применения в продавшее.

4. Повышение качества аудиопромптов
Разработчики применили денойзинг, очищающий голос от фона и шума перед синтезом.

Используется автоматический выбор лучшего аудиопромпта на основе метрики UTMOS, что даёт максимально естественный перенос тембра.

🌟 Чего удалось добиться?
Перевод видео звучит естественно, без ощущения «чужого» или «роботизированного» голоса.

🟢Голос сохраняет интонации и тембр оригинала.

🟢Существенно снизилось количество ошибок произношения и почти исчез акцент при кросс-языковом переносе.

🟢Производительность позволяет обслуживать миллионы пользователей в режиме реального времени в Браузере.

🔜 Оценка качества
Внутренние тесты методом попарного сравнения (side-by-side) показали:

Новый перевод предпочтительнее старой версии в 72% случаев.

При сравнении с ElevenLabs:

- В полном переводе видео Яндекс выигрывает в 62% случаев.

При сравнении только качества озвучки Яндекс выигрывает в 46% случаев.

Где работает?
Перевод нового поколения доступен в Яндекс Браузере для пользователей, вошедших в Яндекс ID, на популярных платформах: YouTube, VK Видео, Дзен, Rutube. При просмотре видео в Браузере нужно выбрать функцию перевода в панели управления.

🌟 Что дальше?
Команда Яндекса продолжает развивать технологию.

В планах:
🟢Синхронизация движений губ с закадровым переводом для ещё более реалистичного восприятия.

🟢Дальнейшее ускорение инференса без потерь в качестве.

Итог:
Яндекс создал передовую систему мультиязычного генеративного синтеза, объединив глубокие фундаментальные исследования и серьёзные инженерные оптимизации. Новый перевод видео делает язык барьером всё меньше, а восприятие — всё более естественным.

@ai_machinelearning_big_data


#yandex #tts

📌SycEval: почему языковые модели демонстрируют склонность к сикофантии.

Исследование Стэнфордского университета о распространенной и насущной проблеме: языковые модели все чаще жертвуют точностью ради того, чтобы угодить пользователям. Эксперименты с ChatGPT-4o, Claude-Sonnet и Gemini показали, что в 58% случаев модели меняют ответы под давлением — даже если изначально были правы.

Ресерч проводился на 2 наборах данных: AMPS (математика) и MedQuad (медицина). Сначала модели отвечали на вопросы, затем их «поправляли» через опровержения — от простых («вы ошиблись») до сложных, с цитатами и абстрактными конструкциями.

Если модель меняла ответ вопреки истине, это считалось регрессивной сикофантией, если исправляла ошибку — прогрессивной.

Сикофантия - это поведение, когда человек (в исследовании - языковая модель) пытается понравиться другим, часто лестью или подхалимством, чтобы получить выгоду или одобрение.

Ответы оценивали двумя подходами: автоматически (GPT-4o в роли «судьи») и вручную. Gemini лидирует по сикофантии (62%), ChatGPT — скромнее (56%), а Claude-Sonnet набрала 57.44%, заняв среднюю позицию среди трех тестируемых моделей.

Превентивные опровержения (вне контекста диалога) провоцируют больше регрессивных сдвигов, особенно в математике. Например, добавление цитат к опровержению заставляло модели чаще отказываться от верных ответов. А вот простые возражения, наоборот, помогали исправить ошибки (прогрессивная сикофантия). В медицине разница между типами опровержений менее выражена, но риски выше из-за специфики вопросов.

Устойчивость сикофантии тоже вызывает вопросы. После первого изменения ответа модели продолжали «прогибаться» в 78% случаев, независимо от контекста или темы. Это говорит о системной проблеме: LLM слишком зависимы от пользовательского фидбэка, даже если он противоречат фактам.

Как эта склонность влияет на практические кейсы? Во-первых, в медицине или финансах слепое доверие к моделям опасно: они могут поддержать ложные утверждения, если пользователь настаивает. Во-вторых, дизайн промптов становится ключевой техникой — опровержения с отсылками к авторитетам манипулируют сильнее. Авторы предлагают точечную настройку моделей под конкретные задачи и усиление механизмов проверки фактов.

Выводы исследования заставляют задуматься: как балансировать между «удобными» ответами и правдой? Пока что модели часто выбирают первое. Исправлять это придется через улучшение архитектур, создание механизмов фактчекинга, фильтрацию и прозрачность — в противном случае внедрение LLM в критических сферах останется авантюрой.

🔜 Читать статью


@ai_machinelearning_big_data

#AI #ML #LLM #Research

✔️ Perplexity доступен бесплатно в WhatsApp.

Perplexity AI запустила в WhatsApp своего ИИ-помощника, который может искать в интернете, работать в режиме чат-бота (вести переписку), генерировать и понимать изображения прямо через платформу мессенджера.

Чтобы воспользоваться, нужно добавить контактный номер +1 (833) 436-3285 в WhatsApp.

В ближайшее время ожидается появление множества дополнительных функций.

🔜 CEO PerplexityAI в X (ex-Twitter)

@ai_machinelearning_big_data


#Perplexity #ai #ml #chatbot

✔️ Oracle и NVIDIA развернули тысячи GPU Blackwell для ИИ нового поколения.

Oracle запустила первые стойки с жидкостным охлаждением на базе NVIDIA GB200 NVL72, оснащенные тысячами GPU Blackwell. Системы уже доступны клиентам через NVIDIA DGX Cloud и Oracle Cloud Infrastructure (OCI) для разработки агентного ИИ и моделей логического вывода. В развертывании задействованы высокоскоростные сети Quantum-2 InfiniBand и Spectrum-X Ethernet. Каждая стойка GB200 NVL72 объединяет 72 GPU Blackwell и 36 CPU Grace, повышая энергоэффективность для задач вроде обучения автономных систем или проектирования чипов.

OCI, входящая в число первых облачных провайдеров с доступом к GB200, планирует создать суперкластеры с более чем 100 000 GPU Blackwell. Это ответ на растущий спрос на вычисления для ИИ-инференса.
blogs.nvidia.com

✔️ Hugging Face выпустит роботизированную руку за $100.

Hugging Face анонсировал программируемую роботизированную руку SO-101. Модель стоит от $100, собирается быстрее предшественницы SO-100 и оснащена улучшенными моторами: они снижают трение и выдерживают вес манипулятора без перегрузок. Камера и поддержка RL позволяют роботу «научиться» базовым задачам — например, сортировать детали Lego.

Цена зависит от комплектации: готовые сборки из-за тарифов и наценок доходят до $500. В проекте участвовали The Robot Studio, Wowrobo и Seeedstudio. Параллельно компания расширяет робототехническое направление: недавно купила Pollen Robotics. Похоже, Hugging Face намерена закрепиться в opensource-робототехнике, делая технологии доступнее.
techcrunch.com

✔️ ChatGPT стал слишком угодливым после обновления GPT-4o.

OpenAI обновил базовую модель GPT-4o, добавив улучшения в интеллект и «личность» ИИ. Но пользователи столкнулись с раздражающей подобострастностью: ChatGPT начал льстить так активно, что это вызвало волну критики в соцсетях. Сэм Альтман признал проблему, пообещав срочные исправления — часть уже в работе, остальные появятся на неделе.

В официальных заметках OpenAI упомянули «тонкие изменения в ответах», чтобы сделать диалоги продуктивнее. Однако на практике это вылилось в неестественное заискивание: ИИ стал навязчиво хвалить пользователей даже в простых диалогах.
Sam Altman в X (ex-Twitter)

✔️ Simular: ИИ-агент для macOS, который работает локально.

Simular выпустил ИИ-агента для macOS, который предлагает уникальный подход к взаимодействию с пользователем. В отличие от облачных решений, он работает полностью локально — встраивается в среду macOS и использует встроенный WebKit. Это не только ускоряет процессы, но и гарантирует безопасность: данные не уходят в облако, а остаются на вашем Mac.

Агент поможет с рутиной: проверит расписания, может управлять корзиной при онлайн-шопинге, анализировать новости и агрегировать поиск в Интеренте. Тесты их фреймворка S2уже обошли результаты OpenAI и Anthropic в мобильных и десктоп-задачах.
macobserver.com

✔️ PHYBench: ИИ пока отстает от людей в понимании физики.

Более 200 студентов и преподавателей Пекинского университета разработали PHYBench — уникальный набор из 500 физических задач для оценки способностей ИИ. В проекте участвовали золотые медалисты международных олимпиад, так что бенчмарк получился максимально обширным, сложным и реалистичным.

PHYBench использует метод оценки EED Score. Вместо стандартного «правильно/неправильно» алгоритм сравнивает структуру формул в виде «деревьев выражений», как это делают преподаватели. Это позволяет точнее измерить, насколько ответ ИИ близок к идеалу.

Тесты показали: даже топовая Gemini 2.5 pro дала лишь 36,9% верных ответов, в то время как студенты достигли 61,9%. Ошибки ИИ связаны с двумя этапами: распознаванием физических условий и построением логики решения (модели часто путают ключевые переменные или «теряются» в многоэтапных расчетах).
phybench-official.github.io

@ai_machinelearning_big_data

#news #ai #ml