Нейросети для транскрибирования видео и подкастов

🟣 Riverside – точная транскрибация на более чем 100 языках.

🟣 Podsift – отправляет аннотации, созданные ии, к любимым подкастам прямо в почтовый ящик.

🟣 Transkribieren – быстрая и точная транскрипция видео, которая позволяет пользователям легко и быстро расшифровывать аудиофайлы.

🟣 Deciphr – помогает экономить время и генерировать подробные заметки

НейроProfit | Обучение Midjourney

#транскрипция #video2text #транскрибация #транскрибирование

Новая функция HeyGen - бесплатно озвучит любое фото и подстроит движение губ и мимику

HeyGen выкатили новую функцию Expressive photo avatar которая озвучит любое фото вашим текстом.

Потестить функцию можно бесплатно. Достаточно загрузить картинку и любую звуковую дорожку, в том числе песню — результат выдает быстрее заявленного

Работает просто:

🌸 загружаем фото человека или генерированное изображение, затем загружаем аудио до 30 секунд, либо можно там же надиктовать

🌸 ждем в 3 раза быстрее, чем заявлено в процентах, и получаем видео с липсинком - подстроенными под озвучку губами и мимикой.

🌸 Лица знаменитостей не пропускает

Качество достойное, кому ни показывала, все сказали, оч на меня похоже 😅 Вот, кстати, отличный пример того, как нейросети могут забрать рутинный процесс и полностью оцифровать человека.

В этом видео даже голос свой я сгенерировала с помощью Elevenlabs. Вернее, клонировала свой голос с помощью минутного образца. При том, это даже не профессиональное клонирование голоса, а быстрое за 10 секунд.

Вот так просто поклацав пальцами по клавиатуре я сделала такой видеоролик со своим голосом и лицом, физически почти не участвуя в процессе. А можно сделать какого-нибудь мультяшного персонажа и сгенерировать голос по своему вкусу, в том числе и смешать с другим в том же Elevenlabs.

НейроProfit

#нейросети #heygen #expressivephotoavatar

Для сравнения сделала такой же точно ролик в Hedra. Вы за кого, 🔥 - HeyGen 👍🏻 - Hedra. 🔡🔡🔡🔡🔡🔡 На самом деле этот пост больше для фрилансеров и тех, кому нужно быстро и просто подзаработать, естественно, без особых усилий. Хотя контентщики и траферы тоже могут получить инсайты 😉

Пока опция оживления фото в HeyGen бесплатна, можно и подзаработать )) Да и Hedra тоже хороший и бесплатный вариант. На 🛒 Авито пока не так много объявлений, которые предлагают поздравить от лица какого-то персонажа или сделать видео-аватар с голосом, в большинстве своем это 😊что-то типа этого - за 1000 рублей невнятный липсинк, есть все шансы выделиться 😉

Зато на 🛒 Авито много другого, что уже полюбилось людям, например услуга 😊 песни на заказ от 1200 рублей - ну мы-то с вами знаем, что это дело пары минут - #песни )) За 😊 простенькие дипфейки и картинки сомнительного качества - 600 рублей за штуку, на минуточку ☝🏻 - #изображение

😊 Перенос лица (подозреваю, он же #дипфейк) уже 1000 рублей за штуку. Все это мы с вами уже умеем 👍🏻 Про #логотип, #нейминг #брендборд, #брендбук и #дизайн (это уже услуги подороже), вообще молчу 🙆🏻‍♀️

НейроProfit

#нейросети #сравнение #heygen #hedra #expressivephotoavatar

OpenAI выпустила GPT-4o mini. Почему это классная новость как для обычных пользователей, так и для разработчиков?

🎨OpenAI выпустила GPT-4o mini - более дешевую и быструю модель, которая заменит GPT-3.5 Turbo и еще является мини версией самой мощной модели ChatGPT -4 omni.

Кто не знал, буква “о” в названи модели GPT 4o сокращено от omni. А сама модель GPT-4o лучшая, потому что обладает улучшенными возможностями аудио, видео и текста, а также способностью обрабатывать 50 различных языков с улучшенной скоростью и качеством. И вот ее мини-модель выкатывают бесплатно для всех.

Что хорошего для бесплатных пользователей 🔡

🔴 GPT-4o mini быстрая, но более экономичная, она так же, как и GPT-3.5 Turbo будет доступна бесплатно для всех. Но при этом имеет контекстное окно в 128 000 токенов, как и самая мощная модель GPT-4o.

🔴 OpenAI планирует в дальнейшем интегрировать в нее функции обработки изображений, видео и аудио - таким образом они расширяют присутствие ChatGPT в жизни людей, ну и стремление к лидерству в мультимодальных моделях никто не отменял.

Что хорошего для разработчиков 🔡

🔴 GPT-4o mini заменит GPT-3.5 Turbo в API OpenAI, при этом GPT-4o mini стоит на 60% дешевле GPT-3.5 Turbo - самой доступной модели OpenAI, 15 центов за миллион входных токенов и 60 центов за миллион выходных токенов

🔴 Компания утверждает, что GPT-4o mini превосходит ведущие в отрасли малые модели ИИ в задачах рассуждения, связанных с текстом и зрением. 

🔴 GPT-4o mini поддерживает работу с текстом и Vision, а в будущем будет поддерживать видео и аудио, что очень хорошо применять в клиентской поддержке и анализе данных

🔴 Компания утверждает, что ее новейшая модель ИИ набрала 82% на MMLU - эталонном тесте для измерения рассуждений, по сравнению с 79% для Gemini 1.5 Flash и 75% для Claude 3 Haiku, согласно данным Artificial Analysis. На MGSM, который измеряет математические рассуждения, GPT-4o mini набрала 87%, по сравнению с 78% для Flash и 72% для Haiku - на картинках это хорошо показано.

🔴 OpenAI не раскрывает точный размер GPT-4o mini, но говорит, что он примерно на том же уровне, что и другие небольшие модели ИИ, такие как Llama 3 8b, Claude Haiku и Gemini 1.5 Flash. Однако компания утверждает, что GPT-4o mini быстрее, экономичнее и умнее, чем ведущие в отрасли небольшие модели, на основе предварительных испытаний на арене чат-ботов LMSYS.org.

Подробнее про GPT-4o mini на сайте OpenAI

Что ж, бесплатные модели становятся все продвинутее в надежде проникнуть в сердца людей и их повседневные задачи. Ребят, у кого-нибудь уже появилась? Будете скучать по GPT 3.5? 🥲

НейроProfit

#нейросеть #chatgpt #gpt4omini

Сервис для перевода видео в текст прямо в браузере

Решила потестить сервис, который делает транскрипцию видео бесплатно, многим актуально, мне тоже.

Для аудио есть MacWhisper для пользователей 🍏Apple (подробнее про MacWhisper) и Whisper JAX -в браузере и для всех (подробнее про Whisper JAX). А вот для видео толкового бесплатно мало, постоянно в видеоредакторе отделять звук, чтоб его обработать - много механики. Вот мое внимание привлек сервис Whisper word level timestamps - название интригующее, обзоры возможностей тоже. Сам сервис представлен на HuggingFace

Для теста я загрузила отрывок из к/ф “Криминальное чтиво”, там есть сложная лексика, узкоспециализированная, так сказать 😅 Мне понравилось как сервис исковеркал имя Иезекииль, ну оно и понятно, оно сложное, но вот другие слова и даже фразы были вполне в пределах понимания ИИ.

Получилось, что получилось, возможно на более простых видео, тем более на английском, справится безупречно, кто знает. Но нам-то нужно качественно и наверняка. Для себя выделила плюсы и минусы.

🔤Что понравилось:

🔴 бесплатно
🔴 много языков представлена, включая русский
🔴 ролик продолжительностью больше минуты обработал (но надо запастись прям терпением)

🔡 Что не понравилось:

🟡 нет настроек точности
🟡 совершает ошибки
🟡 очень долго мое видео загружалось, поэтому долгие видео с лекций и совещаний наверное все же нет
🟡 скачать можно только в формате json, что хорошо, когда надо загрузить файл для аналитики в чат-бот, но не для других целей (см скрин)

В итоге для своих нужд я нашла другой сервис в разы лучше, если вам актуально наставьте огоньков, по традиции 🔥

НейроProfit

#транскрипт #транскрипция #videototext #video2text #видеотранскрибация #freetool