Недавно провел часовую встречу по работе, записал ее на видео, и решил потестировать Google Gemini 1.5 Pro в плане анализа аудио и видео – скормил ей видео файл на ~50 минут и начал задавать вопросы по встрече

Gemini 1.5 Pro начала выплевывать ответы по предложению, при этом тратя 960 тысяч токенов на запрос 🎶

В итоге, самый дешевый и быстрый способ получить важные инсайды по встрече, это пройтись по аудио-дорожке с помощью Whisper (я использовал этот мак апп, но вообще это Open Source модель) и уже полученный текст, приносим в Sonnet 3.5 и задаем по встрече вопросы с температурой 0

В итоге, на часовую встречу тратится примерно 11 тысяч токенов. Если вам кажется, что модель придумала что-то, можно спросить не галлюцинация ли это следующим сообщением и она поправит себя

Я знаю, что есть готовые сервисы анализа встреч, но зачем платить за еще одну подписку, если всех дел минут на 10

P. S. Промпт агента анализатора текста где-то уже есть в канале, но быстрее тут сделать с нуля, можно даже под конкретную тему встречи