Лол, там у Братишкина на стримах появился "стример-ассистент", на базе нейронки. Смотрится пиздец прикольно. Щас хочу попробовать что-то такое локально реализовать.
Но тут пиздец как много слоёв надо склепать, даже не уверен вывезет-ли система такой пирог.
По сути - нейронке нужны мозги, глаза, уши и рот. Мозги это очевидный LLM, для глаз можно запихнуть или LLM с встроенной поддержкой, или протектор, который будет для неё очками. Для ушей и голоса тоже нужны SpeechToText и TextToSpeech, но думаю оно тоже может комплектом идти. Осталось только этот пирог собрать🤔