Media is too big
VIEW IN TELEGRAM
Для 2.06 разрабатываю управление голосом. Эта функция не требует подключения к интернету. Нужен лишь микрофон. Она покроет большую часть команд управления Ирвингом, синхронизирована с его диалогами и способностями, а также по сути добавляет возможность огромного количества новых команд для управления компаньоном. На первом этапе покрою большую часть необходимых вещей: Следовать, Ждать, Отдыхать, Открыть инвентарь, Открыть рюкзак, Отойти, Успокоится и.т.д.
🏆23🤯10❤3
Забавный нюанс.
Дуров последнее время активно форсит TON и то и дело говорит о какой-то децентрализации. Но при этом вокруг TON строится вполне централизованная экосистема входа через Telegram.
По факту, если один мессенджер становится главным входом в блокчейн, это уже не совсем чистая децентрализация, а централизованная экосистема под децентрализованным соусом 😁
Дуров последнее время активно форсит TON и то и дело говорит о какой-то децентрализации. Но при этом вокруг TON строится вполне централизованная экосистема входа через Telegram.
По факту, если один мессенджер становится главным входом в блокчейн, это уже не совсем чистая децентрализация, а централизованная экосистема под децентрализованным соусом 😁
😁12🫡4
Ну вот наконец наступил май, месяц новых открытий и стремительного развития IT! 🍾 🎉🥳
С начала мая в России всё больше наблюдаются подозрительные признаки частичного ухудшения доступа к GitHub. Open-source? Что такое open-source? Зачем он вообще нужен этот open-source? 🧐
Я считаю, было бы логичным продолжением развития, постепенно заменить C++ на отечественный аналог.
C++ изобрёл какой-то Бьёрн Страуструп, из недружественной Дании. Сначала они дали нам классы, потом шаблоны, потом ошибки, которые ищешь три дня, а исправляешь одной строчкой.
Совпадение? Не думаю.
С начала мая в России всё больше наблюдаются подозрительные признаки частичного ухудшения доступа к GitHub. Open-source? Что такое open-source? Зачем он вообще нужен этот open-source? 🧐
Я считаю, было бы логичным продолжением развития, постепенно заменить C++ на отечественный аналог.
C++ изобрёл какой-то Бьёрн Страуструп, из недружественной Дании. Сначала они дали нам классы, потом шаблоны, потом ошибки, которые ищешь три дня, а исправляешь одной строчкой.
Совпадение? Не думаю.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤18😱3
Media is too big
VIEW IN TELEGRAM
Не, ну это конечно значительно удобнее любого меню и кнопок! 🎉🥳😎🫡
👏22🎉4❤🔥1😁1
Дальше думаю реализовать передачу предметов нужного количества, в инвентарь деду или в рюкзак, с помощью микрофона. А также забирать нужное из инвентаря или рюкзака деда голосом. Всё это без интернета.
🔥20🎉3
Media is too big
VIEW IN TELEGRAM
Ну это оказалось чуть сложнее. Но мои исследования и разработки по TesNative и OneLoot сильно пригодились, TesNative SDK просто жестко вырулил всю механику. Самое крутое, что система IrvingVoice написана так, что каждая игра пишет в лог подсказки для самосовершенствования системы. Фактически каждая сессия делает мод лучше. На тестах использовал модель в 3 раза тяжелее, поэтому задержка чуть больше.
🏆16
По факту это первый шаг по внедрению своего ИИ в Ирвинга. Данный слой управления голосом будет работать оффлайн, без токенов, без ИИ и позволит быстро управлять компаньоном и давать ему большую часть команд. По факту позволит ЗНАЧИТЕЛЬНО расширить управление. Как показал опыт, в меню Скайрима уместить всё нереально. И это очень неудобно, когда у тебя 10000 меню и кнопок. Ну и данное управление намного быстрее чем с ИИ и что самое главное ТОЧНЕЕ. Моя система обучается на полученных данных с логов и улучшает сама себя. Что повышает точность. Ну и конечно эта наработка открывает путь к внедрению полноценного ИИ архитектуры в деда. Она будет двухслойная. 1ый слой, быстрые команды голосом оффлайн, он останется и будет развиваться. 2ой это полноценный ИИ.
🔥17❤6👏4❤🔥1
За ИИ Ирвинга будет отвечать новая система IrvingMind с уникальной архитектурой.
Это абсолютно отличная архитектура, от всего, что есть на рынке моддинга Скайрима.
Заточенная чисто под Ирвинга и под его глубокое мышление. Ближайшие дни буду проводить ряд исследований в этом направлении, но уже логически составил очень мощную архитектуру, которая позволит в ряде моментов работать оффлайн, а в остальном использовать более дешевые и быстрые ИИ модели без сильной потери качества, что в свою очередь даст повышение скорости генерации ответов.
Это не задача одного дня и возможно и недели, но уже есть понимание в каком направлении двигаться.
Это абсолютно отличная архитектура, от всего, что есть на рынке моддинга Скайрима.
Заточенная чисто под Ирвинга и под его глубокое мышление. Ближайшие дни буду проводить ряд исследований в этом направлении, но уже логически составил очень мощную архитектуру, которая позволит в ряде моментов работать оффлайн, а в остальном использовать более дешевые и быстрые ИИ модели без сильной потери качества, что в свою очередь даст повышение скорости генерации ответов.
Это не задача одного дня и возможно и недели, но уже есть понимание в каком направлении двигаться.
🔥23🏆8
Разобрал всю ветку, которую придётся реализовать. Это конечно дичь по сложности. Работы много, но в целом реализуемо. Плюс с большей частью из этой ветки мне уже пришлось столкнуться. Часть придётся изучить. Но всё сведется к значительному упрощению для пользователя. Игрок качает деда, качает программу. Бот выдаёт API, ты просто запускаешь программу, вписываешь API и идёшь играть. Не нужно думать про LLM, TTS и прочее. Плюс обычные голосовые команды и управление ими вообще не потребуют API и никак не будут задействовать его. Но т.к я решил идти по другому пути, придётся перед этим много всего реализовать. Чтобы создать полноценный "Мозг" или "Сознание" Ирвинга. И это вообще другой уровень ИИ компаньонов. Т.к большинство разработчиков ИИ компаньонов обходят много моментов, практически полностью полагаясь на LLM.
❤🔥17👏4🔥2❤1
Провёл безумное количество экспериментов. Задача была: Найти самый быстрый способ генерации LIP файлов в рантайме. Я уже брался за это не так давно, но тогда у меня было недостаточно данных.
Документации такой в принципе нет в интернете. Поэтому пришлось снова провести глубокие исследования и много чего сопоставить.
Удалось выяснить очень много. Начиная от алгоритмов, до того, какие академические исследования использовала команда, которая создавала этот продукт.
Это не раскрываемая коммерческая тайна я думаю, поэтому публиковать её тоже не буду.
Но если говорить проще, было кучу ученых, которые разрабатывали это десятки лет, потом появились ребята, небольшая команда 10-20 человек, из этих исследований сделали продукт, потом этот продукт купила Bethesda и заточила под себя. И использует по сей день.
Но справедливости ради, мне удалось к этой штуке подключить адаптацию под русский язык и увеличить скорость генерации в 43 раза быстрее чем ванильный инструмент. И это ещё на Питоне. На C++ можно получить ускорение в 80 и больше раз.
Чтобы вы понимали, многие разработчики, что делают ИИ в Скайриме до сих пор используют инструменты Bethesdы для генерации LIP файлов, которые очень медленные. Да, возможно это кажется быстро, но на большом потоке данных, это быстро превращается в секунды времени.
И это то место, которое можно ускорить первым.
Документации такой в принципе нет в интернете. Поэтому пришлось снова провести глубокие исследования и много чего сопоставить.
Удалось выяснить очень много. Начиная от алгоритмов, до того, какие академические исследования использовала команда, которая создавала этот продукт.
Это не раскрываемая коммерческая тайна я думаю, поэтому публиковать её тоже не буду.
Но если говорить проще, было кучу ученых, которые разрабатывали это десятки лет, потом появились ребята, небольшая команда 10-20 человек, из этих исследований сделали продукт, потом этот продукт купила Bethesda и заточила под себя. И использует по сей день.
Но справедливости ради, мне удалось к этой штуке подключить адаптацию под русский язык и увеличить скорость генерации в 43 раза быстрее чем ванильный инструмент. И это ещё на Питоне. На C++ можно получить ускорение в 80 и больше раз.
Чтобы вы понимали, многие разработчики, что делают ИИ в Скайриме до сих пор используют инструменты Bethesdы для генерации LIP файлов, которые очень медленные. Да, возможно это кажется быстро, но на большом потоке данных, это быстро превращается в секунды времени.
И это то место, которое можно ускорить первым.
🔥26🏆6❤🔥3
Ну что сказать. Под конец реально закончились идеи у Крипке. Хоумлендера и Бутчера тупо слили. На весь Белый Дом - 2 калеки охранника. Финальная битва ничем не отличается от предыдущих. По сути в одну серию пытались впихнуть 2 финала, в итоге вышел какой-то спидран. Арку Бутчера закрыли абы как. Очень всё скомкано вышло по итогу. Вообще когда у тебя кучу сюжетных линий это реально мешает. Крипке наплодил слишком много сюжетных линий разных персонажей, а потом их пришлось в ускоренном темпе сливать и на основных не осталось места. Я думаю было бы логично сделать чисто всю 8ую серию под Хоумлендера и на битву с ним, чтобы это было реальное противостояние, а не борьба с 2умя калеками и обычная боёвка. А 9ую серию дополнительно: Бутчер становится новой угрозой. А в итоге Хоумлендеру и Бутчеру пришлось делить финал и получилась каша. Хороший кстати урок для сценария и любого проекта. И тут идеально подходит: Не плоди сущностей без необходимости. И это хорошо, реально есть чему поучиться. В остальном Крипке красавчик. Собрал шикарный каст. Собрал актёров из Сверхов (Дженсен Эклз вообще легендарно отыграл Солдатика!). Ну а Энтони Старр это легенда! Как он сыграл психа Хоумлендера! Это невероятно! Если бы не Крипке, возможно этот актёр никогда не раскрыл бы себя так шедеврально. А Бутчер? Карл Урбан показал просто, что-то невероятное!!! Уровень Брутальности лвл 99999!! Такое перевоплощение поражает! Если взять в целом, очень крутой, веселый, дерзкий сериал, очень реалистичный взгляд на суперов - чтобы было, если бы они существовали в реальности имея суперсилы. И я думаю это видение на много реалистичнее, чем сюжеты Marvel. Круто! Как бы не было, я смотрю на всю картину в целом. Моё уважение Крипке за такую огромную, проделанную работу 🏆🍾 🎉🫡
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤20💋3
Нашёл статью на зарубежном сайте.
Дата: 23 марта. (перевод от гугл)
Т.е Крипке уже всех предупредил заранее ещё в марте, что бюджета нет, поэтому и эпика нет 😁
Ладно, понятно... но когда буквально в одной серии показывают как Хоумлендер за секунду слетал в космос и прилетел, а потом через какое-то время не может несколько минут улететь от суперов.
Это уже на бюджет не спишешь 😁
Печально, когда главного злодея на протяжении всего сериала показывают супер сильным, дают ему бусты, а потом он внезапно забывает про все свои силы, становится медленным, слабым и беспомощным 🤷🏼♂️
Дата: 23 марта. (перевод от гугл)
Т.е Крипке уже всех предупредил заранее ещё в марте, что бюджета нет, поэтому и эпика нет 😁
Ладно, понятно... но когда буквально в одной серии показывают как Хоумлендер за секунду слетал в космос и прилетел, а потом через какое-то время не может несколько минут улететь от суперов.
Это уже на бюджет не спишешь 😁
Печально, когда главного злодея на протяжении всего сериала показывают супер сильным, дают ему бусты, а потом он внезапно забывает про все свои силы, становится медленным, слабым и беспомощным 🤷🏼♂️
❤1😁1
Media is too big
VIEW IN TELEGRAM
Продолжается разработка голосового управления Ирвингом.
На данный момент у деда реализовано 27 функций управления голосом.
И примерно 22 500 вариаций команд передачи и взятия вещей.
Каждая из команд имеет в свою очередь также большое количество вариаций произношения.
На данный момент у деда реализовано 27 функций управления голосом.
И примерно 22 500 вариаций команд передачи и взятия вещей.
Каждая из команд имеет в свою очередь также большое количество вариаций произношения.
🔥20👏8🏆2❤🔥1
Еее. Перевёл на GPU (CUDA). Теперь на Small модели скорость реакции Ирвинга практически моментальная ~75 - 130 мс - Быстрее чем у живого человека 😁😁😁🎉🍾 🎉 Если у вас есть Nvidia карта, можно будет выбрать работу по GPU.
Но всё также работает и на CPU.
Но всё также работает и на CPU.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12
Media is too big
VIEW IN TELEGRAM
Ну вот! Уже намного ближе к тому, как я видел это с самого начала! Моментальная реакция, без интернета и никакого меню 😎🫡
Только не скидывайте это Тодду!
Только не скидывайте это Тодду!
71🔥23😁4🎉4🍾3❤🔥1
К этим 27 командам планируется добавить след. голосовые команды:
1. Обстановка - Говорит есть ли рядом враги или все тихо.
2. Что с рюкзаком? - Говорит заполнен ли рюкзак и сколько там ещё места.
3. Как настроение? - Говорит как относится к игроку в данный момент.
4. Хочешь выпить? - Ирвинг сам видит у вас алкогольные напитки и выбирает что он хочет выпить.
5-6. Отключение/Включение режима Призрака (Отк/Вкл механику DLL)
7-8-9. Дистанция на которой Ирвинг держится (Ближе, средняя, дальше)
10-11. Отключение/Включение автоэкипировки выбранной брони (Отк/Вкл механику DLL)
12-13. Отключение/Включение автоэкипировки выбранной одежды (Отк/Вкл механику DLL)
14. Запомнить боевую экипировку
15. Выдать наряд одежды
Итого будет 42 голосовые команды. В обычное меню такое конечно сложно было бы запихнуть.
Постараюсь в эти выходные уже выложить первую версию голосового управления. Думаю в воскресение.
1. Обстановка - Говорит есть ли рядом враги или все тихо.
2. Что с рюкзаком? - Говорит заполнен ли рюкзак и сколько там ещё места.
3. Как настроение? - Говорит как относится к игроку в данный момент.
4. Хочешь выпить? - Ирвинг сам видит у вас алкогольные напитки и выбирает что он хочет выпить.
5-6. Отключение/Включение режима Призрака (Отк/Вкл механику DLL)
7-8-9. Дистанция на которой Ирвинг держится (Ближе, средняя, дальше)
10-11. Отключение/Включение автоэкипировки выбранной брони (Отк/Вкл механику DLL)
12-13. Отключение/Включение автоэкипировки выбранной одежды (Отк/Вкл механику DLL)
14. Запомнить боевую экипировку
15. Выдать наряд одежды
Итого будет 42 голосовые команды. В обычное меню такое конечно сложно было бы запихнуть.
Постараюсь в эти выходные уже выложить первую версию голосового управления. Думаю в воскресение.
1❤20
Вышло полноценное обновление Деда Ирвинг 2.06.03 + Irving Voice (Голосовое управление компаньоном)
С помощью него, на GPU возможно моментально управлять компаньоном с помощь одного микрофона, без интернета!
Также поддерживает управление на CPU.
В версии 1.0 уже огромное множество команд, которые заменяют большую часть команд меню! И также добавляют новые!
Можно спрашивать как обстановка, Ирвинг видит врагов вокруг и говорит об этом, открывает рюкзак, инвентарь,
следует за вами, идёт отдыхать, меняет дистанцию следования, идёт за вами, отходит если нужно, меняет стиль боя,
атакует выбранную цель, успокаивается, говорит о заполненности рюкзака, о своем настроении, передает нужные вещи,
находит у вас алкоголь и выпивает, берет и отдаёт маунта и многое другое!
Также была улучшена сама версия 2.06 Ирвинга, добавлено множество новых диалогов для голосового управления. Убраны многие опасные штуки, которые раньше давали вылеты, а также проведена оптимизация и исправление багов.
СКАЧАТЬ
С помощью него, на GPU возможно моментально управлять компаньоном с помощь одного микрофона, без интернета!
Также поддерживает управление на CPU.
В версии 1.0 уже огромное множество команд, которые заменяют большую часть команд меню! И также добавляют новые!
Можно спрашивать как обстановка, Ирвинг видит врагов вокруг и говорит об этом, открывает рюкзак, инвентарь,
следует за вами, идёт отдыхать, меняет дистанцию следования, идёт за вами, отходит если нужно, меняет стиль боя,
атакует выбранную цель, успокаивается, говорит о заполненности рюкзака, о своем настроении, передает нужные вещи,
находит у вас алкоголь и выпивает, берет и отдаёт маунта и многое другое!
Также была улучшена сама версия 2.06 Ирвинга, добавлено множество новых диалогов для голосового управления. Убраны многие опасные штуки, которые раньше давали вылеты, а также проведена оптимизация и исправление багов.
СКАЧАТЬ
3🔥28🏆6❤🔥5
Вышло обновление IrvingVoice 1.1 - Теперь доступен новый интерфейс и режим "Всегда слушать".
Как это работает?
Вы нажимаете выбранную кнопку в игре при старте и компаньон слушает вас. Вам не нужно нажимать кнопку для команды, вы просто бегаете и говорите и компаньон тут же распознает команды от голоса, а не нажатия кнопки. Что особенно удобно для VR или если вы вообще не хотите запариваться с нажатием кнопок. Чтобы он перестал вас слушать, повторно нажимаете заданную вами кнопку.
СКАЧАТЬ ОБНОВЛЕНИЕ
Как это работает?
Вы нажимаете выбранную кнопку в игре при старте и компаньон слушает вас. Вам не нужно нажимать кнопку для команды, вы просто бегаете и говорите и компаньон тут же распознает команды от голоса, а не нажатия кнопки. Что особенно удобно для VR или если вы вообще не хотите запариваться с нажатием кнопок. Чтобы он перестал вас слушать, повторно нажимаете заданную вами кнопку.
СКАЧАТЬ ОБНОВЛЕНИЕ
12🔥14❤6
В ходе огромных экспериментов и мозговых штурмов удалось реализовать мгновенную реакцию Ирвинга на голосовые команды даже на CPU на слабых ПК! Ускорения распознания голоса на слабых ПК, удалось достичь более чем в 40 раз! Спасибо всем за тестирование 🫶🏻 Эта легендарная штука выйдет уже скоро в обнове IrvingVoice 1.3!
Заодно упрощу интерфейс программы. Буквально за сутки система была прокачана вообще до нового уровня! 😎🍾 🎉
Заодно упрощу интерфейс программы. Буквально за сутки система была прокачана вообще до нового уровня! 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥17🏆6
Вышло обновление Irving Voice 1.3!
- Теперь высокая скорость реакции доступна для всех ПК и даже на слабом железе!
- Распознавание команд работает максимально быстро и на CPU! Не требует мощной видеокарты!
- Улучшен и максимально упрощён интерфейс настройки голосового управления.
- Значительно улучшена логика распознавания Ирвингом существующих команд!
СКАЧАТЬ УЛУЧШЕНИЕ
- Теперь высокая скорость реакции доступна для всех ПК и даже на слабом железе!
- Распознавание команд работает максимально быстро и на CPU! Не требует мощной видеокарты!
- Улучшен и максимально упрощён интерфейс настройки голосового управления.
- Значительно улучшена логика распознавания Ирвингом существующих команд!
СКАЧАТЬ УЛУЧШЕНИЕ
1🔥12❤🔥3💋3💘1