Media is too big
VIEW IN TELEGRAM
Не, ну это конечно значительно удобнее любого меню и кнопок! 🎉🥳😎🫡
👏22🎉4❤🔥1😁1
Дальше думаю реализовать передачу предметов нужного количества, в инвентарь деду или в рюкзак, с помощью микрофона. А также забирать нужное из инвентаря или рюкзака деда голосом. Всё это без интернета.
🔥20🎉3
Media is too big
VIEW IN TELEGRAM
Ну это оказалось чуть сложнее. Но мои исследования и разработки по TesNative и OneLoot сильно пригодились, TesNative SDK просто жестко вырулил всю механику. Самое крутое, что система IrvingVoice написана так, что каждая игра пишет в лог подсказки для самосовершенствования системы. Фактически каждая сессия делает мод лучше. На тестах использовал модель в 3 раза тяжелее, поэтому задержка чуть больше.
🏆16
По факту это первый шаг по внедрению своего ИИ в Ирвинга. Данный слой управления голосом будет работать оффлайн, без токенов, без ИИ и позволит быстро управлять компаньоном и давать ему большую часть команд. По факту позволит ЗНАЧИТЕЛЬНО расширить управление. Как показал опыт, в меню Скайрима уместить всё нереально. И это очень неудобно, когда у тебя 10000 меню и кнопок. Ну и данное управление намного быстрее чем с ИИ и что самое главное ТОЧНЕЕ. Моя система обучается на полученных данных с логов и улучшает сама себя. Что повышает точность. Ну и конечно эта наработка открывает путь к внедрению полноценного ИИ архитектуры в деда. Она будет двухслойная. 1ый слой, быстрые команды голосом оффлайн, он останется и будет развиваться. 2ой это полноценный ИИ.
🔥17❤6👏4❤🔥1
За ИИ Ирвинга будет отвечать новая система IrvingMind с уникальной архитектурой.
Это абсолютно отличная архитектура, от всего, что есть на рынке моддинга Скайрима.
Заточенная чисто под Ирвинга и под его глубокое мышление. Ближайшие дни буду проводить ряд исследований в этом направлении, но уже логически составил очень мощную архитектуру, которая позволит в ряде моментов работать оффлайн, а в остальном использовать более дешевые и быстрые ИИ модели без сильной потери качества, что в свою очередь даст повышение скорости генерации ответов.
Это не задача одного дня и возможно и недели, но уже есть понимание в каком направлении двигаться.
Это абсолютно отличная архитектура, от всего, что есть на рынке моддинга Скайрима.
Заточенная чисто под Ирвинга и под его глубокое мышление. Ближайшие дни буду проводить ряд исследований в этом направлении, но уже логически составил очень мощную архитектуру, которая позволит в ряде моментов работать оффлайн, а в остальном использовать более дешевые и быстрые ИИ модели без сильной потери качества, что в свою очередь даст повышение скорости генерации ответов.
Это не задача одного дня и возможно и недели, но уже есть понимание в каком направлении двигаться.
🔥23🏆8
Разобрал всю ветку, которую придётся реализовать. Это конечно дичь по сложности. Работы много, но в целом реализуемо. Плюс с большей частью из этой ветки мне уже пришлось столкнуться. Часть придётся изучить. Но всё сведется к значительному упрощению для пользователя. Игрок качает деда, качает программу. Бот выдаёт API, ты просто запускаешь программу, вписываешь API и идёшь играть. Не нужно думать про LLM, TTS и прочее. Плюс обычные голосовые команды и управление ими вообще не потребуют API и никак не будут задействовать его. Но т.к я решил идти по другому пути, придётся перед этим много всего реализовать. Чтобы создать полноценный "Мозг" или "Сознание" Ирвинга. И это вообще другой уровень ИИ компаньонов. Т.к большинство разработчиков ИИ компаньонов обходят много моментов, практически полностью полагаясь на LLM.
❤🔥17👏4🔥2❤1
Провёл безумное количество экспериментов. Задача была: Найти самый быстрый способ генерации LIP файлов в рантайме. Я уже брался за это не так давно, но тогда у меня было недостаточно данных.
Документации такой в принципе нет в интернете. Поэтому пришлось снова провести глубокие исследования и много чего сопоставить.
Удалось выяснить очень много. Начиная от алгоритмов, до того, какие академические исследования использовала команда, которая создавала этот продукт.
Это не раскрываемая коммерческая тайна я думаю, поэтому публиковать её тоже не буду.
Но если говорить проще, было кучу ученых, которые разрабатывали это десятки лет, потом появились ребята, небольшая команда 10-20 человек, из этих исследований сделали продукт, потом этот продукт купила Bethesda и заточила под себя. И использует по сей день.
Но справедливости ради, мне удалось к этой штуке подключить адаптацию под русский язык и увеличить скорость генерации в 43 раза быстрее чем ванильный инструмент. И это ещё на Питоне. На C++ можно получить ускорение в 80 и больше раз.
Чтобы вы понимали, многие разработчики, что делают ИИ в Скайриме до сих пор используют инструменты Bethesdы для генерации LIP файлов, которые очень медленные. Да, возможно это кажется быстро, но на большом потоке данных, это быстро превращается в секунды времени.
И это то место, которое можно ускорить первым.
Документации такой в принципе нет в интернете. Поэтому пришлось снова провести глубокие исследования и много чего сопоставить.
Удалось выяснить очень много. Начиная от алгоритмов, до того, какие академические исследования использовала команда, которая создавала этот продукт.
Это не раскрываемая коммерческая тайна я думаю, поэтому публиковать её тоже не буду.
Но если говорить проще, было кучу ученых, которые разрабатывали это десятки лет, потом появились ребята, небольшая команда 10-20 человек, из этих исследований сделали продукт, потом этот продукт купила Bethesda и заточила под себя. И использует по сей день.
Но справедливости ради, мне удалось к этой штуке подключить адаптацию под русский язык и увеличить скорость генерации в 43 раза быстрее чем ванильный инструмент. И это ещё на Питоне. На C++ можно получить ускорение в 80 и больше раз.
Чтобы вы понимали, многие разработчики, что делают ИИ в Скайриме до сих пор используют инструменты Bethesdы для генерации LIP файлов, которые очень медленные. Да, возможно это кажется быстро, но на большом потоке данных, это быстро превращается в секунды времени.
И это то место, которое можно ускорить первым.
🔥26🏆6❤🔥3
Ну что сказать. Под конец реально закончились идеи у Крипке. Хоумлендера и Бутчера тупо слили. На весь Белый Дом - 2 калеки охранника. Финальная битва ничем не отличается от предыдущих. По сути в одну серию пытались впихнуть 2 финала, в итоге вышел какой-то спидран. Арку Бутчера закрыли абы как. Очень всё скомкано вышло по итогу. Вообще когда у тебя кучу сюжетных линий это реально мешает. Крипке наплодил слишком много сюжетных линий разных персонажей, а потом их пришлось в ускоренном темпе сливать и на основных не осталось места. Я думаю было бы логично сделать чисто всю 8ую серию под Хоумлендера и на битву с ним, чтобы это было реальное противостояние, а не борьба с 2умя калеками и обычная боёвка. А 9ую серию дополнительно: Бутчер становится новой угрозой. А в итоге Хоумлендеру и Бутчеру пришлось делить финал и получилась каша. Хороший кстати урок для сценария и любого проекта. И тут идеально подходит: Не плоди сущностей без необходимости. И это хорошо, реально есть чему поучиться. В остальном Крипке красавчик. Собрал шикарный каст. Собрал актёров из Сверхов (Дженсен Эклз вообще легендарно отыграл Солдатика!). Ну а Энтони Старр это легенда! Как он сыграл психа Хоумлендера! Это невероятно! Если бы не Крипке, возможно этот актёр никогда не раскрыл бы себя так шедеврально. А Бутчер? Карл Урбан показал просто, что-то невероятное!!! Уровень Брутальности лвл 99999!! Такое перевоплощение поражает! Если взять в целом, очень крутой, веселый, дерзкий сериал, очень реалистичный взгляд на суперов - чтобы было, если бы они существовали в реальности имея суперсилы. И я думаю это видение на много реалистичнее, чем сюжеты Marvel. Круто! Как бы не было, я смотрю на всю картину в целом. Моё уважение Крипке за такую огромную, проделанную работу 🏆🍾 🎉🫡
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤20💋3
Нашёл статью на зарубежном сайте.
Дата: 23 марта. (перевод от гугл)
Т.е Крипке уже всех предупредил заранее ещё в марте, что бюджета нет, поэтому и эпика нет 😁
Ладно, понятно... но когда буквально в одной серии показывают как Хоумлендер за секунду слетал в космос и прилетел, а потом через какое-то время не может несколько минут улететь от суперов.
Это уже на бюджет не спишешь 😁
Печально, когда главного злодея на протяжении всего сериала показывают супер сильным, дают ему бусты, а потом он внезапно забывает про все свои силы, становится медленным, слабым и беспомощным 🤷🏼♂️
Дата: 23 марта. (перевод от гугл)
Т.е Крипке уже всех предупредил заранее ещё в марте, что бюджета нет, поэтому и эпика нет 😁
Ладно, понятно... но когда буквально в одной серии показывают как Хоумлендер за секунду слетал в космос и прилетел, а потом через какое-то время не может несколько минут улететь от суперов.
Это уже на бюджет не спишешь 😁
Печально, когда главного злодея на протяжении всего сериала показывают супер сильным, дают ему бусты, а потом он внезапно забывает про все свои силы, становится медленным, слабым и беспомощным 🤷🏼♂️
😁1
Media is too big
VIEW IN TELEGRAM
Продолжается разработка голосового управления Ирвингом.
На данный момент у деда реализовано 27 функций управления голосом.
И примерно 22 500 вариаций команд передачи и взятия вещей.
Каждая из команд имеет в свою очередь также большое количество вариаций произношения.
На данный момент у деда реализовано 27 функций управления голосом.
И примерно 22 500 вариаций команд передачи и взятия вещей.
Каждая из команд имеет в свою очередь также большое количество вариаций произношения.
🔥20👏8🏆2❤🔥1
Еее. Перевёл на GPU (CUDA). Теперь на Small модели скорость реакции Ирвинга практически моментальная ~75 - 130 мс - Быстрее чем у живого человека 😁😁😁🎉🍾 🎉 Если у вас есть Nvidia карта, можно будет выбрать работу по GPU.
Но всё также работает и на CPU.
Но всё также работает и на CPU.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12
Media is too big
VIEW IN TELEGRAM
Ну вот! Уже намного ближе к тому, как я видел это с самого начала! Моментальная реакция, без интернета и никакого меню 😎🫡
Только не скидывайте это Тодду!
Только не скидывайте это Тодду!
71🔥23😁4🎉4🍾3❤🔥1
К этим 27 командам планируется добавить след. голосовые команды:
1. Обстановка - Говорит есть ли рядом враги или все тихо.
2. Что с рюкзаком? - Говорит заполнен ли рюкзак и сколько там ещё места.
3. Как настроение? - Говорит как относится к игроку в данный момент.
4. Хочешь выпить? - Ирвинг сам видит у вас алкогольные напитки и выбирает что он хочет выпить.
5-6. Отключение/Включение режима Призрака (Отк/Вкл механику DLL)
7-8-9. Дистанция на которой Ирвинг держится (Ближе, средняя, дальше)
10-11. Отключение/Включение автоэкипировки выбранной брони (Отк/Вкл механику DLL)
12-13. Отключение/Включение автоэкипировки выбранной одежды (Отк/Вкл механику DLL)
14. Запомнить боевую экипировку
15. Выдать наряд одежды
Итого будет 42 голосовые команды. В обычное меню такое конечно сложно было бы запихнуть.
Постараюсь в эти выходные уже выложить первую версию голосового управления. Думаю в воскресение.
1. Обстановка - Говорит есть ли рядом враги или все тихо.
2. Что с рюкзаком? - Говорит заполнен ли рюкзак и сколько там ещё места.
3. Как настроение? - Говорит как относится к игроку в данный момент.
4. Хочешь выпить? - Ирвинг сам видит у вас алкогольные напитки и выбирает что он хочет выпить.
5-6. Отключение/Включение режима Призрака (Отк/Вкл механику DLL)
7-8-9. Дистанция на которой Ирвинг держится (Ближе, средняя, дальше)
10-11. Отключение/Включение автоэкипировки выбранной брони (Отк/Вкл механику DLL)
12-13. Отключение/Включение автоэкипировки выбранной одежды (Отк/Вкл механику DLL)
14. Запомнить боевую экипировку
15. Выдать наряд одежды
Итого будет 42 голосовые команды. В обычное меню такое конечно сложно было бы запихнуть.
Постараюсь в эти выходные уже выложить первую версию голосового управления. Думаю в воскресение.
1❤20
Вышло полноценное обновление Деда Ирвинг 2.06.03 + Irving Voice (Голосовое управление компаньоном)
С помощью него, на GPU возможно моментально управлять компаньоном с помощь одного микрофона, без интернета!
Также поддерживает управление на CPU.
В версии 1.0 уже огромное множество команд, которые заменяют большую часть команд меню! И также добавляют новые!
Можно спрашивать как обстановка, Ирвинг видит врагов вокруг и говорит об этом, открывает рюкзак, инвентарь,
следует за вами, идёт отдыхать, меняет дистанцию следования, идёт за вами, отходит если нужно, меняет стиль боя,
атакует выбранную цель, успокаивается, говорит о заполненности рюкзака, о своем настроении, передает нужные вещи,
находит у вас алкоголь и выпивает, берет и отдаёт маунта и многое другое!
Также была улучшена сама версия 2.06 Ирвинга, добавлено множество новых диалогов для голосового управления. Убраны многие опасные штуки, которые раньше давали вылеты, а также проведена оптимизация и исправление багов.
СКАЧАТЬ
С помощью него, на GPU возможно моментально управлять компаньоном с помощь одного микрофона, без интернета!
Также поддерживает управление на CPU.
В версии 1.0 уже огромное множество команд, которые заменяют большую часть команд меню! И также добавляют новые!
Можно спрашивать как обстановка, Ирвинг видит врагов вокруг и говорит об этом, открывает рюкзак, инвентарь,
следует за вами, идёт отдыхать, меняет дистанцию следования, идёт за вами, отходит если нужно, меняет стиль боя,
атакует выбранную цель, успокаивается, говорит о заполненности рюкзака, о своем настроении, передает нужные вещи,
находит у вас алкоголь и выпивает, берет и отдаёт маунта и многое другое!
Также была улучшена сама версия 2.06 Ирвинга, добавлено множество новых диалогов для голосового управления. Убраны многие опасные штуки, которые раньше давали вылеты, а также проведена оптимизация и исправление багов.
СКАЧАТЬ
3🔥28🏆6❤🔥5
Вышло обновление IrvingVoice 1.1 - Теперь доступен новый интерфейс и режим "Всегда слушать".
Как это работает?
Вы нажимаете выбранную кнопку в игре при старте и компаньон слушает вас. Вам не нужно нажимать кнопку для команды, вы просто бегаете и говорите и компаньон тут же распознает команды от голоса, а не нажатия кнопки. Что особенно удобно для VR или если вы вообще не хотите запариваться с нажатием кнопок. Чтобы он перестал вас слушать, повторно нажимаете заданную вами кнопку.
СКАЧАТЬ ОБНОВЛЕНИЕ
Как это работает?
Вы нажимаете выбранную кнопку в игре при старте и компаньон слушает вас. Вам не нужно нажимать кнопку для команды, вы просто бегаете и говорите и компаньон тут же распознает команды от голоса, а не нажатия кнопки. Что особенно удобно для VR или если вы вообще не хотите запариваться с нажатием кнопок. Чтобы он перестал вас слушать, повторно нажимаете заданную вами кнопку.
СКАЧАТЬ ОБНОВЛЕНИЕ
12🔥14❤6
В ходе огромных экспериментов и мозговых штурмов удалось реализовать мгновенную реакцию Ирвинга на голосовые команды даже на CPU на слабых ПК! Ускорения распознания голоса на слабых ПК, удалось достичь более чем в 40 раз! Спасибо всем за тестирование 🫶🏻 Эта легендарная штука выйдет уже скоро в обнове IrvingVoice 1.3!
Заодно упрощу интерфейс программы. Буквально за сутки система была прокачана вообще до нового уровня! 😎🍾 🎉
Заодно упрощу интерфейс программы. Буквально за сутки система была прокачана вообще до нового уровня! 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥17🏆6
Вышло обновление Irving Voice 1.3!
- Теперь высокая скорость реакции доступна для всех ПК и даже на слабом железе!
- Распознавание команд работает максимально быстро и на CPU! Не требует мощной видеокарты!
- Улучшен и максимально упрощён интерфейс настройки голосового управления.
- Значительно улучшена логика распознавания Ирвингом существующих команд!
СКАЧАТЬ УЛУЧШЕНИЕ
- Теперь высокая скорость реакции доступна для всех ПК и даже на слабом железе!
- Распознавание команд работает максимально быстро и на CPU! Не требует мощной видеокарты!
- Улучшен и максимально упрощён интерфейс настройки голосового управления.
- Значительно улучшена логика распознавания Ирвингом существующих команд!
СКАЧАТЬ УЛУЧШЕНИЕ
1🔥12❤🔥3💋3💘1
Media is too big
VIEW IN TELEGRAM
Лучшая стелс команда! 😁 Тестирую новую разработку скрытного устранения с голосовым управлением.
1😁19🏆9🔥6🥰1
После выхода Oblivion Remastered я рассматривал, что Тодд может попытаться подключить Виртуозов, к разработке TES VI и внедрить туда Unreal, но благо Тодд не додумался до этого. Игра разрабатывается на Creation Engine 3 и внедрение Unreal руководство не планирует. Что забавно, недавно всплыли интересные рассказы бывшей сотрудницы Bethesda, которая рассказала, что в компании было сильное давление на то, чтобы перенести Starfield на Unreal Engine 5. Когда работники Bethesda увидели Nanite и Lumen они восхитились этими штуками и резко захотели их себе. И спрашивали: Почему бы нам просто не использовать это? Но разработчики наотрез отказались от этой идеи, т.к сообщество моддеров очень большое и у них уже есть удобные инструменты, которыми они пользуются много лет. Поэтому решили, что нецелесообразно переходить на другой движок. Это конечно хорошая новость для меня как для мододела. Bethesda не будет рваться за технологиями вроде Nanite и Lumen, а останется на старом, добром Creation Engine. Тодд понимает: Мододелы = Хлеб Bethesdы 😁
😁20🔥8
Антропики конечно фигачат как стахановцы 😁 Недавно выпустили 4.7, а теперь уже Opus 4.8. На этот раз СИЛЬНЫЙ упор сделали на агентов и сабагентов. В принципе это логичное развитие ИИ и очень полезная штука, чтобы не плодить кучу сессий. Пожалуй это хороший пример компании, когда глава не просто бизнесмен-маркетолог, или дядя, которому передали компанию по хорошей дружбе, а реальный гик, ученый и ярый фанат своего детища. Кстати Дарио руководил разработкой языковых моделей GPT-2 и GPT-3 и даже успел поработать в Google сеньором. Бэкграунт у него серьёзный. Смотрел интервью разные с ним. И это тот человек, который реально понимает, что он делает.
💯1