Выше я описывал идею, улучшения ллм.
Реализовал приложение для тестов данной механики. Результат оказался выше моих ожиданий.
Белуга 7b, которая слабее openAi, справилась лучше других, при использовании данной механики. Она дала верный ответ
Вопрос: "In what year did Charlemagne visit Aquitaine for the first time?"
ГигаЧат и Яндекс отвечают:
778 год (обучены на вики, а там есть цитата, что он был в этом году).
иногда 844 (глюк - он умер в 814) - причем так стал отвечать ГигаЧат с подключенным GigaSearch, в добавок ещё и ссылку на вики даёт левую
правильный ответ 769 год
В тесте 10 ллм. При 3 ллм, результат норм, но спорный (в Европе считают так, в мире так, или вообще мало данных). Но глюки и бред убирают даже 3и модели.
Я сейчас уверен, что 2 полушария включают в себя данную механику. Идею об их логике и творчестве опровергли + каждое содержит дублирующую информации.
Почему 2 ллм?
- бред отсеивают
- много ллм скорость сильно падет и больше нужно ресурсов
В комментариях выложил исходники теста
Реализовал приложение для тестов данной механики. Результат оказался выше моих ожиданий.
Белуга 7b, которая слабее openAi, справилась лучше других, при использовании данной механики. Она дала верный ответ
Вопрос: "In what year did Charlemagne visit Aquitaine for the first time?"
ГигаЧат и Яндекс отвечают:
778 год (обучены на вики, а там есть цитата, что он был в этом году).
иногда 844 (глюк - он умер в 814) - причем так стал отвечать ГигаЧат с подключенным GigaSearch, в добавок ещё и ссылку на вики даёт левую
правильный ответ 769 год
В тесте 10 ллм. При 3 ллм, результат норм, но спорный (в Европе считают так, в мире так, или вообще мало данных). Но глюки и бред убирают даже 3и модели.
Я сейчас уверен, что 2 полушария включают в себя данную механику. Идею об их логике и творчестве опровергли + каждое содержит дублирующую информации.
Почему 2 ллм?
- бред отсеивают
- много ллм скорость сильно падет и больше нужно ресурсов
В комментариях выложил исходники теста
Отлил нормально без пузырьков. Всё как описывал ранее.
Сначала дегазация, затем вращение.
Крапинки на оптике связаны не с воздухом. Это износилась форма после множества заливок эксперимента. В ней на границах был мусор. А так же сама она была не идеальная и сильно изнасилась (одна форма на 5-8 отливок, на это отлито ~15 шт).
Сейчас отолью новую форму и в ней линзу.
Данная оптика пойдёт на замену у старого прототипа, аналога real wear. Он был готов, но устаревший, так как непрозрачный монокуляр (копия real wear, уг обзора 23 градуса). Поэтому увеличил угол обзора до 40 градусов.
Из плюсов относительная дешевизна.
Пока 3и варианта:
- продавать только оптику, где сам монокуляр просто как демо её возможностей
- продавать её как конструктор, где другие смогут использовать как шаблон для своих устройств
- продавать как продукт
Меня устроит любой вариант.
Конструктор ar очков, закончу через пару дней. Не успел, так как закончился силикон для отливки пары деталей корпуса и ждал его. Там тоже три модели.
Сначала дегазация, затем вращение.
Крапинки на оптике связаны не с воздухом. Это износилась форма после множества заливок эксперимента. В ней на границах был мусор. А так же сама она была не идеальная и сильно изнасилась (одна форма на 5-8 отливок, на это отлито ~15 шт).
Сейчас отолью новую форму и в ней линзу.
Данная оптика пойдёт на замену у старого прототипа, аналога real wear. Он был готов, но устаревший, так как непрозрачный монокуляр (копия real wear, уг обзора 23 градуса). Поэтому увеличил угол обзора до 40 градусов.
Из плюсов относительная дешевизна.
Пока 3и варианта:
- продавать только оптику, где сам монокуляр просто как демо её возможностей
- продавать её как конструктор, где другие смогут использовать как шаблон для своих устройств
- продавать как продукт
Меня устроит любой вариант.
Конструктор ar очков, закончу через пару дней. Не успел, так как закончился силикон для отливки пары деталей корпуса и ждал его. Там тоже три модели.
Послушав умных людей в комментариях, решил что надо добавить больше бесплатного функционала в приложение изучения иностранных языков, но так чтобы не грузило gpu.
Поэтому сделал тренажёр речи и перевода, для бесплатного использования.
Накидал MVP быстро, чтобы проверить идею.
1) свои gpu нагружать не хочу, так как это бесплатный функционал, чтобы удержать пользователей
2) поэтому сделал через vosk и sileno. Качество там ужас, но хоть что то. Пришлось для точности написать несколько веб сервисов, где распознание идёт сразу несколькими. Иначе мусор.
Сейчас хочу прикрутить ещё потоковое распознавание от Сбера. Да, оно не бесплатное, но при распознавание слов и небольших фраз терпимо.
Чтобы оно было третьим распознавателем.
Сейчас худо бедно распознаёт, но ради улучшения качества пришлось сильно поднять framerate. Теперь надо подумать, как уменьшить скорость ожидания, так как объём данных раздуло.
Графика тоже очень мешает микрофону, пришлось уменьшить fps, сделать шейдеры. Всё же js не для этого.
Поэтому сделал тренажёр речи и перевода, для бесплатного использования.
Накидал MVP быстро, чтобы проверить идею.
1) свои gpu нагружать не хочу, так как это бесплатный функционал, чтобы удержать пользователей
2) поэтому сделал через vosk и sileno. Качество там ужас, но хоть что то. Пришлось для точности написать несколько веб сервисов, где распознание идёт сразу несколькими. Иначе мусор.
Сейчас хочу прикрутить ещё потоковое распознавание от Сбера. Да, оно не бесплатное, но при распознавание слов и небольших фраз терпимо.
Чтобы оно было третьим распознавателем.
Сейчас худо бедно распознаёт, но ради улучшения качества пришлось сильно поднять framerate. Теперь надо подумать, как уменьшить скорость ожидания, так как объём данных раздуло.
Графика тоже очень мешает микрофону, пришлось уменьшить fps, сделать шейдеры. Всё же js не для этого.
This media is not supported in your browser
VIEW IN TELEGRAM
Пока пытаюсь сделать аналог безумного голоса. В данной модели не настроены эмоции. Поэтому обычная озвучка. Не настроены стили общения, поэтому выдаёт какой то длинный текст.
Посмотрим, что буде после настройки эмоций у данной модели.
Изображения генерирует автоматом, не всегда идеально (видны текст от комиксов), надо добавить в негативный промпт, чтобы не выводила их.
Мне не нравиться, так как на безумца это не похоже. Надо настроить характер под безумного персонажа.
Буду добавлять:
- безумный смех и прочие подобные вещи
- нарушение эмоций, когда они гиперболизированы и очень яркие. А так же блокировки других (у психов, нет некоторых эмоций).
Без настроек выходит плохо. Явно не то, что я ожидал. Данной модели не хватает экспрессии, агрессии.
Посмотрим, на сколько я смогу это улучшить.
Думаю поверх своей модели эмоций на нейронках, добавлю ещё сверху свою синтетическую модель, построенную на вздохах-выдохах, так как она показала себя очень качественно. Но её я пока сделал только у русской речи.
Посмотрим, что буде после настройки эмоций у данной модели.
Изображения генерирует автоматом, не всегда идеально (видны текст от комиксов), надо добавить в негативный промпт, чтобы не выводила их.
Мне не нравиться, так как на безумца это не похоже. Надо настроить характер под безумного персонажа.
Буду добавлять:
- безумный смех и прочие подобные вещи
- нарушение эмоций, когда они гиперболизированы и очень яркие. А так же блокировки других (у психов, нет некоторых эмоций).
Без настроек выходит плохо. Явно не то, что я ожидал. Данной модели не хватает экспрессии, агрессии.
Посмотрим, на сколько я смогу это улучшить.
Думаю поверх своей модели эмоций на нейронках, добавлю ещё сверху свою синтетическую модель, построенную на вздохах-выдохах, так как она показала себя очень качественно. Но её я пока сделал только у русской речи.
Сейчас шаг за шагом пробую собрать кисть , где использую разработанное мною оборудование и технологию тянущейся электроники.
Ключевыми элементами в ней являются
- тянущаяся электроника для связи элементов, и в качестве кожи.
- искусственные мышцы. Сейчас провожу ряд опытов, чтобы было компактно и без серво моторов. В основе углеродные нанотрубки.
- внутренняя часть, материалы для "костей", "жира", "мяса". Так как они должны превратиться в единое целое, а жир играть роль охлаждающего желе и уменьшить износ.
В качестве жира тут специальные смазки.
В качестве мяса, свой состав силикона.
Пока тестирую, сколько я смогу выжать максимум в кг усилий от мышц при компактности и энергоэффективности.
Параллельно шлифую корпус варианта робота на серво.
Кто то скажет, что распыляюсь. Но это не так. Большую часть времени у всего что я делаю, приходится на обдумывание как сделать. Реализация отнимает мало времени. А вот идею, могу вынашивать и год. Шлифуя её, изучая другие исследования, покупая материалы.
Ключевыми элементами в ней являются
- тянущаяся электроника для связи элементов, и в качестве кожи.
- искусственные мышцы. Сейчас провожу ряд опытов, чтобы было компактно и без серво моторов. В основе углеродные нанотрубки.
- внутренняя часть, материалы для "костей", "жира", "мяса". Так как они должны превратиться в единое целое, а жир играть роль охлаждающего желе и уменьшить износ.
В качестве жира тут специальные смазки.
В качестве мяса, свой состав силикона.
Пока тестирую, сколько я смогу выжать максимум в кг усилий от мышц при компактности и энергоэффективности.
Параллельно шлифую корпус варианта робота на серво.
Кто то скажет, что распыляюсь. Но это не так. Большую часть времени у всего что я делаю, приходится на обдумывание как сделать. Реализация отнимает мало времени. А вот идею, могу вынашивать и год. Шлифуя её, изучая другие исследования, покупая материалы.
Хочу показать пример реализации стилей общения.
Я описывал их ранее. Они нужны для того, чтобы модель умела подстраиваться под контекст и эмоции.
На скринах не выводится сообщение пользователя, потому что тестирую. Для тестов сделал автоматическую генерацию ответа пользователя на сервере, чтобы упростить отладку и не орать постоянно в микрофон.
И так, между двумя этими сообщениями пользователь говорит "Stupid!" (Глупый!).
На скриншоте в аэропорту включены коммуникационные стили у персонажа. Он определяет, что пользователь раздражён и подстраивает стиль общения под эту эмоцию.
Что интересно, задача модели при этом быть максимально деликатной (так как это сотрудник у стойки). Поэтому она ищет баланс.
На скриншоте в кафе, стили выключены. Модель формирует ответ в рамкам общего диалога и не способна адекватно реагировать на стиль общения пользователя.
Коммуникационные стили, это микро диалоги. Они нужны, чтобы модель отвечала в соответствии с контекстом. Они зависят от эмоций контекста пользователя.
Я описывал их ранее. Они нужны для того, чтобы модель умела подстраиваться под контекст и эмоции.
На скринах не выводится сообщение пользователя, потому что тестирую. Для тестов сделал автоматическую генерацию ответа пользователя на сервере, чтобы упростить отладку и не орать постоянно в микрофон.
И так, между двумя этими сообщениями пользователь говорит "Stupid!" (Глупый!).
На скриншоте в аэропорту включены коммуникационные стили у персонажа. Он определяет, что пользователь раздражён и подстраивает стиль общения под эту эмоцию.
Что интересно, задача модели при этом быть максимально деликатной (так как это сотрудник у стойки). Поэтому она ищет баланс.
На скриншоте в кафе, стили выключены. Модель формирует ответ в рамкам общего диалога и не способна адекватно реагировать на стиль общения пользователя.
Коммуникационные стили, это микро диалоги. Они нужны, чтобы модель отвечала в соответствии с контекстом. Они зависят от эмоций контекста пользователя.
А вот пример работы эмоций. Они ещё не до конца настроены. Так же ещё не настроен персонаж, его характер.
Думаю после полноценной настройки персонажа, характера, стилей общения, эмоций это будет именно Джокер.
Но даже сейчас, частично настроенными эмоциями ощущается персонаж.
Выше я выкладывал Харли, где не были включены эмоций, и была стандартная озвучка. Контраст на лицо. И это только настроены несколько эмоций у персонажа, так что дальше лучше
У Харли в постах выше, тоже не совсем прям стандартная озвучка. Там включены эмоции на минималках - когда адаптируется только текст для придания эмоций при озвучивании. Что мы у Харли - есть эмоциональные акценты при озвучке, но нет эмоций в самом голосе.
Если у Харли выше выключить эмоции на адаптации текста - то получить более сухая озвучка..
У Джокера, как раз включены эмоции, и частично настроены. Но у него персонажа еще настраивать .. чтобы его голос звучал как у психа.
Думаю после полноценной настройки персонажа, характера, стилей общения, эмоций это будет именно Джокер.
Но даже сейчас, частично настроенными эмоциями ощущается персонаж.
Выше я выкладывал Харли, где не были включены эмоций, и была стандартная озвучка. Контраст на лицо. И это только настроены несколько эмоций у персонажа, так что дальше лучше
У Харли в постах выше, тоже не совсем прям стандартная озвучка. Там включены эмоции на минималках - когда адаптируется только текст для придания эмоций при озвучивании. Что мы у Харли - есть эмоциональные акценты при озвучке, но нет эмоций в самом голосе.
Если у Харли выше выключить эмоции на адаптации текста - то получить более сухая озвучка..
У Джокера, как раз включены эмоции, и частично настроены. Но у него персонажа еще настраивать .. чтобы его голос звучал как у психа.
2 месяца я пытался добиться идеальной отливки. На случай, если продажи будут слабыми и можно было бы отлить без алюминиевых форм. Очки почти готовы. Я планировал закончить на прошлой неделе, и в спешке допустил много ошибок.
- несколько раз заканчивался силикон. Полагался на "должно хватить".
- в спешке две детали формы, я сделал неверно на 1-2 мм и вместо того, чтобы переделать пытался обыграть это.
- смешал несколько силиконов.. В итоге не застыл, и вычищал всё. Повторная заливка, привела к отслаиванию слоев
- один силикон попался то ли бракованный, то ли у меня весы дали сбой. В итоге тоже не застыл.
Как итог. То, что можно было сделать за 2-3 дня, растянулось на 1,5-2 недели.
Как итог, сейчас осталось отлить доп детали белого и чёрного цвета. И дальше собрать наборы.
После некоторое время займёт подготовка фото, видео материалов, примеров, документации.
Статьи я уже написал, они лежат в черновиках и ждут публикации.
Это конструктор AR очков. Всё материалы будут доступны.
- несколько раз заканчивался силикон. Полагался на "должно хватить".
- в спешке две детали формы, я сделал неверно на 1-2 мм и вместо того, чтобы переделать пытался обыграть это.
- смешал несколько силиконов.. В итоге не застыл, и вычищал всё. Повторная заливка, привела к отслаиванию слоев
- один силикон попался то ли бракованный, то ли у меня весы дали сбой. В итоге тоже не застыл.
Как итог. То, что можно было сделать за 2-3 дня, растянулось на 1,5-2 недели.
Как итог, сейчас осталось отлить доп детали белого и чёрного цвета. И дальше собрать наборы.
После некоторое время займёт подготовка фото, видео материалов, примеров, документации.
Статьи я уже написал, они лежат в черновиках и ждут публикации.
Это конструктор AR очков. Всё материалы будут доступны.