В принципе все сделал, осталось поправить баги, проверить, всё подготовить. Займёт 2-4 недели.
Цель была сделать sdk для ar очков.
Чтобы всё это тестировать под нагрузкой и вычистить баги, я сделал приложение изучения языков. Его функционал выходит за требования приложения. Это микро сервисная архитектура, где для демонстрации возможностей подключения внешних сервисов (получение новостей для интервью, или словарт), работа с графикой через создание визуального контекста в диалогах и его сохранение, игровая часть с переходами между сценами (подобие уровней), эмоции, характеры персонажей, стили общения и тд.
Я хочу добиться создания сложных личностей. Это сложная задача. У подобных людей нарушены реакции эмоций, а стиль их общения совершено не похож на нормальный.
На неделе закончу 3-ое AR очков на продажу.
Вернулся к сборке голографического принтера, установка механики.
Так же мышц для робота.
5 месячный тест смол для оптики.
Работа над новой тянущейся электроникой.
Будет много постов об этом👌
Цель была сделать sdk для ar очков.
Чтобы всё это тестировать под нагрузкой и вычистить баги, я сделал приложение изучения языков. Его функционал выходит за требования приложения. Это микро сервисная архитектура, где для демонстрации возможностей подключения внешних сервисов (получение новостей для интервью, или словарт), работа с графикой через создание визуального контекста в диалогах и его сохранение, игровая часть с переходами между сценами (подобие уровней), эмоции, характеры персонажей, стили общения и тд.
Я хочу добиться создания сложных личностей. Это сложная задача. У подобных людей нарушены реакции эмоций, а стиль их общения совершено не похож на нормальный.
На неделе закончу 3-ое AR очков на продажу.
Вернулся к сборке голографического принтера, установка механики.
Так же мышц для робота.
5 месячный тест смол для оптики.
Работа над новой тянущейся электроникой.
Будет много постов об этом👌
Последняя смола, в рамках опыта по отливке разными смолами.
Poly glass - Нидерланды. В документах написано про усадку 1%, в принципе её не увидел.
Результат виден на фото.
Напомню, что отливки делались без дополнительных обработок, без дегазации или других подходов.
Цель:
- посмотреть смолы доступные на рынке РФ
- посмотреть на их усадку
- воздействие уф со временем
- хрупкость
- прозрачность, мутность, будут ли оттенки
- на сколько хорошо смолы справляются с выходом воздуха, чтобы уменьшить уровень брака
- стоимость
- доступность
Это был долгий эксперимент, который был начат в начале декабря. (Почти 5 месяцев).
На рынке осталось несколько иностранных смол poly xxx и некоторых других. Но в целом, я вижу что они редкие, дорогие и их уровень ниже уже опробованных. Поэтому смысла в них не вижу.
Да есть смолы в сша, юж Кореи (гибкие) которые могут дать лучше результат, но сейчас их сложно достать. Поэтому использовать их для массового производства в РФ не выйдет.
Теперь делаю отчёт по всём смолам.
Poly glass - Нидерланды. В документах написано про усадку 1%, в принципе её не увидел.
Результат виден на фото.
Напомню, что отливки делались без дополнительных обработок, без дегазации или других подходов.
Цель:
- посмотреть смолы доступные на рынке РФ
- посмотреть на их усадку
- воздействие уф со временем
- хрупкость
- прозрачность, мутность, будут ли оттенки
- на сколько хорошо смолы справляются с выходом воздуха, чтобы уменьшить уровень брака
- стоимость
- доступность
Это был долгий эксперимент, который был начат в начале декабря. (Почти 5 месяцев).
На рынке осталось несколько иностранных смол poly xxx и некоторых других. Но в целом, я вижу что они редкие, дорогие и их уровень ниже уже опробованных. Поэтому смысла в них не вижу.
Да есть смолы в сша, юж Кореи (гибкие) которые могут дать лучше результат, но сейчас их сложно достать. Поэтому использовать их для массового производства в РФ не выйдет.
Теперь делаю отчёт по всём смолам.
Выше я описывал идею, улучшения ллм.
Реализовал приложение для тестов данной механики. Результат оказался выше моих ожиданий.
Белуга 7b, которая слабее openAi, справилась лучше других, при использовании данной механики. Она дала верный ответ
Вопрос: "In what year did Charlemagne visit Aquitaine for the first time?"
ГигаЧат и Яндекс отвечают:
778 год (обучены на вики, а там есть цитата, что он был в этом году).
иногда 844 (глюк - он умер в 814) - причем так стал отвечать ГигаЧат с подключенным GigaSearch, в добавок ещё и ссылку на вики даёт левую
правильный ответ 769 год
В тесте 10 ллм. При 3 ллм, результат норм, но спорный (в Европе считают так, в мире так, или вообще мало данных). Но глюки и бред убирают даже 3и модели.
Я сейчас уверен, что 2 полушария включают в себя данную механику. Идею об их логике и творчестве опровергли + каждое содержит дублирующую информации.
Почему 2 ллм?
- бред отсеивают
- много ллм скорость сильно падет и больше нужно ресурсов
В комментариях выложил исходники теста
Реализовал приложение для тестов данной механики. Результат оказался выше моих ожиданий.
Белуга 7b, которая слабее openAi, справилась лучше других, при использовании данной механики. Она дала верный ответ
Вопрос: "In what year did Charlemagne visit Aquitaine for the first time?"
ГигаЧат и Яндекс отвечают:
778 год (обучены на вики, а там есть цитата, что он был в этом году).
иногда 844 (глюк - он умер в 814) - причем так стал отвечать ГигаЧат с подключенным GigaSearch, в добавок ещё и ссылку на вики даёт левую
правильный ответ 769 год
В тесте 10 ллм. При 3 ллм, результат норм, но спорный (в Европе считают так, в мире так, или вообще мало данных). Но глюки и бред убирают даже 3и модели.
Я сейчас уверен, что 2 полушария включают в себя данную механику. Идею об их логике и творчестве опровергли + каждое содержит дублирующую информации.
Почему 2 ллм?
- бред отсеивают
- много ллм скорость сильно падет и больше нужно ресурсов
В комментариях выложил исходники теста
Отлил нормально без пузырьков. Всё как описывал ранее.
Сначала дегазация, затем вращение.
Крапинки на оптике связаны не с воздухом. Это износилась форма после множества заливок эксперимента. В ней на границах был мусор. А так же сама она была не идеальная и сильно изнасилась (одна форма на 5-8 отливок, на это отлито ~15 шт).
Сейчас отолью новую форму и в ней линзу.
Данная оптика пойдёт на замену у старого прототипа, аналога real wear. Он был готов, но устаревший, так как непрозрачный монокуляр (копия real wear, уг обзора 23 градуса). Поэтому увеличил угол обзора до 40 градусов.
Из плюсов относительная дешевизна.
Пока 3и варианта:
- продавать только оптику, где сам монокуляр просто как демо её возможностей
- продавать её как конструктор, где другие смогут использовать как шаблон для своих устройств
- продавать как продукт
Меня устроит любой вариант.
Конструктор ar очков, закончу через пару дней. Не успел, так как закончился силикон для отливки пары деталей корпуса и ждал его. Там тоже три модели.
Сначала дегазация, затем вращение.
Крапинки на оптике связаны не с воздухом. Это износилась форма после множества заливок эксперимента. В ней на границах был мусор. А так же сама она была не идеальная и сильно изнасилась (одна форма на 5-8 отливок, на это отлито ~15 шт).
Сейчас отолью новую форму и в ней линзу.
Данная оптика пойдёт на замену у старого прототипа, аналога real wear. Он был готов, но устаревший, так как непрозрачный монокуляр (копия real wear, уг обзора 23 градуса). Поэтому увеличил угол обзора до 40 градусов.
Из плюсов относительная дешевизна.
Пока 3и варианта:
- продавать только оптику, где сам монокуляр просто как демо её возможностей
- продавать её как конструктор, где другие смогут использовать как шаблон для своих устройств
- продавать как продукт
Меня устроит любой вариант.
Конструктор ar очков, закончу через пару дней. Не успел, так как закончился силикон для отливки пары деталей корпуса и ждал его. Там тоже три модели.
Послушав умных людей в комментариях, решил что надо добавить больше бесплатного функционала в приложение изучения иностранных языков, но так чтобы не грузило gpu.
Поэтому сделал тренажёр речи и перевода, для бесплатного использования.
Накидал MVP быстро, чтобы проверить идею.
1) свои gpu нагружать не хочу, так как это бесплатный функционал, чтобы удержать пользователей
2) поэтому сделал через vosk и sileno. Качество там ужас, но хоть что то. Пришлось для точности написать несколько веб сервисов, где распознание идёт сразу несколькими. Иначе мусор.
Сейчас хочу прикрутить ещё потоковое распознавание от Сбера. Да, оно не бесплатное, но при распознавание слов и небольших фраз терпимо.
Чтобы оно было третьим распознавателем.
Сейчас худо бедно распознаёт, но ради улучшения качества пришлось сильно поднять framerate. Теперь надо подумать, как уменьшить скорость ожидания, так как объём данных раздуло.
Графика тоже очень мешает микрофону, пришлось уменьшить fps, сделать шейдеры. Всё же js не для этого.
Поэтому сделал тренажёр речи и перевода, для бесплатного использования.
Накидал MVP быстро, чтобы проверить идею.
1) свои gpu нагружать не хочу, так как это бесплатный функционал, чтобы удержать пользователей
2) поэтому сделал через vosk и sileno. Качество там ужас, но хоть что то. Пришлось для точности написать несколько веб сервисов, где распознание идёт сразу несколькими. Иначе мусор.
Сейчас хочу прикрутить ещё потоковое распознавание от Сбера. Да, оно не бесплатное, но при распознавание слов и небольших фраз терпимо.
Чтобы оно было третьим распознавателем.
Сейчас худо бедно распознаёт, но ради улучшения качества пришлось сильно поднять framerate. Теперь надо подумать, как уменьшить скорость ожидания, так как объём данных раздуло.
Графика тоже очень мешает микрофону, пришлось уменьшить fps, сделать шейдеры. Всё же js не для этого.
This media is not supported in your browser
VIEW IN TELEGRAM
Пока пытаюсь сделать аналог безумного голоса. В данной модели не настроены эмоции. Поэтому обычная озвучка. Не настроены стили общения, поэтому выдаёт какой то длинный текст.
Посмотрим, что буде после настройки эмоций у данной модели.
Изображения генерирует автоматом, не всегда идеально (видны текст от комиксов), надо добавить в негативный промпт, чтобы не выводила их.
Мне не нравиться, так как на безумца это не похоже. Надо настроить характер под безумного персонажа.
Буду добавлять:
- безумный смех и прочие подобные вещи
- нарушение эмоций, когда они гиперболизированы и очень яркие. А так же блокировки других (у психов, нет некоторых эмоций).
Без настроек выходит плохо. Явно не то, что я ожидал. Данной модели не хватает экспрессии, агрессии.
Посмотрим, на сколько я смогу это улучшить.
Думаю поверх своей модели эмоций на нейронках, добавлю ещё сверху свою синтетическую модель, построенную на вздохах-выдохах, так как она показала себя очень качественно. Но её я пока сделал только у русской речи.
Посмотрим, что буде после настройки эмоций у данной модели.
Изображения генерирует автоматом, не всегда идеально (видны текст от комиксов), надо добавить в негативный промпт, чтобы не выводила их.
Мне не нравиться, так как на безумца это не похоже. Надо настроить характер под безумного персонажа.
Буду добавлять:
- безумный смех и прочие подобные вещи
- нарушение эмоций, когда они гиперболизированы и очень яркие. А так же блокировки других (у психов, нет некоторых эмоций).
Без настроек выходит плохо. Явно не то, что я ожидал. Данной модели не хватает экспрессии, агрессии.
Посмотрим, на сколько я смогу это улучшить.
Думаю поверх своей модели эмоций на нейронках, добавлю ещё сверху свою синтетическую модель, построенную на вздохах-выдохах, так как она показала себя очень качественно. Но её я пока сделал только у русской речи.
Сейчас шаг за шагом пробую собрать кисть , где использую разработанное мною оборудование и технологию тянущейся электроники.
Ключевыми элементами в ней являются
- тянущаяся электроника для связи элементов, и в качестве кожи.
- искусственные мышцы. Сейчас провожу ряд опытов, чтобы было компактно и без серво моторов. В основе углеродные нанотрубки.
- внутренняя часть, материалы для "костей", "жира", "мяса". Так как они должны превратиться в единое целое, а жир играть роль охлаждающего желе и уменьшить износ.
В качестве жира тут специальные смазки.
В качестве мяса, свой состав силикона.
Пока тестирую, сколько я смогу выжать максимум в кг усилий от мышц при компактности и энергоэффективности.
Параллельно шлифую корпус варианта робота на серво.
Кто то скажет, что распыляюсь. Но это не так. Большую часть времени у всего что я делаю, приходится на обдумывание как сделать. Реализация отнимает мало времени. А вот идею, могу вынашивать и год. Шлифуя её, изучая другие исследования, покупая материалы.
Ключевыми элементами в ней являются
- тянущаяся электроника для связи элементов, и в качестве кожи.
- искусственные мышцы. Сейчас провожу ряд опытов, чтобы было компактно и без серво моторов. В основе углеродные нанотрубки.
- внутренняя часть, материалы для "костей", "жира", "мяса". Так как они должны превратиться в единое целое, а жир играть роль охлаждающего желе и уменьшить износ.
В качестве жира тут специальные смазки.
В качестве мяса, свой состав силикона.
Пока тестирую, сколько я смогу выжать максимум в кг усилий от мышц при компактности и энергоэффективности.
Параллельно шлифую корпус варианта робота на серво.
Кто то скажет, что распыляюсь. Но это не так. Большую часть времени у всего что я делаю, приходится на обдумывание как сделать. Реализация отнимает мало времени. А вот идею, могу вынашивать и год. Шлифуя её, изучая другие исследования, покупая материалы.
Хочу показать пример реализации стилей общения.
Я описывал их ранее. Они нужны для того, чтобы модель умела подстраиваться под контекст и эмоции.
На скринах не выводится сообщение пользователя, потому что тестирую. Для тестов сделал автоматическую генерацию ответа пользователя на сервере, чтобы упростить отладку и не орать постоянно в микрофон.
И так, между двумя этими сообщениями пользователь говорит "Stupid!" (Глупый!).
На скриншоте в аэропорту включены коммуникационные стили у персонажа. Он определяет, что пользователь раздражён и подстраивает стиль общения под эту эмоцию.
Что интересно, задача модели при этом быть максимально деликатной (так как это сотрудник у стойки). Поэтому она ищет баланс.
На скриншоте в кафе, стили выключены. Модель формирует ответ в рамкам общего диалога и не способна адекватно реагировать на стиль общения пользователя.
Коммуникационные стили, это микро диалоги. Они нужны, чтобы модель отвечала в соответствии с контекстом. Они зависят от эмоций контекста пользователя.
Я описывал их ранее. Они нужны для того, чтобы модель умела подстраиваться под контекст и эмоции.
На скринах не выводится сообщение пользователя, потому что тестирую. Для тестов сделал автоматическую генерацию ответа пользователя на сервере, чтобы упростить отладку и не орать постоянно в микрофон.
И так, между двумя этими сообщениями пользователь говорит "Stupid!" (Глупый!).
На скриншоте в аэропорту включены коммуникационные стили у персонажа. Он определяет, что пользователь раздражён и подстраивает стиль общения под эту эмоцию.
Что интересно, задача модели при этом быть максимально деликатной (так как это сотрудник у стойки). Поэтому она ищет баланс.
На скриншоте в кафе, стили выключены. Модель формирует ответ в рамкам общего диалога и не способна адекватно реагировать на стиль общения пользователя.
Коммуникационные стили, это микро диалоги. Они нужны, чтобы модель отвечала в соответствии с контекстом. Они зависят от эмоций контекста пользователя.