Сейчас делаю приложение для обучения английскому. Где задаётся сценарий общения и на английском ведётся диалог голосом.
При этом можно на русском можно говорить разные команды (сейчас расширяю их перечень). Вроде переведи фразу.. и многое другое.
Для скорости включена тупая, но для прода развёрнута большая (на cpu медленно).
Мне для очков надо обкатать сервера. Очки это сложнее. Там десятки сеток. Только в английском используется порядка 10. В очках это несколько десятков сеток.
Надо понять нагрузку и рассчитать экономику (gpu не бесплатные), и распределение этой нагрузки между серверами (привет, ray server).
Это приложение даёт мне базу для Gepse очков, которые полностью работают через сервер как видео ассистент.
Очки должны уметь распознать контекст окружения, чтобы ассистент мог работать в этом контексте.
В них и 3д, распознавание, сегментирование, глаза, голос, языковые модели, определение контекста, работа с ос и тд.
Писать самому, так как разработка такой системы это десятки миллионов рублей.
При этом можно на русском можно говорить разные команды (сейчас расширяю их перечень). Вроде переведи фразу.. и многое другое.
Для скорости включена тупая, но для прода развёрнута большая (на cpu медленно).
Мне для очков надо обкатать сервера. Очки это сложнее. Там десятки сеток. Только в английском используется порядка 10. В очках это несколько десятков сеток.
Надо понять нагрузку и рассчитать экономику (gpu не бесплатные), и распределение этой нагрузки между серверами (привет, ray server).
Это приложение даёт мне базу для Gepse очков, которые полностью работают через сервер как видео ассистент.
Очки должны уметь распознать контекст окружения, чтобы ассистент мог работать в этом контексте.
В них и 3д, распознавание, сегментирование, глаза, голос, языковые модели, определение контекста, работа с ос и тд.
Писать самому, так как разработка такой системы это десятки миллионов рублей.
🔥3👍1
По школьным очкам. Новый модуль сделан.
Сейчас переносим полигональную модель модуля оптики в CAD.
Затем надо будет изменить центральную часть корпуса.
Надо признать, что это заняло гораздо больше времени чем планировалось. Так как изначально я не хотел тратить более 2-4 недель. Но желание добавить электронику для поднятия дисплея, вместо ручного - увеличило срок. А так же, доработки сразу двух моделей линз + много времени ушло на плату драйвер сверху. Так как по итогу было сделано 4е верхних частей модуля оптики. Где плата развёрнута по разному, и механика направлена в разные стороны. И всё ради того, чтобы решить, какой из вариантов оптимальный.
Центральную часть очков придётся сильно менять. Я пока не знаю что лучше: переделать там или сделать её с нуля. Так как она сильно изменилась. Тут как инженер решит.
Сейчас переносим полигональную модель модуля оптики в CAD.
Затем надо будет изменить центральную часть корпуса.
Надо признать, что это заняло гораздо больше времени чем планировалось. Так как изначально я не хотел тратить более 2-4 недель. Но желание добавить электронику для поднятия дисплея, вместо ручного - увеличило срок. А так же, доработки сразу двух моделей линз + много времени ушло на плату драйвер сверху. Так как по итогу было сделано 4е верхних частей модуля оптики. Где плата развёрнута по разному, и механика направлена в разные стороны. И всё ради того, чтобы решить, какой из вариантов оптимальный.
Центральную часть очков придётся сильно менять. Я пока не знаю что лучше: переделать там или сделать её с нуля. Так как она сильно изменилась. Тут как инженер решит.
👍6
К сожалению мос кластер не принял документы, а новые я не смог вовремя подготовить /исправить.
Я к тому, что не стоит верить словам что помогут и закроют глаза на что то. Всё в рамках бумаг.
Поэтому не знаю что будет дальше. Пилот можно сказать провалился и теперь моя ООО под вопросом. Как бы не пришлось банкротить. Хз пока что.
Как вариант попробую сделать статью и собрать предзаказы на очки на vc.ru и хабре. И продать очки, которые были в рамках пилота и доп заказы, чтобы покрыть эти убытки.
Сейчас я сожалею, что подписался на этот пилот и очки. Так как на проект было потрачено гораздо больше, чем грант из своих средств. И текущие доработки делаются из своего кармана.
У меня нет претензий к мос кластеру, они всё делают в рамках юридических документов. Виню только себя, за то что полагался на слова, а не бумаги.
Искренне надеюсь, что смогу собрать предзаказы. Всего надо собрать предзаказы на 40 очков, чтобы вернуть деньги 1 млн руб гранта (с учётом выпуска очков покупателям). Сроки изготовления 2 мес
Я к тому, что не стоит верить словам что помогут и закроют глаза на что то. Всё в рамках бумаг.
Поэтому не знаю что будет дальше. Пилот можно сказать провалился и теперь моя ООО под вопросом. Как бы не пришлось банкротить. Хз пока что.
Как вариант попробую сделать статью и собрать предзаказы на очки на vc.ru и хабре. И продать очки, которые были в рамках пилота и доп заказы, чтобы покрыть эти убытки.
Сейчас я сожалею, что подписался на этот пилот и очки. Так как на проект было потрачено гораздо больше, чем грант из своих средств. И текущие доработки делаются из своего кармана.
У меня нет претензий к мос кластеру, они всё делают в рамках юридических документов. Виню только себя, за то что полагался на слова, а не бумаги.
Искренне надеюсь, что смогу собрать предзаказы. Всего надо собрать предзаказы на 40 очков, чтобы вернуть деньги 1 млн руб гранта (с учётом выпуска очков покупателям). Сроки изготовления 2 мес
🤯2😢1
Сейчас временно мы переключаемся со школьных очков на доработку Glazz. Надо встроить новые дисплеи, плату драйвер, новые камеры и носовик. После этого вернемся к корпусу школьных очков. Пока я тестирую новый модуль оптики, который закончили для школьных очков и надо будет отлить несколько линз. Заодно заказать у китайцев производство передних линз правильной формы, так как в прошлый раз они перепутали и сейчас форма линз для левого глаза (но приходится использовать на правом). Это мелочь, но мне в глаза бросается.
👍2
К сожалению пришлось откатить к прежней версии корпуса Glazz. Так как оказалось, что я потерял исходники последней версии.
Тут тоже есть проблемы, так как изначально она была в solidwork, а сейчас правили в компас 3D.
Думаю корпус придется заново переделать под компас 3D. Так как:
- надо будет добавить ещё 2е камеры под трекер глаза. Сейчас только стерео камера.
- вынести электронику за ухо с одной стороны и аккумулятор с другой.
- не знаю как пока быть с оптическим визором. Тот что есть не дотягивает по качеству, а пресс формы стоят 6000$, а с деньгами сейчас туго.
После этого остаётся только софт.
Я решил отказаться от идеи выноса внешнего вычислительного блока, так как для этого надо чтобы по проводу передавались картинка на дисплеи и видео с 4ех камер. Внутр корпуса это норм пробросить, а как внешне это можно сделать через толстый кабель или пробовать type-c (но сомневаюсь что он потянет).
Заканчиваю печать изменённого корпуса Glazz, передней части.
Дальше корпус:
- Glazz
- Eva
- школьные
Тут тоже есть проблемы, так как изначально она была в solidwork, а сейчас правили в компас 3D.
Думаю корпус придется заново переделать под компас 3D. Так как:
- надо будет добавить ещё 2е камеры под трекер глаза. Сейчас только стерео камера.
- вынести электронику за ухо с одной стороны и аккумулятор с другой.
- не знаю как пока быть с оптическим визором. Тот что есть не дотягивает по качеству, а пресс формы стоят 6000$, а с деньгами сейчас туго.
После этого остаётся только софт.
Я решил отказаться от идеи выноса внешнего вычислительного блока, так как для этого надо чтобы по проводу передавались картинка на дисплеи и видео с 4ех камер. Внутр корпуса это норм пробросить, а как внешне это можно сделать через толстый кабель или пробовать type-c (но сомневаюсь что он потянет).
Заканчиваю печать изменённого корпуса Glazz, передней части.
Дальше корпус:
- Glazz
- Eva
- школьные
👍1
Сейчас бьюсь на камерами у Glazz. А именно подключением в линукс. Андроид и винда их видят нормально. Линукс пока не хочет нормально считывать картинку. Поэтому настраиваю его. С других камер всё норм, а тут камера особая. Она получает картинку с двух, объединяет её аппаратно, чтобы кадры были синхронизированы и одинаковые.
Так же почему то перестали работать новые дисплеи. Разбираюсь, то ли сдохло что то, то ли питания не хватает.
От камер зависит, будет электроника вынесена или же внутри очков.
Вообще подобные вещи это геморрой.
Сейчас пробую разные дистрибутивы настроить: линукс разные, андроид. То вай-фай не работает, то камеру не хочет цеплять, то флешки не видит. Так как линукс (Ubuntu, Debian и др) и андроид сборки под арм, то приходится просто возиться.
В общем линукс это всегда танцы с бубном.
Так же почему то перестали работать новые дисплеи. Разбираюсь, то ли сдохло что то, то ли питания не хватает.
От камер зависит, будет электроника вынесена или же внутри очков.
Вообще подобные вещи это геморрой.
Сейчас пробую разные дистрибутивы настроить: линукс разные, андроид. То вай-фай не работает, то камеру не хочет цеплять, то флешки не видит. Так как линукс (Ubuntu, Debian и др) и андроид сборки под арм, то приходится просто возиться.
В общем линукс это всегда танцы с бубном.
🔥3
Надеюсь автор фото не будет против публикации этого фото. Он выложил его в группе AVRA. Они сделали свой корпус на базе конструктора школьных очков.
Я хотел бы поблагодарить его за это. Так как для меня это означает, что продукт используют как это было задумано. И это при том, что было продано всего 2 комплекта, чтобы получить обратную связь и вырученные деньги пошли на доработки (хотя конечно это капля в море, но частично облегчено мне финансирование доработок). Больше я пока не продавал, так как сейчас доделаем новый корпус под новые модули оптики, и тогда продолжу.
Но даже эти две продажи показали, что в обоих случаях люди спроектировали на их базе свои очки.
Это лучше всего мотивирует развивать этот проект👌(на фото я не знаю кто это, поэтому заранее извиняюсь за публикацию).
Я хотел бы поблагодарить его за это. Так как для меня это означает, что продукт используют как это было задумано. И это при том, что было продано всего 2 комплекта, чтобы получить обратную связь и вырученные деньги пошли на доработки (хотя конечно это капля в море, но частично облегчено мне финансирование доработок). Больше я пока не продавал, так как сейчас доделаем новый корпус под новые модули оптики, и тогда продолжу.
Но даже эти две продажи показали, что в обоих случаях люди спроектировали на их базе свои очки.
Это лучше всего мотивирует развивать этот проект👌(на фото я не знаю кто это, поэтому заранее извиняюсь за публикацию).
🔥6👏2
Какая нибудь жопа случается, когда не ждёшь.
Сдохли дисплеи для Glazz.
Комп их определяет, как второй монитор. Но сами они не работают. Так как что то сгорело со стороны подключения питания.
120 тыс руб в трубу. Надо заказывать новые.
Вот так всегда, добьёшься прогресса в одной части, в другой случаются проблемы.
Сейчас для Glazz два варианта
1) доделать ушки, чтобы выводилось через type-c. Но там я тоже жду микросхем для конвертации видео потока. Локально цепочку я отладил. Электроника - typec - видео+камеры+аудио. Подождать середины января и заказать дисплеи + камеры для трекинга глаза. Заодно перезаказать электронику с нормальным npu процессором для нейронок, wifi6, 5G (сейчас 4G).
2) брать кредит на до закупки сейчас. Так как доход из за школьных очков у меня просел в 2 раза. Упустил прежний источник дохода.
3) сосредоточиться на школьных очках и выпустить в продажу их (доработать новый корпус) и отдельно подать оптику
4) подготовить бинокулярные школьные очки.
На фото выше, ещё дисплеи работали
Сдохли дисплеи для Glazz.
Комп их определяет, как второй монитор. Но сами они не работают. Так как что то сгорело со стороны подключения питания.
120 тыс руб в трубу. Надо заказывать новые.
Вот так всегда, добьёшься прогресса в одной части, в другой случаются проблемы.
Сейчас для Glazz два варианта
1) доделать ушки, чтобы выводилось через type-c. Но там я тоже жду микросхем для конвертации видео потока. Локально цепочку я отладил. Электроника - typec - видео+камеры+аудио. Подождать середины января и заказать дисплеи + камеры для трекинга глаза. Заодно перезаказать электронику с нормальным npu процессором для нейронок, wifi6, 5G (сейчас 4G).
2) брать кредит на до закупки сейчас. Так как доход из за школьных очков у меня просел в 2 раза. Упустил прежний источник дохода.
3) сосредоточиться на школьных очках и выпустить в продажу их (доработать новый корпус) и отдельно подать оптику
4) подготовить бинокулярные школьные очки.
На фото выше, ещё дисплеи работали
🤯1
У людей сразу возник вопрос. Почему wfo5 такая дорогая.
На данный момент её умеют делать только emagin в сша (фото с военными) и китайский университет оптики (и их профессор).
На других фото, как раз китайский образцы.
Форма высокой точности для литья такой оптики очень дорогая. Её стоимость 50 тыс $. Далее лицензия китайцам 20 тыс$. (Сша лицензию не даст). Эта призма широко используется в военных очках.
Для изготовления free form оптики нужно специальное оборудование, нужны специалисты которые умеют его программировать. В РФ такого нет.
Само литье уже копеечное.
Сейчас, по технологии ребят из МГУ можно напечатать такую модель из частей, склеить и лить мелким тиражом.
Да нужно сделать расчёт оптики, но это уже проще (мне по крайне мере).
Поэтому раньше изготовить, такой возможности не было.
Из её плюсов, легко тиражировать. Угол обзора 40 градусов.
Минусы: не AR. Имеет ограниченное применение: военные приборы, аналог real wear.
На данный момент её умеют делать только emagin в сша (фото с военными) и китайский университет оптики (и их профессор).
На других фото, как раз китайский образцы.
Форма высокой точности для литья такой оптики очень дорогая. Её стоимость 50 тыс $. Далее лицензия китайцам 20 тыс$. (Сша лицензию не даст). Эта призма широко используется в военных очках.
Для изготовления free form оптики нужно специальное оборудование, нужны специалисты которые умеют его программировать. В РФ такого нет.
Само литье уже копеечное.
Сейчас, по технологии ребят из МГУ можно напечатать такую модель из частей, склеить и лить мелким тиражом.
Да нужно сделать расчёт оптики, но это уже проще (мне по крайне мере).
Поэтому раньше изготовить, такой возможности не было.
Из её плюсов, легко тиражировать. Угол обзора 40 градусов.
Минусы: не AR. Имеет ограниченное применение: военные приборы, аналог real wear.