Greenruff
875 subscribers
2.18K photos
142 videos
65 files
57 links
Все вопросы: https://t.me/proxy3d
Download Telegram
Собраны первые комплекты конструктора школьных AR очков, немного фото и видео.
Поймать картинку на видео и сфокусироваться через камеру нереально, надо фотоаппарат. Так что снял на сколько было возможно.
Два комплекта сейчас продаются по цене 40 тыс руб за шт, чтобы покрыть часть расходов и получить обратную связь. Поэтому можете написать мне. Если за сегодня не продадим их, то пока не будем. Так как потом не до этого, надо улететь на демо и потом защита в Бортника по очкам.
🔥7❤‍🔥2
Сразу извиняюсь за качество видео. У моего компа нет hdmi, поэтому кабель под мой выход другой и короткий. Пришлось снимать под столом. Снять нормально тоже большая проблема, чтобы и текст был виден и очки удержать и звук останавливать (иначе он до первой паузы попытается весь текст распознать и перевести)

Сделал простой пример переводчика в очках на питоне. Можно сделать нормально, но делал на скорую руку. Поэтому текст слушается большими кусками до паузы, и не разбивается на строки. Позже это добавлю.

Исходники выложу в комментарии. Потом приведу код в нормальный вид и выложу в репозитории.

Что делает пример?
1) пытается сначала определить язык для перевода. Нужно сказать что то. Если не определил, то переводит на русский.
2) распознаёт сказанную речь и выводит её на экран на русском
3) переводит на английский и выводит на экран
4) в наушники проговаривает перевод. То есть перевод виден и на экране и в наушниках.

Постепенно буду выкладывать остальные примеры с распознованием, с chatGPT и другие.
👍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Выкладываю ещё один пример. Распознавание объектов на видео с камеры.
Это пример на скорую руку на основе модели Yolov4. Это небольшая предобученная сетка, которая может распозновать людей, лампочки, котов, собак, машины и тд
Сама сетка слабая, так как весит мало и немного устаревшая (yolov4 версия всё таки). Но как пример наглядная. Игрушечный кот тут распознаётся, как собака. Голова хоть как человек.

Я не стал калибровать изображение, чтобы оно соответствовало камере. Думаю это сделаю отдельным примером. Тут хотел показать работу камеры и распознавание в целом.

Видео снова ужасное, так как позади светит яркий свет, и каждый раз съёмка изображения в очках превращается в рулетку.

Код примера выложу в комментариях. В дальнейшем пример доработаю нормально и выложу в репозиторий. Этот лишь, чтобы можно было потестировать очки.
👍1🔥1
Ребята из МГПУ уже начали играться с очками. После возвращения доделаю ещё примеры и буду заниматься новым модулем оптики, а так же расширением платы (хочу добавить трекинг глаза и датчик положения в пространстве). А так же вынесем выключатель и кнопку регулировки яркости. Я заметил что на разных очках яркость дисплея разная(возможно дело в кабели дисплея, толщине провода).

Обязательно сделаю разные примеры.
Так же наши ребята готовят нормальные примеры на unity.
🔥7👍2
7 сентября защита проекта Gepse в Бортника.

А так же 29 августа была защита школьного конструктора очков AR-kit. Проект прошёл защиту перед жюри и его одобрили. Надо лишь поправить мелочи по заявке, но как я понял проекту дали зелёный свет.
🔥16
Сегодня была защита в Бортника проекта Gepse. Не знаю пока как всё прошло. Я готовлюсь к худшему. Откопали что у меня фирма, что я в Сколково уже. Скрашивали почему решил эти очки сейчас делать и почему не от фирмы. Хотя я уже 3и года подавал заявку там на Gepse. В первый раз отклонили, так как дали на тянущуюся, потом потому что на фирму подавал свою (ограничение 2 года жизни компании), и вот в третий раз.
Спросили почему в it раздел подал, а не железо. Почему про софт написал мало (хотя в целом написал и дал ссылки на софт, который свой интегрирую).
Потом где буду оптику делать (показал где сейчас делаю). Но доклад слабоват у меня был. 😕 всё таки много сил ушло на школьные очки и я устал.
Так что жду решения.

По школьным будем расширять электронику и оптику. Хочу вывести трекер глаза, улучшить оптику (угол обзора), вывести датчик положения в пространстве.
Софт по ним уже наклепал и скоро выложу тоже: распознавания текста, нейронный, руки, аватары, chatGPT и др.
Можете накидать, какие примеры нужны.
6👏3🎉1👌1
image_2023-09-07_22-19-22.png
924 KB
Вчера пришли стержни для сборки принтера для печати голографической оптики HOE. Все элементы теперь помещаются. Это лайтовая сборка, надо бы еще потом добавить парочку элементов для улучшения, но пока хватит и этого.
Следующий шаг это добавление механики от лазерного гравера, который будет перемещать стеклянную подложку, на которую записывается голографическое изображение.
Затем элементы будут перепечатаны на фотополимерном принтере и откалиброваны.
Затем установка в виброустойчивый корпус на песке и резиновых шинах, в корпус который не пропускает свет.
И после этого, будем пробовать записать первые голограммы.

Принтер нужен для производства голографической оптики. Например, волноводы, линзы и т.д.
По этому проекты тоже будет подаваться заявка на грант, чтобы вместо нашего импровизированного SLM элемента поставить дорогой "промышленный" с высоким разрешением.
Не знаю пока, что выйдет из этого проекта. Но подобное оборудование нам очень нужно. Стоимость заказа прототипа на подобном в США ~ 1 млн $.
🔥21
А пока по школьным очкам перехожу ко второй версии оптики. Надо будет сделать под неё корпус.
Её отличие в наличие дополнительной линзы. Это должно увеличить угол обзора.
Данные линзы отливались самостоятельно. Но качество не уступает промышленному литью. Но конечно это немного геморно. Надеюсь, что дела со школьными очками пойдут и мы сможем купить оборудование для литья под давлением, чтобы самостоятельно лить всю оптику тут.
Сейчас передние линзы льются в Китае. Мы заказывали пресс формы и их отливку, за счёт этого стоимость оптики значительно снизилось.

Так же в спец версии будет другой дисплей. Что по итогу должно дать угол обзора сопоставимый с hololens 2
👍51
Так же вчера пришла исправленная новая партия из 5 шт электроники для школьных AR очков. Это третья или четвёртая итерация платы. Завтра будем проверять. Надеюсь в этот раз китайцы не накосячили.
Если всё нормально, то будем заказывать партию.
🔥2