Сегодня арендовал сервер на месяц, и повесил на нём часть нейронок. Ставил для себя, но думаю сделать под школьные очки примеры, где идёт обращение к нему. Это позволит не использовать сторонние сервера, требующие индивидуальные ключи для авторизации (сначала надо зарегистрироваться) или vpn.
Пока установил и начал настраивать для графики и gpt. Попробовал накатить несколько нейронок, выбрал в итоге более менее gpt сетку (нижний диалог).
Разбираюсь с синтезатором речи и распознавание голоса на сервере.
Так сейчас примеры под школьные очки либо обращаются к сервисам (где либо платно либо ограничения). Либо локальные нейронки, которые слабые так как запускаются на локальной машине и при этом прилично весят (в рамках примера).
Если кто то ставил whisper на сервер с cpu или распознавание голоса на cpu на сервера ububtu с web api обвязкой, то буду признателен. Пока вожусь с ними.
Хочется, чтобы школьники могли запустить примеры, без танцев с бубном. Поэтому тут лучше всего свой сервер как микросервисы.
Пока установил и начал настраивать для графики и gpt. Попробовал накатить несколько нейронок, выбрал в итоге более менее gpt сетку (нижний диалог).
Разбираюсь с синтезатором речи и распознавание голоса на сервере.
Так сейчас примеры под школьные очки либо обращаются к сервисам (где либо платно либо ограничения). Либо локальные нейронки, которые слабые так как запускаются на локальной машине и при этом прилично весят (в рамках примера).
Если кто то ставил whisper на сервер с cpu или распознавание голоса на cpu на сервера ububtu с web api обвязкой, то буду признателен. Пока вожусь с ними.
Хочется, чтобы школьники могли запустить примеры, без танцев с бубном. Поэтому тут лучше всего свой сервер как микросервисы.
👍2
Решил поделиться доками, как начинался проект очков Glazz. Очки для космонавтов для Роскосмоса.
Стоимости работ на сегодня можно смело умножать на 3-3, 5 раза. В комментариях выложу сами доки.
В итоге мы отказались и самостоятельно собрали оптику, корпус, 3д камеру. Дело оставалось за электроникой. Но тз тогда подразумевало только оптику.
Откуда такая стоимость? Гос компании требуют очень много проработанной документации: тесты, ГОСТы, техническая документация и прочие вещи, разработка прошивок и прочих вещей которые не видны невооружённым глазом. Проект требует несколько итераций разработки. Тех денег тогда хватало бы в притык. Мы хотели сделать пиар себе, реализовав проект для космонавтов.
Стоимости работ на сегодня можно смело умножать на 3-3, 5 раза. В комментариях выложу сами доки.
В итоге мы отказались и самостоятельно собрали оптику, корпус, 3д камеру. Дело оставалось за электроникой. Но тз тогда подразумевало только оптику.
Откуда такая стоимость? Гос компании требуют очень много проработанной документации: тесты, ГОСТы, техническая документация и прочие вещи, разработка прошивок и прочих вещей которые не видны невооружённым глазом. Проект требует несколько итераций разработки. Тех денег тогда хватало бы в притык. Мы хотели сделать пиар себе, реализовав проект для космонавтов.
Так же хотел поделиться одной оптической схемой, которую делали. Тут сам принцип. Так как расчёты надо было проводить точные. В итоге собрали прототип оптики.
Из плюсов: небольшой волновод
Из минусов: маленький угол обзора. Если нужен больше, надо толще делать волновод. Толще волновод, значит тяжелей.
Я собирал правда полый волновод, то есть только границы волновода. Но малый угол обзора заставил отказаться от схемы.
Подобная схема была потом в новом патенте Epson moverio, если бы они выпустили новые очки. Но даже они решили, что модель тупиковая при существенных затратах изготовления.
Там ещё сбоку должна стоять компенсирующая искажения оптика.
Из плюсов: небольшой волновод
Из минусов: маленький угол обзора. Если нужен больше, надо толще делать волновод. Толще волновод, значит тяжелей.
Я собирал правда полый волновод, то есть только границы волновода. Но малый угол обзора заставил отказаться от схемы.
Подобная схема была потом в новом патенте Epson moverio, если бы они выпустили новые очки. Но даже они решили, что модель тупиковая при существенных затратах изготовления.
Там ещё сбоку должна стоять компенсирующая искажения оптика.
Так же решил опубликовать схему, на которую когда то я делал ставку.
Её смысл в том, что дисплей не прямоугольный в привычном смысле, а вытянутый. То есть на дисплее под длину боковой части (надо ещё такой дисплей изготовить) высотой несколько миллиметров но длиной несколько сантиметров изображение выводится блоками в ряд (а не цельным).
Каждый блок дисплея поляризуется специальным образом.
У глаза каждая пластина отражает только свой блок от дисплея.
Там у глаза несколько блоков: поворот поляризации света, отражение только своей поляризации.
Из минусов: большие потери света от поляризации. Дороговизна. Каждая пластина стоила 400$, а их надо было 3-10. Спец дисплеи.
Сейчас я не верю в успех такой схемы, поэтому выкладываю.
В своё время даже писал специальную программу, которая бы построила схему, так как каждая пластина под своим углом, на разном расстоянии и разного размера.
Но в своё время были в разработке даже такие безумные подходы.
Её смысл в том, что дисплей не прямоугольный в привычном смысле, а вытянутый. То есть на дисплее под длину боковой части (надо ещё такой дисплей изготовить) высотой несколько миллиметров но длиной несколько сантиметров изображение выводится блоками в ряд (а не цельным).
Каждый блок дисплея поляризуется специальным образом.
У глаза каждая пластина отражает только свой блок от дисплея.
Там у глаза несколько блоков: поворот поляризации света, отражение только своей поляризации.
Из минусов: большие потери света от поляризации. Дороговизна. Каждая пластина стоила 400$, а их надо было 3-10. Спец дисплеи.
Сейчас я не верю в успех такой схемы, поэтому выкладываю.
В своё время даже писал специальную программу, которая бы построила схему, так как каждая пластина под своим углом, на разном расстоянии и разного размера.
Но в своё время были в разработке даже такие безумные подходы.
https://www.ycombinator.com/companies
Не люблю выкладывать не про проекты. Но это позволит понять общий тренд развития стартапов.
На примере Y combinator и их набора на сессию 2024 , а так же прошедших 2023.
Он отражает над чем сейчас всё работают и что реально будет актуально. Я не беру в расчёт Россию, речь про мировой тренд.
Если в 2022 году Ai тренд на использование нейронок был еще слаб (это отражает фильтр w23 и c23, так как набор ведётся заранее). То сейчас больше половины это Ai проекты в b2b. А часть других проектом под капотом тоже интегрируют Ai в категории средства разработки.
Так что сейчас будет взрыв в мире кол-ва стартапов связанных с Ai, от автоматизации сайтов до баз данных.
Всё данные проекты очень ресурсоемкие.
Например, вчера я развернул нейронки и дописал свой сервер, который распознаёт речь и язык, ведёт диалог и синтезирует голос (рус или анг). На cpu это занимает от 30 сек до 6 минут.
Реал тайм - это аренда мощных GPU(дорого), а чтобы их отбить нужна эффективная бизнес модель.
Не люблю выкладывать не про проекты. Но это позволит понять общий тренд развития стартапов.
На примере Y combinator и их набора на сессию 2024 , а так же прошедших 2023.
Он отражает над чем сейчас всё работают и что реально будет актуально. Я не беру в расчёт Россию, речь про мировой тренд.
Если в 2022 году Ai тренд на использование нейронок был еще слаб (это отражает фильтр w23 и c23, так как набор ведётся заранее). То сейчас больше половины это Ai проекты в b2b. А часть других проектом под капотом тоже интегрируют Ai в категории средства разработки.
Так что сейчас будет взрыв в мире кол-ва стартапов связанных с Ai, от автоматизации сайтов до баз данных.
Всё данные проекты очень ресурсоемкие.
Например, вчера я развернул нейронки и дописал свой сервер, который распознаёт речь и язык, ведёт диалог и синтезирует голос (рус или анг). На cpu это занимает от 30 сек до 6 минут.
Реал тайм - это аренда мощных GPU(дорого), а чтобы их отбить нужна эффективная бизнес модель.
🔥3
Один из двух модулей с доп линзой. Сейчас надо ещё передние линзы откалибровать.
Очень сложно сфокусироваться, так как подстраивать оптику под камеру телефона не хочется, а фокусироваться на прозрачной картинке проблематично.
Ещё модуль оптики со второй линзой, под более крупные дисплеи.
Но угол обзора увеличился, высота модуля уменьшилась.
Кроме того, эти модули надо будет перенести в CAD. Так как сейчас это формат sketch up в stl. То есть, правлю и сразу перечатаю проверяю.
Потом сделаю нормальное видео после окончания проектирования.
Очень сложно сфокусироваться, так как подстраивать оптику под камеру телефона не хочется, а фокусироваться на прозрачной картинке проблематично.
Ещё модуль оптики со второй линзой, под более крупные дисплеи.
Но угол обзора увеличился, высота модуля уменьшилась.
Кроме того, эти модули надо будет перенести в CAD. Так как сейчас это формат sketch up в stl. То есть, правлю и сразу перечатаю проверяю.
Потом сделаю нормальное видео после окончания проектирования.
👍5🔥1💯1
Сейчас делаю приложение для обучения английскому. Где задаётся сценарий общения и на английском ведётся диалог голосом.
При этом можно на русском можно говорить разные команды (сейчас расширяю их перечень). Вроде переведи фразу.. и многое другое.
Для скорости включена тупая, но для прода развёрнута большая (на cpu медленно).
Мне для очков надо обкатать сервера. Очки это сложнее. Там десятки сеток. Только в английском используется порядка 10. В очках это несколько десятков сеток.
Надо понять нагрузку и рассчитать экономику (gpu не бесплатные), и распределение этой нагрузки между серверами (привет, ray server).
Это приложение даёт мне базу для Gepse очков, которые полностью работают через сервер как видео ассистент.
Очки должны уметь распознать контекст окружения, чтобы ассистент мог работать в этом контексте.
В них и 3д, распознавание, сегментирование, глаза, голос, языковые модели, определение контекста, работа с ос и тд.
Писать самому, так как разработка такой системы это десятки миллионов рублей.
При этом можно на русском можно говорить разные команды (сейчас расширяю их перечень). Вроде переведи фразу.. и многое другое.
Для скорости включена тупая, но для прода развёрнута большая (на cpu медленно).
Мне для очков надо обкатать сервера. Очки это сложнее. Там десятки сеток. Только в английском используется порядка 10. В очках это несколько десятков сеток.
Надо понять нагрузку и рассчитать экономику (gpu не бесплатные), и распределение этой нагрузки между серверами (привет, ray server).
Это приложение даёт мне базу для Gepse очков, которые полностью работают через сервер как видео ассистент.
Очки должны уметь распознать контекст окружения, чтобы ассистент мог работать в этом контексте.
В них и 3д, распознавание, сегментирование, глаза, голос, языковые модели, определение контекста, работа с ос и тд.
Писать самому, так как разработка такой системы это десятки миллионов рублей.
🔥3👍1
По школьным очкам. Новый модуль сделан.
Сейчас переносим полигональную модель модуля оптики в CAD.
Затем надо будет изменить центральную часть корпуса.
Надо признать, что это заняло гораздо больше времени чем планировалось. Так как изначально я не хотел тратить более 2-4 недель. Но желание добавить электронику для поднятия дисплея, вместо ручного - увеличило срок. А так же, доработки сразу двух моделей линз + много времени ушло на плату драйвер сверху. Так как по итогу было сделано 4е верхних частей модуля оптики. Где плата развёрнута по разному, и механика направлена в разные стороны. И всё ради того, чтобы решить, какой из вариантов оптимальный.
Центральную часть очков придётся сильно менять. Я пока не знаю что лучше: переделать там или сделать её с нуля. Так как она сильно изменилась. Тут как инженер решит.
Сейчас переносим полигональную модель модуля оптики в CAD.
Затем надо будет изменить центральную часть корпуса.
Надо признать, что это заняло гораздо больше времени чем планировалось. Так как изначально я не хотел тратить более 2-4 недель. Но желание добавить электронику для поднятия дисплея, вместо ручного - увеличило срок. А так же, доработки сразу двух моделей линз + много времени ушло на плату драйвер сверху. Так как по итогу было сделано 4е верхних частей модуля оптики. Где плата развёрнута по разному, и механика направлена в разные стороны. И всё ради того, чтобы решить, какой из вариантов оптимальный.
Центральную часть очков придётся сильно менять. Я пока не знаю что лучше: переделать там или сделать её с нуля. Так как она сильно изменилась. Тут как инженер решит.
👍6