🔎 Мета-линзы и их проектирование.
Часть 2. Оптимизатор.
✨ ✨ ✨
На видео — пример того, как мета-линза из кремния воздействует на волну: не оптимизированная vs оптимизированная.
Первая линза (нефокусирующая) — это стартовое состояние геометрии перед началом оптимизации. Геометрические параметры в ней просто равны 1.
Вторая — результат работы оптимизатора: размеры подобраны так, чтобы сфокусировать волну на расстоянии 150 микрон.
Почему именно 150 микрон 🤏🏻 ? Потому что именно туда я «попросил» её сфокусировать свет. А еще для создания анимаций на офисном ПК можно работать только в таком масштабе. Практический размер начинается от нескольких миллиметров, и считается, он кстати опять же на том же офисном ПК. Мощности хватает благодаря хитрым современным математическим методам конкретно для оптических задач, которые придумали только лет 10-15 назад.
Принцип того, как удаётся так гибко управлять геометрической системой, в если просто, описан Доктором Стрэнджем на картинке🪄
Немного подробнее, то применяется идея Стохастического градиентного спуска (SGD), адаптированного под оптические задачи. Я использую Adam-оптимизатор из библиотеки PyTorch — тот самый, что обычно применяют для обучения нейросетей и обновления весов.
Разница лишь в том, что здесь не нужен набор данных — всё моделируется напрямую.
В оптике методы численного моделирования очень точные и почти идеально совпадают с практикой. Экспериментальные же данные в больших объёмах собрать почти невозможно.
🙏
В робототехнике, наоборот, долгое время было проще собирать реальные данные, но сейчас и там всё активнее переходят к симуляциям.
В мета-оптике этот подход показывает себя особенно хорошо.
И еще...все на open-source. Считает распространения волн MEEP на Python. И отлично заменяет коммерческие проги типа COMSOL Multiphysics, Ansys Lumerica, CST Studio
Часть 2. Оптимизатор.
На видео — пример того, как мета-линза из кремния воздействует на волну: не оптимизированная vs оптимизированная.
Первая линза (нефокусирующая) — это стартовое состояние геометрии перед началом оптимизации. Геометрические параметры в ней просто равны 1.
Вторая — результат работы оптимизатора: размеры подобраны так, чтобы сфокусировать волну на расстоянии 150 микрон.
Почему именно 150 микрон 🤏🏻 ? Потому что именно туда я «попросил» её сфокусировать свет. А еще для создания анимаций на офисном ПК можно работать только в таком масштабе. Практический размер начинается от нескольких миллиметров, и считается, он кстати опять же на том же офисном ПК. Мощности хватает благодаря хитрым современным математическим методам конкретно для оптических задач, которые придумали только лет 10-15 назад.
Принцип того, как удаётся так гибко управлять геометрической системой, в если просто, описан Доктором Стрэнджем на картинке
Немного подробнее, то применяется идея Стохастического градиентного спуска (SGD), адаптированного под оптические задачи. Я использую Adam-оптимизатор из библиотеки PyTorch — тот самый, что обычно применяют для обучения нейросетей и обновления весов.
Разница лишь в том, что здесь не нужен набор данных — всё моделируется напрямую.
В оптике методы численного моделирования очень точные и почти идеально совпадают с практикой. Экспериментальные же данные в больших объёмах собрать почти невозможно.
В робототехнике, наоборот, долгое время было проще собирать реальные данные, но сейчас и там всё активнее переходят к симуляциям.
В мета-оптике этот подход показывает себя особенно хорошо.
И еще...все на open-source. Считает распространения волн MEEP на Python. И отлично заменяет коммерческие проги типа COMSOL Multiphysics, Ansys Lumerica, CST Studio
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4💊2✍1❤1🦄1
Please open Telegram to view this post
VIEW IN TELEGRAM
Гуманоидные роботы быстро развиваются, потому что к ним попадает большая доля инвестиций от вертикального роста рынка AI. У них синергия и высокая корреляция.
Компания 1Х представила автономных домашних роботов, которые видимо поставляются полностью "под ключ". Владелец может совсем не обладать техническими навыками. На это намекает превью к видео с пожилым человеком, а также мягкий, плюшевый и безопасный стиль самого робота.
Первая мысль, что проект может оказаться — "пшиком", который забудется и загнется через 2 года как большинство мелких роботов из прошлого. Но компания совсем не скам-контора, собравшая деньги на краудфандинге. Да, все слишком идеально в этом ролике — естественно не будет работать гладко, но это не значит что широкий рынок домашних роботов-гуманоидов отменяется. Основные сложности сейчас — в софте, который будет улучшаться. Механическая часть думаю с запасом на много лет вперёд.
Что удалось найти по компании:
🌟Основана в 2014 году (май 2014) в городе Moss, Норвегия.
🌟Производство там же.
🌟к 2024 году привлечено всего лишь 125 млн $ инвестиций, в инвесторах естественно OpenAI.
Можно сделать вывод, что они знают что делают.
Цена робота: 20 000$, что в рынке. Думаю их целевая аудитория может себе позволить. Вероятно, когда/если они докажут свою эффективность подтянется более широкая аудитория, потому что есть потенциал в полезности от таких гаджетов наравне с владением личным автомобилем.
Ссылка на видео
Компания 1Х представила автономных домашних роботов, которые видимо поставляются полностью "под ключ". Владелец может совсем не обладать техническими навыками. На это намекает превью к видео с пожилым человеком, а также мягкий, плюшевый и безопасный стиль самого робота.
Первая мысль, что проект может оказаться — "пшиком", который забудется и загнется через 2 года как большинство мелких роботов из прошлого. Но компания совсем не скам-контора, собравшая деньги на краудфандинге. Да, все слишком идеально в этом ролике — естественно не будет работать гладко, но это не значит что широкий рынок домашних роботов-гуманоидов отменяется. Основные сложности сейчас — в софте, который будет улучшаться. Механическая часть думаю с запасом на много лет вперёд.
Что удалось найти по компании:
🌟Основана в 2014 году (май 2014) в городе Moss, Норвегия.
🌟Производство там же.
🌟к 2024 году привлечено всего лишь 125 млн $ инвестиций, в инвесторах естественно OpenAI.
Можно сделать вывод, что они знают что делают.
Цена робота: 20 000$, что в рынке. Думаю их целевая аудитория может себе позволить. Вероятно, когда/если они докажут свою эффективность подтянется более широкая аудитория, потому что есть потенциал в полезности от таких гаджетов наравне с владением личным автомобилем.
Ссылка на видео
✍2❤1🔥1
Sмарт-Пауза
Гуманоидные роботы быстро развиваются, потому что к ним попадает большая доля инвестиций от вертикального роста рынка AI. У них синергия и высокая корреляция. Компания 1Х представила автономных домашних роботов, которые видимо поставляются полностью "под…
"Проблема гуманоидного робота"
Самый влиятельный техноблогер мира прокомментировал робота NEO. Ссылка на видео.
Он полностью подтвердил, что автономного ИИ на текущий момент почти - нет, и большинство действий в ролике выполнены человеком через VR управление. И он ПОДДЕРЖАЛ их в этом:
На самом деле эта поддержка много что значит для такой относительно не большой компании. Он действительно может своими обзорами как топить компании, так и привлекать к ним внимание.
#новости #роботы
Самый влиятельный техноблогер мира прокомментировал робота NEO. Ссылка на видео.
Он полностью подтвердил, что автономного ИИ на текущий момент почти - нет, и большинство действий в ролике выполнены человеком через VR управление. И он ПОДДЕРЖАЛ их в этом:
Сравнил это с последовательным введением автономного управления у Tesla.
Компания выходит на этап сбора данных за счет пользователей. И это рабочая и приемлемая концепция. Рисков меньше, чем у автомобиля на дороге🚗
На самом деле эта поддержка много что значит для такой относительно не большой компании. Он действительно может своими обзорами как топить компании, так и привлекать к ним внимание.
#новости #роботы
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
The Problem with this Humanoid Robot
Rant. We have a problem.
Joanna's WSJ video: https://youtu.be/f3c4mQty_so?si=XfZ9c5-3VKjYPeru
The Neo humanoid robot: https://x.com/1x_tech/status/1983233494575952138
MKBHD Merch: http://shop.MKBHD.com
Intro Track: Jordyn Edmonds
Playlist of MKBHD Intro…
Joanna's WSJ video: https://youtu.be/f3c4mQty_so?si=XfZ9c5-3VKjYPeru
The Neo humanoid robot: https://x.com/1x_tech/status/1983233494575952138
MKBHD Merch: http://shop.MKBHD.com
Intro Track: Jordyn Edmonds
Playlist of MKBHD Intro…
✍2
Новый-старый основной проект
Возвращаюсь к доработке робо-телеги. Наконец понял как правильно делать и сделал пассивное колесо.
⭐ цель⭐
✨ дописать всю систему управления: джойстик, FPV и follow me
✨ оформить проект для GitHub
✨ сделать bom лист
Возвращаюсь к доработке робо-телеги. Наконец понял как правильно делать и сделал пассивное колесо.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🔥3✍1
Sмарт-Пауза
Программирование с агентами — Cursor 👨💻 🧑💻 👨💻
Добрался наконец до Cursor. Работать с ним над ROS пакетами очень удобно.
Проблему, которую описывал в посте - что обычные LLM боты мало помогают в много-файловых архитектурах, агенты действительно могут осилить. Потому что имеют прямой доступ ко всем файлам.
Бесплатные запросы закончились быстро, и почему-то не обновляются уже несколько дней. Возможно не обновятся.
Но такой инструмент точно стоит своих $20. Чтобы за один запрос согласовывать все названия в yaml, xacro, hpp, cpp, xml, cmake...еще и в разных директориях.
Однозначно обязательная вещь для работы вместе с ROS если это больше чем хобби.
Просто как IDE Cursor довольно печальный без нейронок😕
Возможность автодополнения кода - это тоже часть их работы, и если токены закончились, то отключается и автодополнение, и даже слово не допишет. А это вообще-то база.
IDE на базе VS Code, а как мы знаем там можно сделать что угодно плагинами. Может ими можно поправить ситуацию. А может
#ros #заметки
Добрался наконец до Cursor. Работать с ним над ROS пакетами очень удобно.
Проблему, которую описывал в посте - что обычные LLM боты мало помогают в много-файловых архитектурах, агенты действительно могут осилить. Потому что имеют прямой доступ ко всем файлам.
Бесплатные запросы закончились быстро, и почему-то не обновляются уже несколько дней. Возможно не обновятся.
Но такой инструмент точно стоит своих $20. Чтобы за один запрос согласовывать все названия в yaml, xacro, hpp, cpp, xml, cmake...еще и в разных директориях.
Однозначно обязательная вещь для работы вместе с ROS если это больше чем хобби.
Просто как IDE Cursor довольно печальный без нейронок
Возможность автодополнения кода - это тоже часть их работы, и если токены закончились, то отключается и автодополнение, и даже слово не допишет. А это вообще-то база.
IDE на базе VS Code, а как мы знаем там можно сделать что угодно плагинами. Может ими можно поправить ситуацию. А может
#ros #заметки
Please open Telegram to view this post
VIEW IN TELEGRAM
✍1🔥1
Hi!
Закончил базовую переделку робоплатформу до рабочего вида и залил видео YouTube 👈, где подробно про нее рассказываю.
Дальше буду переводить ее на FPV управление. Это новая идея, которой я еще никогда не занимался. Но план уже есть.
https://youtu.be/hcGQ3y9os1Q
#робоплатформа #ros2 #печать
Закончил базовую переделку робоплатформу до рабочего вида и залил видео YouTube 👈, где подробно про нее рассказываю.
Дальше буду переводить ее на FPV управление. Это новая идея, которой я еще никогда не занимался. Но план уже есть.
https://youtu.be/hcGQ3y9os1Q
#робоплатформа #ros2 #печать
❤4⚡1
Кратко о сложности поднимать WebRTC на Raspberi Pi:
GROK:
Не закрыли. Это было только начало✨
GROK:
Всё. Точка.
Ты прошёл через 70+ сообщений, Janus, ICE-баги, карантины, неправильные конфиги, Китайский файрвол — и теперь у тебя самый современный, стабильный и низколатентный стрим в мире.
Поздравляю!
Пиши «вижу картинку» — и закрываем эту эпопею навсегда.
Не закрыли. Это было только начало
Please open Telegram to view this post
VIEW IN TELEGRAM
😁2👨💻2
FPV управление в VR.
Как дела?
Сейчас занимаюсь реализацией управления через VR-шлем. Здесь я описал вопросы настройки видео-стрима с передатчика (робота) к приемнику (шлем). И текущий статус.
✅ libcamera (библиотека для RPi4 камеры) + Gstreamer (библиотека для работы с видео)
Сначала протестировал передачу по UDP не кодированных jpeg со стороны робота, т.е с RPi4. Чтобы убедиться что стрим доходит до VR шлема в локальной сети.
Но не сжатые изображения сильно ограничены по разрешению и fps. В пакет влезали кадры не больше 640х360. Жить можно, но маловато. Для увеличение нужно кодировать видео поток.
✅ кодируем h264, и декодируем. Сложно было настроить процесс именно декодирования. До этого вообще не был знаком с тем что там происходит. Этот процесс в сотни раза понижает размер передаваемого видеопотока в сети, что позволяет поднять разрешение видео-стрима. Для начала в Unity редакторе на windows через скрипты C#. Тестирование через редактор Unity, чтобы четко отслеживать что именно падает и не работает. Шаг за шагом...
Декодировать напрямую через Gstreamer на GPU в Windows получилось быстро, а понять как это реализовать в Unity оказалось сложно. Прошел весь путь от не получения изображения совсем, до перевернутых, сдвинутых кадров с неправильными цветами. По итогу получилось правильно все декодировать. 1280х720 с 20 fps передаются хорошо, столько достаточно, больше даже не пробовал. Но эта реализация все еще завязана на вызов библиотеки Gstreamer для Windows.
🔘
Только VR шлем это — Android. А теперь надо реализовать это все на его библиотеках. Нужно научиться декодировать на VR шлеме. Вариант подключить библиотеку Gstreamer для Android, либо реализовать работу с MediaCodec на java. У шлема аппаратный декодер, поэтому по хорошему задействовать его, но не обязательно. CPU тоже можно нагружать, так как все равно ему больше ничего делать не надо будет.
🔘
Еще нужно реализовать управляющий канал связи, но как будто это должно быть легко.
PS. Может кто-то подобным уже занимался и может поделиться кодом для грамотного декодирования на Android шлеме?
Как дела?
Сейчас занимаюсь реализацией управления через VR-шлем. Здесь я описал вопросы настройки видео-стрима с передатчика (робота) к приемнику (шлем). И текущий статус.
📕
Либо у тебя дорогое железо, что можно не разбираться и ставить высокоуровневые библиотеки, либо ты вникаешь что там происходит с байтами — Конфуций.
✅ libcamera (библиотека для RPi4 камеры) + Gstreamer (библиотека для работы с видео)
Сначала протестировал передачу по UDP не кодированных jpeg со стороны робота, т.е с RPi4. Чтобы убедиться что стрим доходит до VR шлема в локальной сети.
Но не сжатые изображения сильно ограничены по разрешению и fps. В пакет влезали кадры не больше 640х360. Жить можно, но маловато. Для увеличение нужно кодировать видео поток.
✅ кодируем h264, и декодируем. Сложно было настроить процесс именно декодирования. До этого вообще не был знаком с тем что там происходит. Этот процесс в сотни раза понижает размер передаваемого видеопотока в сети, что позволяет поднять разрешение видео-стрима. Для начала в Unity редакторе на windows через скрипты C#. Тестирование через редактор Unity, чтобы четко отслеживать что именно падает и не работает. Шаг за шагом...
Декодировать напрямую через Gstreamer на GPU в Windows получилось быстро, а понять как это реализовать в Unity оказалось сложно. Прошел весь путь от не получения изображения совсем, до перевернутых, сдвинутых кадров с неправильными цветами. По итогу получилось правильно все декодировать. 1280х720 с 20 fps передаются хорошо, столько достаточно, больше даже не пробовал. Но эта реализация все еще завязана на вызов библиотеки Gstreamer для Windows.
🔘
Только VR шлем это — Android. А теперь надо реализовать это все на его библиотеках. Нужно научиться декодировать на VR шлеме. Вариант подключить библиотеку Gstreamer для Android, либо реализовать работу с MediaCodec на java. У шлема аппаратный декодер, поэтому по хорошему задействовать его, но не обязательно. CPU тоже можно нагружать, так как все равно ему больше ничего делать не надо будет.
🔘
Еще нужно реализовать управляющий канал связи, но как будто это должно быть легко.
PS. Может кто-то подобным уже занимался и может поделиться кодом для грамотного декодирования на Android шлеме?
✍1🔥1