Всё, что не тропа - препятствие: простой рецепт безопасной навигации

Большинство помощников для слепых видят объекты, но не умеют рисовать ходовую “дорожку”. Инстанс-сегментация различает людей, но путается на асфальте и тротуарах. Семантика видит дорогу, но не отличает одного препятствия от другого. Короче теория чудесная, но практика рискованная, а это проблема.

Исследователи предлагают простую, но рабочую философию: сегментируй не опасности, а безопасное пространство, то есть всё, что вне него, по умолчанию - препятствие. Это снимает часть проклятия детекции всего подряд (а именно так представляют себе работу ИИ незрячие) и даёт пользователю понятный канал: иди здесь 😐. За счёт паноптической сегментации (слияние instance + semantic) модель отрисовывает проходимую зону и объекты вокруг, что критично для навигации с визуальной обратной связью.

Ща будет мясо, или кааак это работает? 🏸🏸

Архитектура: двухветочный конвейер на ResNet101-FPN.

🪰 Ветка instance - single-stage на базе RetinaNet-головы с прототипами масок и коэффициентами (внимание-карты), чтобы быстро генерировать маски отдельных объектов.
🪰 Ветка semantic - “stuff” и “things” головы, поднимаемые up-conv и сведённые по числу каналов классов.
🪰 Паноптическая склейка: тензоры из обеих веток выравниваются и объединяются в panoptic logits, сохраняя и “вещи”, и “фоны” без потери детализации.

Итог - паноптические маски, пригодные для реального времени и интеграции в цепочку очки-камера-процессор-протез.

Визуальная обратная связь логично ложится на протезы зрения - ELVIS V и иже с ним, когда у пациента остаточное зрение отсутствует и нужна замена, а не просто усиление или суррогат (вибро, аудио). На ранних стадиях снижения зрения эта штука может выступать как электронная “трость-очки”, снижая травмы и страх перемещения - особенно в сложной городской среде. Хотя трость все равно нужна.

#ИИ #Наука #Мозг #ELVISV #Демчинский

А впереди еще одно событие. Оооочень важное, которым я тут спамил как будто мне деньги за это дают - MedPrompt Summit!!!

Сайт посмотрите https://aspectum.tech/mps

и ВНИМАНИЕ‼️ помните я писал, что будут нужны волонтеры? Так вот, время пришло и если те, кто отписывался когда-то еще готов и может 31 октября уделить день, чтобы помочь организационно, то отпишитесь в комментариях пожалуйста! Событие очное, пишите не только те, кто уже писал :)

А еще мы ищем спонсорские деньги, чтобы окупиться, если кто-то открыт поддержать любой монеткой, то напишите мне в личку, я напишу данные куда + фамилия и инициалы. Мы их на пресс-воле разместим в благодарность (картинка в публикации) 😇

Новая 6 версия недоступного вам глазного подорожника! 😃

Зато интересно

Хочу к моменту, когда сделаю его доступным, чтобы было что-то новое и прикольное - выписка в web 🤩

В этой версии мы смотрим на промптинг с другой, более профессиональной стороны, которая открывает нам новые возможности не только как в подорожнике, но и в других областях ☺️

📣 Внимание, открыт доступ к записи моего интенсива по ChatGPT!

Когда-то проведенный онлайн интенсив до сих пор актуален! И все еще будет очень полезен, только теперь дешевле.

Почему это важно? Потому что сейчас я готовлю капитальный авторский курс, большой и дорогой, который научит всему, что нужно, чтобы уверенно работать с LLM, а этот интенсив будет доступен до тех пор, пока не потеряет своей ценности ⚠️

Мне стала доступна Sora 2, так что я теперь оторвусь в своих творческих образах ✌️

А пока, не забывайте про новую конференцию года MedPrompt Summit!