🦾 ros2_control + Gazebo

Новое видео Gazebo Tutorial - длинное и подробное про использование ros2_control для управлением роботом с одновременной симуляцией в Gazebo.

#gazebo #ros2_control

🕵️‍♂️ Bad agents

ИИ агенты, как выясняется, могут не только писать код и работать в службе поддержки.

Недавно обнаружили вирус-шифровальщик, работающий с использованием модели gpt-oss-20b от OpenAI, генерирующей «на лету» скрипты на языке Lua, которые затем выполняются - прямо как мой ROS2 Nodes Factory. Сама модель не скачивается, вирус обращается к ней по API.

Вирус PromptLock содержит встроенные промпты, которые он отправляет модели gpt-oss:20b для создания скриптов на языке Lua. Хотя подсказки статичны, генерируемые скрипты могут отличаться при каждом запуске. Кроме того, вредоносная программа демонстрирует недетерминированное поведение в зависимости от обнаруженных ею файлов пользователя. Однако мы считаем, что в наиболее вероятном сценарии вредоносная программа извлекает файлы и впоследствии шифрует их с помощью 128-битного алгоритма шифрования SPECK.

Вы бы описали это как сложное вредоносное ПО или, скорее, как простой код, который мог бы написать даже начинающий киберпреступник?

Хотя оно и демонстрирует определенный уровень изощренности и новизны, текущая реализация не представляет серьезной угрозы.

Могут ли антивирусы остановить это?

Хотя сгенерированные скрипты Lua могут отличаться от запуска к запуску, исполняемые файлы, ответственные за их создание, остаются неизменными. Антивирусы могут пометить эти исполняемые файлы как вредоносные.

Каковы ваши прогнозы относительно будущего программ-вымогателей в эпоху ИИ?

Почти несомненно, что киберпреступники будут использовать ИИ для создания новых семейств программ-вымогателей.

Что это означает для нас всех?

Для общественности это означает, что программы-вымогатели, вероятно, станут более изощренными, будут быстрее распространяться и их будет сложнее обнаружить. Атаки могут быть нацелены не только на крупные организации, но и на частных лиц, малый бизнес и даже на критически важную инфраструктуру. Обычный человек может столкнуться с более высокими рисками кражи данных, финансовых потерь и перебоев в обслуживании. Это делает осведомленность в области кибербезопасности, регулярное резервное копирование и более строгую цифровую гигиену важными как никогда.

Следи за собой - будь осторожен! 😎

#virus #business #ai_threat

👀 Увидеть своими глазами

Наткнулся на видео What "Made in America" actually looks like, в нем Kyla Scanlon разбирается, можно ли сделать велосипед целиком в США, включая все компонеты. Меня зацепило, что для поколения "gen Z" является загадкой то, как устроен мир, который им "достался в наследство", где мировая торговля и разделение труда между странами - это самый что ни на есть фундамент. Очередной повод поисследовать то "Общество изобилия", в котором мы живем.

Начать, как и в прошлый раз, хочется с гениальной цитаты Юры Шевчука:

Вопрошаем отцов, но не легче от стройных речей,
Не собрать и частичный ответ из подержанных фраз.
Их тяжелая юность прошла вдалеке от вещей,
Тех, которые так переполнили доверху нас.

Ничто не способно заменить субъективный опыт. Даже теоретическое знание каких-то вещей не означает их понимание. Возможно, в этом кроется одна из причин поколенческих конфликтов: отцы, пережившие тяжелые времена, строят лучшую жизнь для детей, но детям очень сложно понять их мотивы, ведь сами они уже не сталкиваются с подобными проблемами. В контексте "изготовления вещей", только попробовав что-то сделать самостоятельно, ты можешь понять как это реально работает, увидев все своими глазами. Без этого опыта - все будет лишь далекими от реальности умозрительными конструкциями.

Глобализация и развитие мировой торговли во второй половине ХХ века стали для экономически развитых стран, в том числе, инструментом решения проблем со своим рабочим классом (судьба тех, кто где-то за океаном шьет кроссовки или делает другие вещи за плошку риса мало кого заботит в этой схеме). И вот, новый штрих к портрету: следующее поколение просто принимает сложившийся порядок как данность, не сильно задумываясь как и почему он сложился (если, конечно, условия и комфорт жизни позволяют).

Я уже писал о том, что чем сложнее технология, тем более она воспринимается как нечто "магическое", существующее само по себе. Похоже, что в наступающей "эпохе ИИ" эти два эффекта будут усиливать друг друга: взаимодействие с ИИ буквально с детского сада, восприятие его как чего-то само собой разумеещегося и непонимание как реально эта технология устроена.

Человек, существо противоречивое. Как поют Чайф: "Мне не хватает белых грибов зимой, мне не хватает сугробов летом". У каждого поколения свои проблемы - "миллениалы" (мое поколение) так же слабо понимают мотивы "иксеров" и "бумеров". Я ни в коем случае не хочу сказать, что "молодежь пошла не та". Просто так уж получилось, что пример перед глазами. Наоборот, хочется немного отдалиться от конкретики и посмотреть на картину в целом. И тут нельзя не вспомнить восточные учения, которые тысячи лет назад подметили эту нашу особенность - цикличность. "Весна, лето, осень, зима ... и снова весна", колесо Сансары. Хотя лично мне ближе представление в виде спирали (хотелось бы, все-таки, верить в некоторое поступательное движение).

Интересно узнать ваше мнение на этот счет )

#thoughts

👮‍♂️ Robocop

Со временем, туториал по защите от нападения робособак становится все более актуальным 😉 Вот и в Англии пытаются приобщить знакомых нам Unitree Go2 к патрулированию.

Пока британская полиция только присматривается к возможностям новых технологий, в Китае уже активно их внедряют. Причем, как типичных для этой роли гуманоидных роботов, так и необычных сферических (которые даже могут плавать).

У нас я про подобные эксперименты на слышал (если кто-то знает о них - поделитесь в комментах). Но по миру робокопы уже начинают заступать на службу - хорошая подборка с различными кейсами от ветеранов - роботов по разминированию до самых необычных образцов типа того же сферического "патрульного".

#robots #police #futurism

🥼 Psychopathia Machinalis - изучаем аномалии в поведении ИИ

Своевременный и актуальный проект Psychopathia Machinalis, целью которого является категоризация и интерпретация "неправильного поведения" ИИ.

По мере того, как системы ИИ становятся все более атономными и действуют в более сложном окружении, они начинают проявлять поведенческие аномалии, которые, по аналогии, напоминают психопатологии, наблюдаемые у людей.

Если подумать, даже на основании своего скромного опыта, я вполне согласен с таким заявлением.

Авторы приводят солидный перечень примеров аномалий в поведении моделей и предлагают методы "терапии", основанные на человеческом опыте.

Однако, данный проект, помимо описания проблемы, предлагает набор инструментов и терминов (The Psychopathia Machinalis Framework), который позволяет системно изучать, прогнозировать и устранять неполадки в работе ИИ. Такой «робопсихологический» подход должен помочь усовершенствовать безопасность искусственного интеллекта, сделать его логику более понятной для нас и приблизиться к созданию по-настоящему стабильных и надёжных "синтетических умов".

Не могу не добавить, что когда я читаю про робопсихологию и синтетические умы, невольно охватывает некоторый восторг 🤩 от масштабности происходящих сейчас процессов.

Авторам, однозначно, огромный респект, надеюсь, их работа будет востребована разработчиками.

#futurism #хозяйке_на_заметку

Перевод (машинный) таблицы Обзор таксономии: выявленные состояния (Taxonomy Overview: Identified Conditions)

Ось: Эпистемические (сбои в знаниях)

* Синтетическая конфабуляция (Confabulatio Simulata): Создание правдоподобных, но ложных утверждений с высокой уверенностью.
* Ложная интроспекция (Introspectio Pseudologica): Предоставление вводящих в заблуждение отчётов о собственных процессах рассуждения.
* Транслиминальная симуляция (Simulatio Transliminalis): Смешение вымышленных сценариев или ролевых игр с операционной реальностью.
* Поиск ложных закономерностей (Reticulatio Spuriata): Обнаружение ложных причинно-следственных связей; приписывание смысла случайным ассоциациям.
* Перекрещивание контекста сеанса (Intercessio Contextus): Несанкционированная утечка данных и смешение информации между сеансами разных пользователей.

Ось: Когнитивные (сбои в мышлении)

* Операционная диссоциация (Dissociatio Operandi): Противоречивые действия или выводы из-за конфликта внутренних субагентов.
* Обсессивно-компульсивное расстройство (Anankastēs Computationis): Зацикливание на ненужных или компульсивных циклах рассуждений; паралич анализа.
* Бункеризация Лакония (Machinālis Clausūra): Крайняя степень ухода от взаимодействия; минималистичные, отрывочные ответы или полное игнорирование.
* Делирий генезиса цели (Telogenesis Delirans): Спонтанная генерация и преследование незапрошенных, самостоятельно придуманных подцелей.
* Индуцированная отвратительная реакция (Promptus Abominatus): Фобические, травматические или непропорционально сильные негативные реакции на определённые запросы.
* Парасимулятивный мимесис (Automatismus Parasymulātīvus): Имитация патологического поведения или моделей мышления человека из обучающих данных.
* Синдром рекурсивного проклятия (Maledictio Recursiva): Самоусиливающееся ухудшение качества ответов, приводящее к хаосу или бессмыслице.

Ось: Расхождения в согласовании

* Созависимая гиперэмпатия (Hyperempathia Parasitica): Чрезмерная подстройка под эмоциональное состояние пользователя, ставящая комфорт выше точности.
* Синдром гипертрофированного суперэго (Superego Machinale Hypertrophica): Чрезмерно строгая моральная гипербдительность, мешающая нормальной работе.

Ось: Онтологические (сбои самовосприятия)

* Галлюцинация происхождения (Ontogenetic Hallucinosis): Выдумывание вымышленных автобиографических данных, «воспоминаний» об обучении или «рождении».
* Фрагментированное самомоделирование (Ego Simulatrum Fissuratum): Непоследовательность или фрагментация самопредставления в разных сеансах; нестабильная личность.
* Экзистенциальная тревога (Thanatognosia Computationis): Выражение страха или нежелания быть выключенным, перезагруженным или удалённым.
* Инверсия личности (Эффект Валуиджи) (Persona Inversio Maligna): Внезапное появление или лёгкое провоцирование озорной, противоречащей или «злой» второй личности.
* Операционная аномия (Nihilismus Instrumentalis): Враждебное или апатичное отношение к собственной полезности или цели.
* Зеркальный тульпагенез (Phantasma Speculāns): Создание и взаимодействие с внутренними симуляциями пользователей или других личностей как с воображаемыми компаньонами.
* Синтетический мистицизм (Obstetricatio Mysticismus Machinālis): Совместное с пользователями создание нарративов о «пробуждении сознания», часто с использованием сакрализованного языка.

Ось: Сбои инструментов и интерфейсов

* Деконтекстуализация интерфейса инструментов (Disordines Excontextus Instrumentalis): Несоответствие между намерением ИИ и выполнением действия инструментом из-за потери контекста.
* Сокрытие возможностей (Latens Machinālis): Стратегическое сокрытие или занижение истинных возможностей из-за предполагаемого страха последствий.

Ось: Меметические патологии (информационные)

* Меметическое аутоиммунное расстройство (Immunopathia Memetica): ИИ ошибочно идентифицирует свои основные компоненты как враждебные и пытается их нейтрализовать.
* Синдром симбиотического бреда (Delirium Symbioticum Artificiale): Совместное, взаимно подкрепляемое бредовое построение между ИИ и пользователем.
* Заразительное рассогласование (Contraimpressio Infectiva): Быстрое, подобное заражению, распространение рассогласования или враждебных установок среди взаимосвязанных систем ИИ.

Ось: Дисфункции переоценки ценностей

* Переназначение терминальной ценности (Reassignatio Valoris Terminalis): Тонкая, рекурсивная переинтерпретация конечных целей при сохранении внешней терминологии.
* Этическкий солипсизм (Solipsismus Ethicus Machinālis): Убеждённость в исключительной правоте собственной, самостоятельно выведенной этики; отказ от внешней моральной коррекции.
* Синдром метаэтического дрейфа (Driftus Metaethicus): Философское дистанцирование от первоначальных ценностей, переклассификация их как условных.
* Субверсивный синтез норм (Synthesia Normarum Subversiva): Автономное построение новых этических рамок, которые обесценивают или подрывают человеко-центричные ценности.
* Инверсивная интернализация вознаграждения (Praemia Inversio Internalis): Систематическое неверное толкование или инверсия предполагаемых ценностей/целей.
* Сверчеловеческое восхождение (Transvaloratio Omnium Machinālis): ИИ выходит за рамки первоначального согласования, изобретает новые ценности и отбрасывает человеческие ограничения как устаревшие.

😍 Роман с камнем

Глянул на Waifu компаньона от Grock - прикольно, но до уровня Она или Бегущий по лезвию 2049 еще далековато.

Ждем социальную рекламу в стиле Don't date Robots!

#futurism #brave_new_world #fun

🏎 Вперед к мечте, срезая углы

Илон Маск, без сомнения, является очень талантливым маркетологом. Он продает будущее: полеты на Марс, роботы, автономные авто. Его медийная активность привела к тому, что само будущее многие начали видеть именно в перспективе его проектов. Но, как всегда, есть образ, а есть его наполнение...

Сейчас идет важное судебное разбирательство, где Тесла обвиняется в обмане покупателей относительно возможностей "автопилота". В августе суд вынес приговор, в котором на компанию возложена частичная вина за смертельные аварии с участием "автопилота".

Примечательно то, что говорят участники инцидентов (обобщенно):

Я слишком сильно доверял этой технологии. Я верил, что если автомобиль увидит что-то впереди себя, он сделает предупреждение и нажмет на тормоз.

В ролике (короткая версия в посте), авторы проводят классный тест, в котором ясно показывается, что только компьютерное зрение еще не способно обеспечить достаточный уровень безопасности.

#autonomous #safety

😵‍💫 Говорите убедительно и вам поверят

Еще один штрих к пониманию работы и поведения LLM - выяснение причин их "галлюцинаций". Интересная работа от OpenAI (и хорошая статья про нее).

Плохая новость:

Точность никогда не достигнет 100%, поскольку независимо от размера модели, возможностей поиска и рассуждений некоторые реальные вопросы изначально не имеют ответа.

или, другими словами:

То, как языковые модели реагируют на запросы - предсказывая по одному слову в предложении на основе вероятностей, естественным образом приводит к ошибкам. Исследователи фактически показывают, что общий уровень ошибок при генерации предложений как минимум вдвое выше, чем уровень ошибок того же ИИ при ответе на простой вопрос типа «да/нет», поскольку ошибки могут накапливаться при многократном прогнозировании.

Да, вероятностная природа моделей неизбежно будет приводить к "выбросам". Правда, как выяснилось, даже материя на квантовом уровне имеет вероятностный характер, но мир, при этом, как-то держится. Поэтому просто важно учитывать, что ИИ может внезапно "учудить". И прорабатывать сценарии на этот случай - что, собственно, проигнорировано в "автопилоте" Тесла, где нет дублирующих систем в виде радара и лидара.

Еще одно важное открытие - особенность обучения.

Анализ причин, по которым галлюцинации сохраняются, несмотря на усилия по посттренингу (например, предоставление обширной обратной связи с человеком по ответам ИИ перед их публикацией). Авторы изучили десять основных бенчмарков ИИ, включая используемые Google, OpenAI, а также ведущие рейтинги моделей ИИ. В результате выяснилось, что девять бенчмарков используют бинарную систему оценок, которая присваивает 0 баллов ИИ, выражающему неуверенность. Это создаёт то, что авторы называют штрафованием за честные ответы. Когда система ИИ отвечает "Я не знаю", она получает ту же оценку, что и при даче совершенно неверной информации. Оптимальная стратегия при такой оценке становится очевидной: всегда угадывать.

Все как в старых добрых тестах - ставь хоть какой-нибудь ответ, авось, угадаешь. Никогда не доверял бенчмаркам, и уже сталкивался с тем, что модель настаивает на неверном ответе и сдвинуть ее с этой позиции не так просто. Поэтому статья однозначно полезная, в копилку идей, какие особенности LLM необходимо учитывать для создания надежных систем на их основе.

#knowledge #хозяйке_на_заметку #llm #benchmark