Червячок Джимм Morris II 🪱 - твой личный AI-вирус. И дело даже не в показе Dune II.

Создан первый GenAI вирус 👾.
В недавнем исследовании, авторы создали первый вредоносный ИИ-червь, способный самостоятельно плодиться в среде с AI-агентами. Добро пожаловать в AGI world и вот вам новый вид кибератак 😵

Чтобы продемонстрировать возможности червя, исследователи создали почтовую RAG (!!!) систему, которая может отправлять и получать сообщения подключаясь к апи ChatGPT, Gemini и LLaVA. Специалисты обнаружили два способа эксплуатации системы: с использованием текстового самовоспроизводящегося запроса и встраивая самовоспроизводящийся запрос в изображение.
При этом, дядя не шарит в безе, поэтому опишет, как он понимает механизмы атак и нафига тут RAG в системе 🕵‍♂.

RAG тут ИМХО необходим для того, чтобы использовать некую стартовую базу атак на представленный контекст, а также, чтобы хранить инфо о сообщениях с уже атакованных хостов в локальной (глобальной?) памяти системы. Те RAG тут про память в системе агентов и поиск по БД зловреда. Плюс, ходя вот так по хостам юзеров системы, можно подобные уже увиденные форматы личных/корп. данных прихранивать в памяти червя и юзать их для более эффективного поиска подобных записей/сообщений на основе RAG запросов. Мол вот найди LLM-агент из того, что ты сейчас "видишь" подобные форматы из подсказки (базы атак/уже атакованных сабжей) RAGа. Нашел? Прихрани в памяти агента, передай на сервак зловреда, сделай в сабж опасную инъекцию и пусти дальше по сети сабж к другим юзерам 🤯

Исследователи подчеркивают, что Gen.AI черви станут новым вызовом перед службами безопасности технологических компаний и разработчиками стартапов.

Поэтому крепитесь 🦾 И будьте готовы.

LLM гамает в DOOM. 😠

Один энтузиаст тоже любит в выходные (и не только) гамать в игры. Тут он решил пригласить LLM на game рандеву в DOOM, заодно проверить как оно.

Для эксперимента автор не мог взять GPT-4 из-за ограничений с визуалом, поэтому выбор пал на GPT-4V. Но и тут не все так просто, нужно было придумать сетап для игры. Чтобы кормить нарезанные скрины мира он разработал приложуху VISION. Далее подкинул еще текстовое состояние и передавал это все в агента. Управление LLM также осуществлялось в текстовой форме и преобразованием текста в команды. Врубил память в агенте и прописал доп правила/инструкции на взаимодействие с игрой аля хождение по уровню, атаки и открывание дверей.


Что получилось?
Агент оказался не вполне полноценным, например, забывание, если враги оказались вне зоны видимости. Вороги тем временем оставались живы и могли и далее атаковать.
Также наблюдались зависания и повторения. Далее при попытке разобраться с ошибками поведения, автор просил объяснений от агента, но тот галлюционировал и слова порой связать не мог.

В любом случае, интересный эксперимент, показывающий возможности к симуляциям и поведению в среде LLM, как агентов. Думаю к версии GPT5+ все будет еще веселее и пугающе.👍

Мои в телевизоле ❤️👇

Увидел в Threads анекдот: Bloomberg потратил ~$10 миллионов (в AWS SageMaker) на тренировку BloombergGPT (50B параметров на 700B токенов), специально для финансовых задач. Иииии.... модель всухую проиграла на этих же финансовых тасках GPT-4, которая вышла за две недели до этого.

И тут всё было бы очевидно: "нужно сдаваться GPT-4". Если бы не одна маленькая деталь — GPT-4 в свою очередь либо проигрывала либо еле-еле перегоняла (используя Chain of Thoughts) специализированные файнтюны таких динозавров как BERT (2018, 110 лямов параметров) и RoBERTa Large (2019, ~700 млн параметров).

Мораль басни такова: если вы не лидер AI гонки, то не соревнуйтесь с OpenAI в общих задачах, это дорого и трудно. Но если есть прямые руки и конкретный таск — перегнать даже SOTA general purpose модель вполне возможно. А, и ещё: тренировать в AWS безумно дорого 😂

@ai_newz

👋 Приглашаем на «GIGA R&D DAY»
5 апреля | 12:00 | онлайн и офлайн в Москве

SberDevices зовёт в гости ML-разработчиков и Data Science-специалистов на конференцию R&D команд SberDevices по развитию GigaChat, NLP, Vision и Audio.

Будем изучать LLM и CV, распознавать жесты, генерировать вокал и 3D-модели, общаться с книгами и путешествовать по VR-галерее.

Программа:

👋 Сергей Марков, руководитель исследовательской программы GigaChat и R&D — «Открытие конференции»

👋 Валерий Терновский и Александр Капитанов — «R&D GigaChat: направления и фокусы»

👋 Никита Сидоров — «Исследования в alignment GigaChat»

👋 Прохор Гладких — «GigaSearch или RAG в GigaChat»

👋 Игорь Чурин и Мария Тихонова — «mGPT-модели для малых языков России»

👋 Артём Снегирёв — «Практические аспекты ранжирования ответов виртуального ассистента Салют»

👋 Алёна Феногенова, Альбина Ахметгареева и Мария Тихонова — «MERA: бенчмарк для оценки фундаментальных моделей»

👋 Никита Мартынов — «SAGE v1.1.0: мультиязычная правка орфографии и пунктуации»

👋 Сергей Марков — «Панельная дискуссия: GPT-5, как догнать и перегнать западных конкурентов в российских реалиях»

👋 Александр Нагаев — «Как научить модель понимать жестовую речь»

👋 Михаил Мазуров — «Генеративный 3D, быстрый синтез и реконструкция 3D-объектов»

👋 Марина Бессмертная — «Тихо! Сейчас будет та самая сцена: как автоматически находить цепляющие моменты в видео»

👋 Борис Жестков — «LLM-подходы в синтезе речи»

👋 Артемий Таразанов — «Управление речевыми характеристиками в модели синтеза речи и инструктивные данные»

👋 Максим Смоляков — «Не можешь сказать — спой! Синтез пения по нажатию одной кнопки»

👋 Афтерпати для офлайн-участников

🖥 Регистрируйтесь и выберите формат:
📹 Онлайн на YouTube
🕒 Офлайн в Москве. Приходите к 11:00.

‼️ Важно:
Адрес места проведения пришлем 4 апреля вместе с приглашением на митап.

#конференция_GIGA_RND_DAY

Подписывайтесь 💬Salute AI: канал/группа