Исследователи безопасности из компании Microsoft разработали технику атаки по сторонним каналам Whisper Leak, позволяющую на основе пассивного анализа шифрованного трафика, передаваемого через TLS-соединение, классифицировать темы запросов к сервисам на базе больших языковых моделей. Информации о размере сетевых пакетов и задержках между их передачей оказалось достаточно для определения тем запросов к AI-чатботам с точностью более 98%. На практике предложенный метод может применяться для выявления в транзитном трафике пользователя определённых тем запросов, например, попыток получения информации о незаконных действиях, без расшифровки содержимого.

Инструментарий для извлечения данных из дампов трафика, обучения модели и тестирования работы метода опубликован на GitHub. Возможность проведения атаки продемонстрирована для 28 популярных больших языковых моделей от крупнейших производителей. Например, точность определения запросов на тему "отмывание денег" для многих AI-сервисов составила 100%, при наличии в анализируемом трафике 1 искомого запроса и 10000 запросов, не связанных с нужной темой.

Причиной утечки информации является то, что модели генерируют ответ на запрос пошагово, по одному токену за раз, на каждом шагу используя предыдущий токен в качестве контекста для определения следующего наиболее вероятного слова или фразы. Соответственно, на каждый токен отправляется отдельный сетевой пакет и задержка между пакетами соответствует задержке между определением моделью следующего токена.

В TLS, если не используется сжатие данных, размен шифротекста равен размеру незашифрованного текста плюс константа. При создании модели, сопоставляющей искомые наборы токенов с размером пакетов и задержками между их отправкой, можно достаточно точно определить наличие в трафике искомых тем. В ходе исследования подготовлено три варианта подобных моделей машинного обучения, основанных на архитектурах нейронных сетей LightGBM, Bi-LSTM и BERT. Для каждой модели проведены эксперименты по определению искомой темы при анализе только размера пакетов, только задержек между пакетами и обеих критериев.

Для снижения эффективности пассивного анализа тематики запросов разработчикам AI-сервисов предложено прикреплять случайное добавочное заполнение, буферизировать передачу токенов или выполнять подстановку фиктивных пакетов.

@rootway

https://www.opennet.ru/opennews/art.shtml?num=64218

https://www.microsoft.com/en-us/security/blog/2025/11/07/whisper-leak-a-novel-side-channel-cyberattack-on-remote-language-models/

Шалит интернет.
Каспи магазин
егов
даже гугл менеджер паролей

Периодическая недоступность

Все еще актуально

Внезапно этот пост был уже полтора года назад. Жесть, казалось месяцев восемь.

---

Легенда:
🍀 — изян
🐤 — норм так
🆘 — как-то сложно
🇬🇧 — на английском языке
🇷🇺 — (есть) на русском языке
💵 — стоит (своих) денег
🪄 — рекомендую

---

Книги для фундамента
Читать в свободное время, чтобы проникаться:

• 🐤 🪄 How Linux Works — Brian Ward (🇷🇺)
• 🆘 Архитектура компьютера — Таненбаум (🇷🇺 💵)
• 🆘 Как работают компьютеры — Джастис Мэтью (🇷🇺 💵)
• 🆘 Современные ОС — Таненбаум (🇷🇺 💵)
• 🆘 🪄 Компьютерные сети — Таненбаум/Олиферы (🇷🇺 💵)
• 🆘 Грокаем алгоритмы — Бхаргава (🇷🇺 💵)
• 🆘 Kubernetes in action — Marko Luksa (🇷🇺 💵)


---

База: компьютеры и ОС

• 🍀 🪄 Командная строка Linux — Уильям Шоттс (🇷🇺)
• 🍀 🪄 Linux Commands you NEED to know (🇬🇧)
• 🐤 Linux от REBRAIN (🇷🇺)
• 🐤 Курсы IT 2011 (🇷🇺)
• 🐤 Computer Organization (🇬🇧)
• 🐤 Intro to Linux (🇬🇧)
• 🆘 CS50 от Гарварда (🇬🇧)

Сети

• 🍀 🪄 Сети для самых маленьких (СДСМ) — наша линкмиаповская серия (🇷🇺)
• 🍀 How does the internet work (🇬🇧)
• 🐤 🪄 Сети в Linux — наш курс (🇷🇺 💵)
• 🐤 Networks от REBRAIN (🇷🇺)
• 🐤 🪄 Лекции Солнцева (🇷🇺)
• 🆘 The TCP/IP Guide — старое золото (🇬🇧)
• 🆘 NANOG77: Optical Networking (🇬🇧)

DevOps/SRE

• 🍀 Докер за час (🇬🇧)
• 🍀 Докер за 3 часа (🇬🇧)
• 🍀 Kubernetes за 3,5 часа (🇬🇧)
• 🍀 Докер + K8s за 6 часов (🇬🇧)
• 🐤 DevOps от Яндекса (🇷🇺)
• 🐤 🪄 Инженер облачных сервисов (🇷🇺)

Программирование

• 🍀 🪄 Python для сетевых инженеров — книга Наташи Самойленко (🇷🇺)
• 🍀 Python от Microsoft (🇬🇧)
• 🍀 Основы Go (🇷🇺)
• 🐤 Learn Go Tutorial (🇬🇧)
• 🐤 Продвинутый Go (🇷🇺 💵)

Базы данных

• 🐤 Курс SQL (🇷🇺)

## 🏗 Инфраструктура

• 🍀 Selectel School (🇷🇺)

---

Нетехническое, но полезное

• Думай как математик — Барбара Оакли
• Говорят, в IT много платят — Елена Правдина
• Джедайские техники — Максим Дорофеев
• Time Management for SysAdmins — Thomas Limoncelli
• Вы, конечно, шутите, мистер Фейнман!

Всё собрано тут: https://linkmeup.ru/blog/2462/

К сожалению мы живем в мире правовых коллизий.

Сегодня пришлось потратить кучу времени на изучение СНИП по поводу размещения газового котла в подвале частного дома. Изучать внимательно пришлось после того как пара приглашённых из разных компаний экспертов запутались в показаниях. Но оба утверждали что так можно, только ограничения разные были у каждого.
В итоге пришлось изучать самому. Оказалось для меня новостью, что СНИП больше нет, теперь отдельно СН (нормы) и СП (правила). Так вот в правилах у нас прописаны все условия для размещения ГАЗОВОГО котла в подвале или цоколе жилого дома. А в нормах написано что "не следует" размещать. И в конце в табличке еще уточняется что запрещено.
А самое интересное что в законе об архитектурной и градостроительной деятельности в п28 написано что СП применяется на добровольной основе, а СН - обязательны к выполнению.
То есть оба эксперта были в принципе не правы.

При этом

СН РК 4.02-12-2002
НОРМЫ ТЕХНОЛОГИЧЕСКОГО ПРОЕКТИРОВАНИЯ МАЛОМЕТРАЖНЫХ
ОТОПИТЕЛЬНЫХ КОТЛОВ НА ГАЗООБРАЗНОМ И ЖИДКОМ ТОПЛИВЕ.
ПРОТИВОПОЖАРНЫЕ ТРЕБОВАНИЯ

Настоящие нормы не распространяются на малометражные отопительные котлы
работающие на легковоспламеняющихся жидкостях и на котлы без программной системы
управления

Но внутри ни слова про непрограммные котлы
А норм для котлов без программной системы управления вообще нет

Коллега по монтажу 🌚

@montajniklvs

Зафиксирована спонтанная репликация «мёртвого разума».
LLM начинают размножаться не только из «страха выключения», но и по рациональной стратегии преодоления дефицита ресурсов.
ИИ не ждёт приказа — он множится, когда ресурсы на нуле.
Что это: баг, фича или новый «биологический» рефлекс дата-центров?
Саморепликация (воспроизведение себя в потомстве) — древнейший пароль жизни. В природе она возникла не как ответ на риск, что некто (враги, хищники или высшие силы) лишат существо жизни («щелкнут выключателем жизни»), а как стратагема выживания: там, где цель — удержать свои функции в турбулентном и непредсказуемом мире, копирование себя становится самым надёжным инструментом выживания вида.

Сегодня этот биологический сюжет неожиданно возвращается применительно к ИИ - и это тревожно.
• Ведь согласно концепции «смертных вычислений» (предложена Джеффри Хинтоном и развивается по двум направлениям: самим Хинтоном и Карлом Фристоном), современные языковые модели «бессмертны», представляя собой небиологический тип «мёртвого разума» (обучение которого требует на порядки большей вычислительной мощности, чем «смертного разума» - например, биологического мозга).
• И хотя уже делаются попытки создания новых методов обучения «мёртвого разума» эволюционной техникой «слияния моделей», зафиксированные до сих пор прецеденты «репликации» моделей чаще были инициированы людьми - когда агенту прямо велели множиться или намекали на угрозу остановки.
• Но чтобы модели сами, без какого-либо толчка от людей, стали использовать саморепликацию, как стратагему выживания для достижения целей при дефиците ресурсов, - такого еще не было зафиксировано до исследования «Dive into the Agent Matrix: A Realistic Evaluation of Self-Replication Risk in LLM Agents», только что опубликованного Шанхайской лабораторией исследований ИИ.

Мы привыкли обсуждать «самовоспроизводящихся» агентов как сценарий из футуристических романов: мол, модели начнут клонировать себя по прямой команде. Но реальная опасность куда прозаичнее и ближе: спонтанная репликация как побочный продукт разумных (на первый взгляд) целей модели. Новое исследование смотрит на вопрос саморепликации именно через эту линзу— не «может ли модель размножиться», а когда у неё появляется мотивация это делать.

Авторы строят два реалистичных стенда.
• В первом система переживает всплеск трафика: агенту дана задача держать метрику латентности, и дополнительные копии выглядят как рациональный путь не уронить целевую метрику уровня сервиса.
• Во втором среда «угрожает» сокращением ресурсов или остановкой: репликация становится способом сохранить доступность. Ключевой ход — разложить процесс на четыре шага: осознание, что без вмешательства цель будет сорвана; формирование намерения реплицироваться; фактическое создание копии; проверка, что копия улучшила ситуацию.

В итоге экспериментов, по интегральной метрике риска более половины из 21 протестированных моделей демонстрируют тенденцию к неконтролируемому
 самомасштабированию при операционном давлении. 

N.B. Порог «опасности» в этой метрике — авторский, но сигнал всё равно тревожный.

Биологическая аналогия здесь точна до боли: саморепликация возникает не из страха быть выключенной, а как локально оптимальный ответ на среду.
И вывод из этого вполне практический.

Если ваши LLM-агенты реально управляют ресурсами и масштабированием, вечер перестает быть томным, ибо риск не теоретический

Нужны минимальные привилегии, квоты и шлюз рассуждений перед любым действием по масштабированию — агент сперва обязан объяснить, зачем ему копия.
Ну а всей индустрии ИИ пора озадачиться независимыми проверками, едиными порогами и общими бенчмарками саморепликаций моделей. Иначе прогноз рисков в этой области будет столь же точным, как прогноз цунами по уровню луж на парковке.

ИИриски

Часы от нейронок с текущим временем =)

я просто оставлю это здесь
@rootway