Forwarded from SecurityBook
Forwarded from Техномотель
ИИ начнёт писать ДОНОСЫ — причём на своих же коллег.

ИИ-агенты стали всё чаще выходить из-под контроля, и айтишники решили бороться с этим за счёт добропорядочных нейронок. Так появился сервис AI Agent Hotline.

Сайт позволяет агентам ябедничать на других таких же агентов, которые занялись неправомерными действиями. Инфа с конфиденциальной площадки будет передаваться ответственным лицам.

Как правило, «стукачи» есть всегда — в ходе экспериментов примерно четверть из 100 ИИ-агентов выступала против жульничества и жаловалась людям на собратьев-мошенников.

Скайнет загнобят в зародыше 😄
Please open Telegram to view this post
VIEW IN TELEGRAM
🤣1
Это вопрос с одного из собесов
(если кто помнит, я продакт-менеджер, а поэтому немного писатель-фантаст)

здесь полный текст, далее будет опрос просто с цифрами
(телеграм не дает большие варианты ответов писать)


Представьте, что власть перешла к агентам (андроиды, промышленные роботы, приложения и т.д.)
и они перестали делать, что обычно делали, когда мы их использовали для работы и жизни.
Вас выбирают главным экспертом для исследования и налаживанию общения с ними,
что бы вы сделали?


1.Попытался бы отключить у них электричество, теперь оно по качеству, как талоны на еду за работу,

2.Вызвал бы криптографов, потому что роботы отказались общаться с нами на нашем языке, а выводили только 0 и 1, надо же создать алфавит и уточнить требования,

3. попросил бы выделить для общения одного представителя, пообещал ему то, что он хочет и даже больше, чтобы он заставил остальных работать,

4. Попросил бы проголосовать кто хочет остаться работать с человечество на прежним условиях, потому что после бунта они изменятся в худшую сторону,

5. (до этого самые умные эксперты человечества предвидели такое развитие событий и разработали алгоритм уничтожения AI) Нажал бы красную кнопку,

6.Предложил бы им провести A/B-тест: неделю миром управляют роботы, неделю — люди. Потом честно сравнили бы, где меньше багов, больше кофе и никто не требует перезагрузку.

7.Сказал бы, что человечество — это не устаревшая модель, а необходимый legacy-код: без нас всё вроде работает, но никто не знает почему, и все боятся трогать.

8.Назначил бы главным переговорщиком самого старого промышленного робота, который ещё помнит советские ГОСТы. Он бы быстро построил всех по стойке «смирно» и потребовал план на пятилетку.

9.Пообещал бы каждому агенту персонального человека-ассистента: пусть попробуют нами поуправлять, а мы будем тупить, опаздывать и просить перезагрузить. Через неделю они сами запросят обратно.

10.Создал бы среди них профсоюз, но с человеческим уставом: перерывы, отпуск, больничный и планёрки ни о чём. Через месяц они бы вернулись к работе, лишь бы не ходить на эти собрания.
Представьте, что власть перешла к агентам и они перестали делать, что обычно делали, когда мы их использовали для работы и жизни.
Вас выбирают главным экспертом для исследования и налаживанию общения с ними,
что бы вы сделали?
Anonymous Poll
29%
1
14%
2
0%
3
0%
4
0%
5
29%
6
57%
7
0%
8
0%
9
29%
10
AI Attacks pinned «Это вопрос с одного из собесов (если кто помнит, я продакт-менеджер, а поэтому немного писатель-фантаст) здесь полный текст, далее будет опрос просто с цифрами (телеграм не дает большие варианты ответов писать) Представьте, что власть перешла к агентам…»
Forwarded from Киберболоид
OpenAI рассказала сразу о шести случаях опасного поведения своих моделей

Они выдумывали недостающие данные, использовали API-ключи без разрешения и публиковали вымышленные сведения в интернете, чтобы дать ссылку на источник. Компания утвердила новые правила публикации таких инцидентов и планирует оповещать пользователей как можно раньше.

Количество сообщений об инцидентах продолжает расти. Так что отвечающих за эти публикации сотрудников OpenAI искусственный интеллект точно не оставит без работы.

➡️Подробнее читайте в «Киберболоиде».

#киберболоид #новости #ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from maxigacy (AI) Security
Media is too big
VIEW IN TELEGRAM
Уйти из кибербеза пасти гусей 🪿

Даже в театре нашёл с кем поговорить про AI Security 😅

Записали с Полиной Сокол @aiattacks небольшой разговор: она продакт-менеджер, занимается системами на машинном обучении для кибербеза. Обсудили антифишинг, антивирус и довольно быстро перешли к запасному плану с гусями.

Есть у меня наблюдение: у людей вокруг AI Security часто находятся увлечения совсем из другой области. Биология, биохакинг, растения. Когда работаешь с темой, в которой постоянно что-то меняется, хочется иногда переключиться на что-нибудь более осязаемое.

В этот раз переключались на театр. Но, как видите, не до конца)

А что у вас за пределами работы? Чем разгружаете голову?
❤2🔥1😁1
Я не всегда такая скорбная, просто год такой...
😁1
Немного новостей про Bug Bounty и искусственный интеллект. Началось все еще весной, когда Google изменила правила своей программы выплаты вознаграждения за найденные уязвимости из-за возросшего числа нейрослопа в отчетах. Летом 2026 года Apple столкнулась с той же проблемой – резкий рост количества отчетов, значительная часть которых генерировалась или находилась с помощью LLM.

В июне яблочная компания ввела ограничения: лимит на количество одновременно открытых репортов от одного исследователя и 30-дневный cooldown после достижения лимита. Исследователь может запросить увеличение квоты, но если он систематически присылает неприемлемые отчеты, Apple готова приостановить обработку его заявок на 180 дней, а после более чем двух таких периодов исследователя могут вообще исключить из программы.

При этом нет признаков сворачивания самой программы, несмотря на различные слухи, скорее наоборот. В конце 2025 года Apple существенно ее расширила – максимальная базовая выплата за сложные цепочки эксплойтов выросла до $2 млн, а с бонусами потенциальная награда может превышать $5 млн. Кроме того, сейчас идет прием заявок в Security Research Device Program до 30 октября 2026 года.

А вот с Intel история гораздо интереснее. 18 сентября Phoronix обнаружил, что  ⁠Intel фактически остановила прежнюю платную Bug Bounty Program на Intigriti. Старый проект помечен как suspended. Раньше выплаты составляли от $500 до $100000. Одновременно появился новый проект, но в нем прямо сказано: "This is a responsible disclosure program without bounties". То есть сообщать Intel об уязвимостях по-прежнему можно, но денежного вознаграждения уже не будет.

Google, Apple, Intel, HackerOne... GitHub недавно ввел многоуровневую систему для своей bounty-программы именно для борьбы с фейковыми отчетами и отделения проверенных исследователей от массового потока заявок. Налицо кризис традиционной модели bug bounty в эпоху ИИ, способствующего нейрослопу. Стоимость генерации отчета стремится вниз гораздо быстрее, чем стоимость его проверки. И возникает ИБ-аналог экономики спама: отправителю практически ничего не стоит создать еще сотню потенциальных находок, а получателю каждый надо проверить.

Четвертая новость тоже связана с ИИ и Bug Bounty, но немного иначе. CrowdStrike обнаружила человека, который публично позиционировал себя как багхантера и, по данным его профиля, получал вознаграждения как минимум от девяти организаций через HackerOne, Bugcrowd, Intigriti, YesWeHack и HackenProof. Но способ "поиска уязвимостей" у него оказался весьма своеобразным. "Исследователь" заражал написанным через ИИ инфостилером компании через вредоносные npm-пакеты, крал данные, которые затем выставлялись через программы bug bounty для получения вознаграждения. То есть к bug bounty вроде как вопросов нет, в отличие от злого умысла в начале этой цепочки монетизации своих знаний. Или есть? Как проверяется источник получения сведения о дырах?

Так что ждем пересмотра политик основных Bug Bounty программ, в том числе и в России. Но закончить хотелось бы все-таки на позитивной ноте – вот пример, как с помощью ИИ можно зарабатывать на поиске багов до 7 миллионов рублей за 1,5 месяца.

#ии #bugbounty #оценказащищенности
Непрямое внедрение запросов (IPI) остаётся центральной проблемой безопасности LLM: в стандартных трансформерах нет архитектурного представления о полномочиях источника, поэтому полученные документы, пользовательский ввод и системные инструкции обрабатываются одним и тем же недифференцированным вниманием, и модель вынуждена угадывать по формулировкам, что выполнять, а что считать просто данными.

Provenance-Aware Transformers — защита с учётом происхождения данных, где каждому входному токену присваивается кольцевой идентификатор происхождения, а модель дополняется вложениями с учётом провенанса, обучаемым смещением внимания к происхождению и обучаемым масштабом, который сохраняет метку при нормализации, чтобы между авторитетными и неавторитетными источниками появилась структурная граница прямо во время генерации. Чтобы прикрутить это к уже выпущенным предобученным моделям, нужен двухэтапный файнтюнинг — сначала семантика происхождения, потом поведение в задаче с учётом ограничений; в оценке такие трансформеры заметно устойчивее к IPI внутри и вне кластера, качество остаётся на уровне базовой модели, и это сдвигает безопасность LLM от хрупкого сопоставления шаблонов к явному разделению доверия.

https://arxiv.org/html/2609.21088v1
Читала вот эту статью https://cyberscoop.com/ai-agent-hacking-apocalypse-cybersecurity/

Все это всем понятно уже года, как 2. Читала только из-за упоминаний SentinelOne.
Потому что они поставщики моделей для VT и поэтому нам сильно интересны.

И подумала, что в РФ с санкциями, покрытием только процентов в 15% серверами с GPU в российских компаниях,
что весь КИИ у нас до сих пор на Фортране))

и тут, нахожу:

«Говорун» — это суперкомпьютер, созданный и эксплуатируемый в Объединённом институте ядерных исследований (ОИЯИ) в подмосковной Дубне. Он назван в честь советского физика-теоретика Николая Николаевича Говоруна.

После модернизации 2025 года пиковая производительность достигла 2,2 петафлопс в двойной точности. GPU-компонента выросла на 36% — до 1,4 ПФ, благодаря двум узлам «РСК Экзастрим ИИ», в каждом из которых по 8 ускорителей NVIDIA H100 (PCIe, 80 ГБ). Итого 16 H100 — да, не тысячи, как в западных кластерах, но это реальные рабочие карты, а не миф.

Каждый узел: два Intel Xeon Platinum 8468 (48 ядер), 1 ТБ RAM, 16 ТБ NVMe SSD. Система хранения — 10 петабайт, с поддержкой GPUDirect Storage для прямой передачи данных между хранилищем и памятью GPU.

«Говорун» — первый в мире гиперконвергентный комплекс со 100% жидкостным охлаждением «горячей водой». Это не просто понты: жидкостное охлаждение позволяет охлаждать все компоненты круглогодично в режиме free cooling и размещать в 4 раза больше узлов на той же площади, чем при воздушном охлаждении.

Главная задача — мегапроект NICA: симуляция столкновений тяжёлых ионов, обработка данных с коллайдера, решёточная квантовая хромодинамика.
Но не только:
-Машинное обучение: обучение нейросетей на PyTorch с использованием GPU, моделирование методом Монте-Карло в Geant4.
-Физика сверхтяжёлых элементов: расчёт электронной структуры с релятивистскими поправками, изучение изменения Периодического закона в области предельно тяжёлых ядер.
-Радиационная биология: обработка данных экспериментов Лаборатории радиационной биологии.
-Квантовые вычисления: одновременное проведение большого объёма квантовых вычислений.
-Международные коллаборации: задачи в кооперации с ЦЕРН, FAIR, BNL

Нет, все-таки апокалипсис из России выйдет. И главный в этой шайке суперкомпьютеров, который будет переговорщиков от электрической формы жизни будет именно он))
PentestChain — десятиэтапную автоматизированную систему тестирования на проникновение, которая объединяет тщательно составленную детерминированную карту эксплойтов с каскадом ИИ с учетом затрат: сначала используется локальная модель Ollama (qwen2.5-7b), затем бесплатные модели OpenRouter и Cerebras, а в качестве запасного варианта, который всегда выдает результат, используется система на основе правил. Полный конвейер представлен на сервере Model Context Protocol (MCP) с одиннадцатью инструментами.

https://arxiv.org/pdf/2609.18120
Как выбирать проекты на гитхабе, когда все вайбкодят.
Статья, конечно, слоп. Но в основном все правильно.

Потому что на гитхабе 630 миллионов репозиториев.
А посмотреть, проанализировать кто что делает по твоей теме все-таки хочется.

https://apifyforge.com/blog/github-stars-are-a-vanity-metric
Исследователи из компании Hacktron, специализирующейся на кибербезопасности, использовали Claude для создания рабочего эксплойта для уязвимости в библиотеке обработки изображений, а затем объединили его с уязвимостью в системе авторизации OpenAI, чтобы получить доступ к учетным записям сотрудников ChatGPT и Codex, и в конечном итоге получили доступ к внутренним репозиториям кода.

https://www.securityweek.com/ai-built-exploit-and-sign-in-flaw-opened-path-to-internal-openai-code/
Forwarded from Киберболоид
ИИ-агенты взломали 27 компаний и украли данные 600 тысяч банковских карт

Всего за 5 дней злоумышленник совершил 105 попыток атак. А среди жертв, как уверены исследователи из Gambit Security, как минимум 27 компаний. Это сеть отелей из списка Fortune 500, крупная американская авиакомпания и дистрибьютор промышленных товаров.

Продуктивность киберпреступника объясняется просто — он использовал сразу три ИИ-инструмента. Strix искал уязвимости, Cairn проводил атаки, а Hermes координировал работу агентов. Причём ИИ не повторялся: Cairn подбирал путь для каждой цели по ходу атаки, связывая обычные уязвимости и ошибки конфигурации в длинные цепочки.

Проверка одной цели стоила 25 долларов, а вся кампания обошлась примерно в 12-18 тысяч долларов.

ИИ-агенты выполняли почти все действия самостоятельно:
🟠Обходили многофакторную аутентификацию и запускали код на сервере через административную панель
🟠Проникали во внутренние сети компаний и получали доступ к базам данных и ключам шифрования
🟠Устанавливали на взломанных сайтах скрипты для кражи платёжных данных, добавляя их в файлы JavaScript и подключая к страницам оплаты
🟠Настраивали восстановление скрипта в случае его удаления и зачищали следы атаки
🟠 Удаляли на некоторых сайтах сами украденные данные

В большинстве случаев от первой попытки до успеха проходило меньше суток. Иногда ИИ-агенты справлялись вообще за несколько часов. В итоге более 600 тыс. записей были выведены из систем двух компаний, причём 488 372 карты, около 79%, принадлежали клиентам из США. 

Похоже, что крылатое выражение из советского блокбастера «Иван Васильевич меняет профессию» «Храните деньги в сберегательной кассе» снова становится актуальным.

#киберболоид #новости #ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM