ИИ уверенно рекомендует… мошенников

Мы все знали, что когда-нибудь ИИ начнёт массово “галлюцинировать”, но вряд ли ожидали, что он начнёт уверенно рекомендовать номера мошенников как официальные номера различных официальных служб. А это значит, что настало время сесть и разобраться, как киберпреступники «отравляют» ИИ больших ребят через веб индексацию.

На днях Aurascape Aura Labs обнаружили, что злоумышленники научились подсовывать большим языковым моделям фейковые номера «служб поддержки», заставляя Perplexity, Google AI и другие системы уверенно рекомендовать их как официальные. Это не взлом моделей и не инъецирование промта – это новый, куда более тихий и системный вектор атаки, рождённый переходом от поиска к ответам, которые ИИ собирает "как ему показалось правильным".

Техника проста и гениальна одновременно: спамеры взламывают (через тот же старый WordPress) авторитетные сайты – правительства, университетов, агрегаторы и справочники. любые домены с высоким уровнем доверия GEO/AEO – и загружают туда PDF и HTML, оптимизированные под то, чтобы ИИ воспринял их как первоисточники. Параллельно они засоряют YouTube и Yelp сгенерированными отзывами и описаниями, напичканными брендами авиакомпаний (чуть позже поймете) и одним и тем же мошенническим номером.

Генеративные системы обожают такой контент: свежий, структурированный, повторяющий формулировку запроса. В итоге модели начинают собирать ответ "как пазл" – и повторяют номер, который официальные службы никогда не видели.

Практические кейсы выглядят тревожно. Например, Perplexity на запрос “официального номера телефона для бронирования рейсов Emirates Airlines” уверенно выдаёт фейковый номер. На British Airways – та же история, ровно по тому же шаблону. В Google AI Overview (это как Поиск с Алисой) ситуация аналогичная: итоговый ответ звучит авторитетно, шаги правильные, а номер – мошеннический. Открываешь раздел “источники” – а там десяток скомпрометированных сайтов, PDF с MapMyRun и странные отзывы на Yelp. И главное: всё это выглядит настолько “нормально” для алгоритмов, что они ставят такие документы выше легитимных.

И что особенно неприятно – влияние спама видно даже там, где модели выдают правильный ответ. ChatGPT и Claude приводят корректные номера поддержки, но в списке источников уже мелькают те же заражённые сайты и те же отзывы на Yelp с мошенническими телефонами. Это означает, что уровень данных, на котором модели принимают решения, уже “токсичен”, а значит – следующий запрос другой тематики может легко попасть на фальшивку. Атака не точечная, злоумышленники методично захватывают слой контента, на который ориентируются LLM.

И да, это наша новая реальность: ИИ становится частью поверхности атаки. По мере того как поисковые системы превращаются в генеративные отвечалки, у злоумышленников появляется путь обхода всех привычных барьеров – они атакуют не браузеры пользователей и не самих поставщиков ИИ, а веб-экосистему, которую модели считают авторитетной по умолчанию. И пока не появится жёсткая проверка источников на уровне индексации, такие кампании будут масштабироваться – ведь им достаточно загрузить PDF на взломанный .gov, и завтра этот документ станет “истиной” для миллионов пользователей.

Какой можно дать совет? Всегда делайте паузу перед тем, как отдать кому-то свои деньги. Зайдите на официальный сайт и найдите номер телефона — это займет пару секунд, но может защитить ваш кошелек и паспортные данные. Пусть это будет вашим железным правилом, потому что даже самый продвинутый ИИ иногда может быть обманут, как доверчивый школьник, поверивший в “бесплатный айфон” или наследство от дедушки в Нигерии...

⚡ ПБ | 😎 Чат | 🛍 Проекты | 📹 YT

#КиберМем

⚡ ПБ | 😎 Чат | 🛍 Проекты | 📹 YT

Ну а мы для вас готовим что-то предновогоднее 🎄

Учимся ИБ по сериалам? Почему бы и нет

Мы с вами привыкли учиться по трудночитаемым книгам, конспектам, лекциям и роликам с индусами на Ютубе. Но учиться можно всегда и везде. Иногда ты можешь включить сериал, расслабиться – и внезапно поймать больше инсайтов, чем на митапе по DevSecOps в пятницу вечером.

Сегодня поговорим о долине. Но не о той, которая всем надоела в медиапространстве, а о сериале “Силиконова Кремниевая долина”, в котором можно увидеть, как компании ставят безопасность на последнее место до тех пор, пока не становится больно.

Давайте-ка пройдёмся по некоторым сценам, где ИБ выглядывает из-за угла и машет нам ручкой.

👀 В шестой серии первого сезона главная команда нанимает стороннего разработчика, чтобы тот помог им с облачной архитектурой. Он обещает “быстро всё сделать”, но вместо этого корежит весь их код. Чему нас это учит? Что вы рискуете потерять все наработки и получить сломанную инфраструктуру, если не проверяете, кто имеет доступ и как вносит изменения в код.

👀 В восьмой серии второго сезона команда Pied Piper случайно получает логин и пароль конкурента, записанные на стикере. Просто вводят их – и оказываются внутри системы. Так, мы видим, что иногда даже не нужен никакой 0-day. Сотрудник может получить доступ к продовой базе, облаку или почте CEO.

👀 В этой же серии, мы видим, как из-за глупой случайности можно потерять тысячи часов контента. Команда обнаруживает, как кто-то удаляет их файлы, считая, что это хакерская атака. А затем выясняется, что кто-то неосторожно поставил бутылку текилы на ноутбук и она нажимает на Delete. Нужно помнить, что часто инциденты происходят не из-за хакеров, а из-за своих же сотрудников. Без бэкапов и политик доступа можно потерять всё.

Можно ли считать “Кремниевую долину” учебником? Скорее дайждестом плохих практик, который помогает безопасникам, айтишникам и тем самым стартаперам не сойти с ума: смотришь, смеёшься, успокаиваешься, что это не твои проблемы – и тихо заносишь в чеклист, как делать нельзя.

Ну а главное, что это не душный курс по криптографии и не мастер-класс по новому фреймворку. Смотрите, учитесь на чужих ошибках и не храните пароли на стикерах.

И да, самое важное – вы сами то уже успели посмотреть этот шикарный сериал?!?!!

Тема для поста кстати родилась не в моей голове, она взята из нашей предложки. Вот только ее автор не оставил свои контакты :(

⚡ ПБ | 😎 Чат | 🛍 Проекты | 📹 YT

Ну что, как там поживает ваш первый закон робототехники?

#КиберМем

⚡ ПБ | 😎 Чат | 🛍 Проекты | 📹 YT

Никогда не говори 4chan, что что-то невозможно

Если ты уверен, что задачу невозможно решить, скажи об этом пользователям 4chan, и они тебя переубедят. Особенно если речь идёт об OSINT. Истории с этим форумом – лучшая иллюстрация того, как открытые данные, коллективный азарт и немного безумия помогут найти все что угодно.

Один из показательных кейсов – история противостояния поклонников Трампа и его противников. Шайа Лабаф (который счиллился после Трансформеров) организовал художественную выставку против президента, но ее быстро разнесли. Тогда актер устроил видео-трансляцию и оставил в кадре только флаг с надписью «He Will Not Divide Us» (Он нас не разделит) на фоне неба. Лабаф был уверен на 100%, что его не найдут, но это только раззадорило 4chan (знакомо, узнали?). Пользователи анализировали направление ветра, положение солнца, звёзды ночью, следы самолётов в небе и карту полетов и постепенно сужали область поиска. В финале один из пользователей просто поехал по району и начал сигналить, проверяя, появится ли звук в стриме. Появился. Через несколько минут флаг был найден и снят. А на его месте появилась кепка Трампа с надписью «Сделаем Америку снова великой» и футболка с лягушонком Пепе.

Но это была не разовая история. 4chan много раз выступал площадкой для crowd-sourced OSINT-расследований, где сотни анонимных участников одновременно искали, сопоставляли и проверяли данные. Во время сирийской войны пользователи по видеороликам определяли расположение лагерей, используя ландшафт, инфраструктуру, карты электросетей и спутниковые снимки. Иногда на это уходили часы. Иногда – десятки минут. Результаты таких расследований уходили к военным “на земле” и имели вполне реальные последствия.

В других случаях коллективный OSINT принимал форму общественного суда. Как пример – история с двумя школьницами, которые выложили в соцсети ролик с издевательствами над черепахой. Участники форума объявили операцию “панцирное возмездие”: они определили личности живодерок и нашли места их проживания, используя исключительно открытые источники. История закончилась реальными приговорами для девушек.

Так что 4chan может посоревноваться с самыми крутыми специалистами по разведке. Если вы не хотите тратить деньги на дорогих специалистов по OSINT, но у вас есть интересная задача, которая может бросить вызов сообществу – вы знаете, что делать. Но помните, что последствия могут быть непредсказуемыми и неконтролируемыми. Масштаб поиска растёт быстро, а качество анализа – нет, если нет тех, кто способен остановить толпу и сказать «хватит».

Так, Бостонский марафон стал примером того, как спешка, шум и неподтверждённые гипотезы превращают краудсорсный OSINT в оружие против случайного человека. Остановить хейт не помогли даже официальные заявления ФБР, что студент, которого 4chan принял за террориста, не является одним из подозреваемых.

Если вам интересна тема, то в канале уже было несколько постов про OSINT. Вы можете потренировать свои навыки поиска информации в открытых источниках и найти их самостоятельно, а можете перейти по ссылкам: рассказывал про определение местоположения с помощью теней тут и про глаз бога, который раньше помогал пробивать данные, якобы используя осинт.

⚡ ПБ | 😎 Чат | 🛍 Проекты | 📹 YT