Forwarded from Двач
Бизнес-слоп, наконец-то: реддитор рассказал, как его компания начала использовать ИИ, чтобы следить за показателями бизнеса и делать отчёты для начальства.

Поначалу всё выглядело шикарно — нейронка быстро выдавала данные о том, что фирма уверенно растёт и приносит отличную прибыль. Руководство поверило в эту инфу, начало на её основе менять стратегию продаж и готовить доклады для совета директоров.

Но позже выяснилось, что ИИ всё это выдумал. Модель просто рисовала красивые графики и генерировала цифры с потолка, которых в реальности не существовало. Но подавалось это так уверенно, что никто не сомневался.

Самое смешное, что разработчик заранее предупреждал — данные надо проверять вручную. Но тогда начальство ему ответило, что он просто мешает инновациям.
🤣2
Известия_ответы_на_вопросы_про_кражу_ии_профилей.docx
25.9 KB
Я не люблю вести каналы и блоги.
обычно моя тусовка это одни и те же технари,
мы обсуждаем, как рыбачили, а потом, как тестровали RAG c помощью кроссэнкодера.

И статьи я писать не люблю, потому что иногда пишу очень много на короткие вопросы,
потому что тема цепляет, а иногда удивляюсь с вопросов, например, не знала у apple есть
проблемы с внедрением ИИ. Ну, и пошли они в жопу)

буду кидать сюда черновики своих статей,
конечно, я использовала ИИ, даже с ИИ написать статью до сих пор пару часов.

как будет статья в самих Известиях я узнаю позже,
но обычно ее сильно не переписывают,
но рекламные интеграции, куда без них?:)

————————————————————————-

Прилетел запрос от Известий.

Охота киберпреступников за личными ИИ-профилями: мнения экспертов
Разработчики средств защиты зафиксировали новый этап в развитии вредоносных программ для кражи данных — теперь под удар попадают не только пароли и куки браузеров, но и конфигурации персональных ИИ-агентов. В одном из недавних инцидентов похититель информации сумел выгрузить рабочее окружение агента OpenClaw вместе с ключевыми служебными файлами и токенами доступа. О находке сообщили специалисты компании Hudson Rock.
Подробности здесь: https://www.securitylab.ru/news/569452.php
Необходимы письменные комментарии экспертов, которые ответят на следующие вопросы:
1. Чем личные ИИ-профили интересны киберпреступникам?
2. Какие схемы с их кражей фиксировались ранее?
3. Как будет меняться ситуация с кражей ИИ-профилей в 2026 году?
4. Против кого направлены и чем опасны подобные киберпреступления?
5. Как защититься от них?
❤1
Человеческий подход предполагает творчество, адаптацию к нестандартным ситуациям и анализ контекста, автоматизированный — скорость, масштаб и повторяемость атак, отмечает менеджер продукта группы развития ML-технологий ГК «Солар» Полина Сокол.

«Уже сегодня ИИ может генерировать код для эксплойтов, анализируя огромные массивы данных (включая открытый код в интернете), но качество такого кода часто оставляет желать лучшего. Он может быть грязным, избыточным или содержать ошибки. Человеку-разработчику приходится тратить время на доработку такого кода, чтобы он стал безопасным и эффективным. На российском рынке уже есть решения, которые могут анализировать коды на безопасность. Например, это Solar Appscreener, который обеспечивает комплексную безопасность разработки приложений благодаря технологиям статического, динамического анализа, анализа состава и цепочки поставок ПО (SAST, DAST, OSA). ИИ может предложить множество вариантов атак или обхода защиты, но для создания действительно сложных, точечных эксплойтов требуется экспертное участие», — говорит она. В будущем ИИ сможет автоматизировать поиск и эксплуатацию уязвимостей, но полная замена человека маловероятна, считает Полина Сокол.

https://kiberboloid.ru/trendi/ii-vs-pentester-mozhet-li-mashina-zamenit-cheloveka/
Это статья не по теме моего канала, как неправильно сообщество DS
интерпретирует разные размышления

https://habr.com/ru/articles/454482/
Forwarded from Типичный программист
Причиной падения AWS в декабре оказался ИИ-ассистент

Помните сбои AWS в декабре 2025? Financial Times выяснил: во всём виноваты их же ИИ-инструменты. Самый яркий случай — середина месяца, когда инженеры дали ИИ-агенту Kiro (их кодер на базе ИИ) починить систему анализа расходов клиентов. Kiro решил радикально: удалил всю среду и пересоздал с нуля. Итог — 13-часовой downtime сервиса в Китае.

Это уже второй инцидент за месяц с их ИИ: первый с Amazon Q Developer тоже дал сбой, хоть и не затронул клиентов напрямую. Amazon винит людей — "ошибка инженеров, не ИИ", инциденты "краткие и локальные", но сотрудники говорят обратное: автономные агенты берут на себя действия без надзора, и риски растут.

Подробности в статье.

@tproger
Читайте также в VK, Max и Дзен
👍1
https://iz.ru/2045829/dmitrii-bulgakov/vse-i-srazu-pochemu-kiberprestupniki-stali-okhotitsia-za-profiliami-ii-pomoshchnikov

Чем профили ИИ-помощников интересны киберпреступникам
По мнению специалистов Hudson Rock, в ближайшее время разработчики ВПО начнут добавлять в свои программы специальные модули для расшифровки и анализа ИИ-инструментов — сегодня так обрабатывают данные браузеров и мессенджеров. Как говорит в беседе с «Известиями» менеджер продукта группы развития ML-технологий ГК «Солар» Полина Сокол, личные профили ИИ-помощников уже стали для хакеров «золотыми ключами» к личностям жертв.

— Люди выгружают ассистентам всё: рабочие проекты, документы, планы и детали семейной жизни, — рассказывает эксперт. — Украсть такой профиль — значит получить готовое досье для социальной инженерии. Преступник копирует стиль общения и бьет точно в цель: от имени жертвы может писать ее близким или войти в корпоративную инфраструктуру, обходя защиту.
известия_ответы_хакеры_ИИ.docx
19 KB
Черновик комментарий для Известий.
1. Усилились ли атаки хакеров с использованием ии? Какие схемы они используют? Какие отрасли наиболее активно так атакуют?
2. Как защититься от таких уловок?
Как работает ИИ в руках злоумышленников
Самый распространенный сценарий атаки на российские структуры с использованием ИИ — фишинг, когда нейросеть пишет убедительные сообщения от лица руководства, коллег или близких, рассказал Сергей Зыбнев. Сейчас более 80% фишинговых писем составляются при помощи больших языковых моделей (тип программы искусственного интеллекта, которая может распознавать и генерировать текст).

В итоге проводить сложные кибератаки уже могут даже начинающие хакеры, уточнила менеджер продукта группы развития ML-технологий ГК «Солар» Полина Сокол.

— Например, возможно создание дипфейков в режиме реального времени, — сказала она. — Злоумышленники подделывают голос и видео для звонков руководителям или сотрудникам, чтобы авторизовать перевод средств или выдать вредоносное ПО за легитимное обновление. Или хакеры просят ИИ написать не вирус, а отдельные куски кода: к примеру, модуль для скрытого запуска программ, для кражи паролей из браузера или связи с сервером. Из этих легальных фрагментов собирается готовый троян.

Кроме того, хакеры используют автономные ИИ-агенты, которые изучают сеть жертвы, ищут уязвимости и выбирают момент для атаки без участия человека.

— В первую очередь под ударом промышленность, — отметила эксперт. — Далее ритейл и пищевая промышленность, через эти сферы идет большое количество трансакций и персональных данных клиентов. А телеком и СМИ злоумышленники атакуют для перехвата трафика и данных.

Здравоохранение также находится в зоне риска — злоумышленникам нужны данные из карточки пациентов, чтобы шантажировать жертву.

https://iz.ru/2049479/iana-shturma/novyj-kod-hakery-stali-vdvoe-chashche-ispolzovat-ii-dlya-atak
👍1
Как вы думаете, насколько надежен пароль:

G7$kL9#mQ2&xP4!w

Если проверить его стойкость в любом калькуляторе энтропии паролей (например, вот этом), то вы получите значение в 105 бит и это достаточно большое число, показывающее, упрощенно, сколько вариантов нужно перебрать, чтобы угадать пароль методом перебора (этакая мера непредсказуемости пароля).

Например, если у сейфа код из 4 цифр (0000–9999), то существует всего 10000 комбинаций и энтропия низка. Если код – 16 символов, где каждый может быть строчной буквой латинского алфавита (26 вариантов), заглавной (еще 26), цифрой (+10) и спецсимволом (допустим, еще 20), то на каждый символ пароля приходится примерно 82 варианта, а общее число комбинаций 82¹⁶ и энтропия будет очень высокой. Надежный пароль сегодня желательно должен иметь 60–80+ бит энтропии (в зависимости от модели угроз), а значит пароль выше удовлетворяет этому требованию. Или нет?

Но безопасность – это не про ощущения, а про математику и, что важно, про практику (а я же все-таки прикладной математик по образованию). Если пароль можно предсказать быстрее, чем предполагает его длина, – его реальная энтропия ниже. Так вот у пароля выше энтропия чуть меньше 30 бит! А знаете почему? Потому что его сгенерила LLM, которая при запросе "сгенери мне пароль" создает не случайную последовательность символов, а предсказуемую (LLM же предсказывает следующие буквы/слова, а не генерит их случайным образом).

Анализ паролей от разных моделей (Claude, GPT, Gemini и др.) показал, что:
➡️ Многие генерируемые пароли повторяются – одни и те же строки появляются снова и снова.
➡️ Пароли имеют узкие закономерности в выборе символов (определенные буквы/цифры появляются гораздо чаще, чем другие). Например, большинство паролей от Claude начинались с буквы, часто с "G", второй символ чаще всего был "7", а некоторые символы, такие как "L", "9", "m", "2", "$", "#" появлялись во всех или большинстве паролей, а большая часть алфавита почти не использовалась. ChatGPT почти всегда начинал с "v", а Gemini – с "k" и часто повторял ограниченный набор символов.
➡️ Внутри одного пароля обычно отсутствуют повторяющиеся символы, что тоже нетипично для случайной выборки.
➡️ Когда одну и ту же модель запрашивали с одинаковым промптом 50 раз, выдалось всего ≈30 уникальных паролей, при том что 18 из них были теми же, что и ранее сгенеренные.

Все это результат исследования Irregular, в котором еще много всяких рекомендаций для разработчиков, которые, как оказалось, стали активно задействовать LLM для генерации паролей, а также в различных агентских схемах, что делает их менее защищенными и более легкими для взлома.

Да, для специалистов по ИБ достаточно странно выглядит идея доверить генерацию паролей LLM, но для многих пользователей, это в порядке вещей. Тем более, что визуально созданные LLM пароли выглядят и правда надежно и соответствуют всем рекомендациям про спецсимволы, регистры, цифры, длину и т.п.

#аутентификация #ии
Please open Telegram to view this post
VIEW IN TELEGRAM
😱1💩1
Forwarded from Солар лайф
Forwarded from Киберболоид
💐 Прекрасные профессионалы: женщины в ИБ

Они побеждают в хакатонах, разрабатывают масштабные аналитические проекты, создают и меняют архитектуру сервисов, и искренне любят свою работу.

➡️ Для нового материала «Киберболоида» мы поговорили с инфобезопасницами об их пути в профессию и главных достижениях. А также выяснили, есть ли у женщин в инфобезе какие-либо преимущества перед мужчинами.

#киберболоид #тренды
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2