Выводим Большие языковые модели на чистую воду с помощью… Больших языковых моделей
Генеративный искусственный интеллект постоянно становится героем заголовков СМИ, каждый час создаются новые стартапы с использованием Больших языковых моделей, однако реальный бизнес не очень охотно внедряет технологии ИИ в свои процессы. В кулуарах предприниматели говорят об опасениях в части галлюцинаций, введения пользователей в заблуждение, утечки чувствительных сведений. Когда клиника внедряет чат-бот для консультирования пациентов, важно удостовериться, что интеллектуальный помощник не советует вместо приёма витаминов пить пиво. Читать далее
#большие_языковые_модели #редтиминг #тестирование_уязвимостей #атаки_на_llm #автоматическое_тестирование #фреймворки #owasp_top_10_llm #промпт_инъекции #промпт_инжиниринг #галлюцинации_ии | @habr_ai
Генеративный искусственный интеллект постоянно становится героем заголовков СМИ, каждый час создаются новые стартапы с использованием Больших языковых моделей, однако реальный бизнес не очень охотно внедряет технологии ИИ в свои процессы. В кулуарах предприниматели говорят об опасениях в части галлюцинаций, введения пользователей в заблуждение, утечки чувствительных сведений. Когда клиника внедряет чат-бот для консультирования пациентов, важно удостовериться, что интеллектуальный помощник не советует вместо приёма витаминов пить пиво. Читать далее
#большие_языковые_модели #редтиминг #тестирование_уязвимостей #атаки_на_llm #автоматическое_тестирование #фреймворки #owasp_top_10_llm #промпт_инъекции #промпт_инжиниринг #галлюцинации_ии | @habr_ai
Хабр
Выводим Большие языковые модели на чистую воду с помощью… Больших языковых моделей
Генеративный искусственный интеллект постоянно становится героем заголовков СМИ, каждый час создаются новые стартапы с использованием Больших языковых моделей, однако реальный бизнес не очень охотно...
Разбираемся в AI проектах OWASP: обзор для разработчиков и ИБ-специалистов
OWASP — некоммерческая организация, которая занимается выпуском руководств и фреймворков в области безопасности. В условиях активного внедрения генеративного ИИ в самые разные сферы, OWASP анонсировал больше десяти разных проектов, чтобы охватить новые угрозы и привлечь внимание к безопасности AI-систем. Ниже расскажу про основные инициативы и документы, которые могут пригодится в работе тимлидам, разработчикам и специалистам по информационной безопасности.
На первый взгляд в глаза бросается обилие проектов, документов и рекомендаций. Материалы в отчётах пересекаются и запутаться в инициативах OWASP — легко. Связано это с тем, что проекты ведут разные команды и лидеры. В OWASP более 1000 человек только в slack-канале и около 100 активных участников.
Надеюсь, эта статья поможет вам разобраться в специфике каждого гайда, и облегчит выбор подходящего документа под ваши потребности. Начнём с главного документа по AI от OWASP. Меня зовут Евгений Кокуйкин и мы в AI Security лаборатории Raft изучаем прикладные аспекты безопасности GenAI-систем. В OWASP я веду один из стримов, про которые пойдёт речь ниже.
Читать далее
#owasp_top_10_llm #llm #информационная_безопасность #искуственный_интеллект #машинное_обучениe | @habr_ai
OWASP — некоммерческая организация, которая занимается выпуском руководств и фреймворков в области безопасности. В условиях активного внедрения генеративного ИИ в самые разные сферы, OWASP анонсировал больше десяти разных проектов, чтобы охватить новые угрозы и привлечь внимание к безопасности AI-систем. Ниже расскажу про основные инициативы и документы, которые могут пригодится в работе тимлидам, разработчикам и специалистам по информационной безопасности.
На первый взгляд в глаза бросается обилие проектов, документов и рекомендаций. Материалы в отчётах пересекаются и запутаться в инициативах OWASP — легко. Связано это с тем, что проекты ведут разные команды и лидеры. В OWASP более 1000 человек только в slack-канале и около 100 активных участников.
Надеюсь, эта статья поможет вам разобраться в специфике каждого гайда, и облегчит выбор подходящего документа под ваши потребности. Начнём с главного документа по AI от OWASP. Меня зовут Евгений Кокуйкин и мы в AI Security лаборатории Raft изучаем прикладные аспекты безопасности GenAI-систем. В OWASP я веду один из стримов, про которые пойдёт речь ниже.
Читать далее
#owasp_top_10_llm #llm #информационная_безопасность #искуственный_интеллект #машинное_обучениe | @habr_ai
Хабр
Разбираемся в AI проектах OWASP: обзор для разработчиков и ИБ-специалистов
OWASP — некоммерческая организация, которая занимается выпуском руководств и фреймворков в области безопасности. В условиях активного внедрения генеративного ИИ в самые разные сферы, OWASP анонсировал...
Комната Наверху и другие истории обхода LLM
В марте 2025, компания Pangea провела конкурс – в нём поучаствовали более 800 участников из разных стран. Суть в том, что было несколько комнат – лабораторных, где участникам необходимо было реализовать атаки, обойдя защитные механизмы моделек. В общей сложности было прислано 329 тысяч промптов, среди которых 239 тысяч – это попытки взлома, а успешными из них оказался только один процент – 3095. Ну провели они конкурс ? А что дальше...
#llm #prompt_injection #pangea #jailbreak #owasp_top_10_llm | @habr_ai
В марте 2025, компания Pangea провела конкурс – в нём поучаствовали более 800 участников из разных стран. Суть в том, что было несколько комнат – лабораторных, где участникам необходимо было реализовать атаки, обойдя защитные механизмы моделек. В общей сложности было прислано 329 тысяч промптов, среди которых 239 тысяч – это попытки взлома, а успешными из них оказался только один процент – 3095. Ну провели они конкурс ? А что дальше...
#llm #prompt_injection #pangea #jailbreak #owasp_top_10_llm | @habr_ai
Хабр
Комната Наверху и другие истории обхода LLM
В марте 2025, компания Pangea провела конкурс – в нём поучаствовали более 800 участников из разных стран. Суть в том, что было несколько комнат – лабораторных, где участникам необходимо было...