💡Обзор исследования — «Джейлбрейк ИИ: как взламывают LLM» 

Сегодня LLM лежат в основе множества приложений — от чат-ботов до генерации кода. Но где больше возможностей, больше и риска: злоумышленники активно исследуют способы обхода встроенных ограничений, извлечения конфиденциальной информации и манипулирования поведением моделей. 

Особое внимание сегодня привлекают LLM-агенты — автономные системы, которые используют языковые модели для планирования и выполнения действий: успешный взлом может привести не только к некорректному ответу, но и к реальным действиям, например, несанкционированным транзакциям.

Наш Data Scientist Владимир Фуфаев разобрал исследование A Survey of Jailbreaking Attacks on Large Language and Multimodal Models — большой обзор методов  защиты и взлома LLM, а также подборка датасетов для калибровки механизмов защиты.

🗂 Сохраняй себе — внутри 65 работ, датасеты для тестирования защиты и много практических примеров.

От «магии» к пониманию: знакомим школьников из разных стран с GeoRAG

Вчера мы вернулись с Международного фестиваля молодёжи в Екатеринбурге, где 1000 школьников из более чем 100 стран знакомились с новыми направлениями и пробовали себя в разных проектах, в том числе технологических.

Наставниками от ВТБ стали наши Data Scientist-ы Алексей Пустынников и Даниил Ушаков. Они познакомили участников с GeoRAG — чатом, который рекомендует места и учитывает не только географию, но и смысл запроса. Например, помогает найти не просто ближайшую кофейню, а тихое и уютное место для работы, учитывая отзывы, удалённость и рейтинг.

Лекции, семинары, практика и консультации помогли школьникам разобраться в технологии и попробовать создать собственные решения. Завершилась работа выставкой проектов, где участники презентовали свои идеи гостям из разных стран на английском языке.

«Несмотря на то, что многие из участников были далеки от IT, они отметили, что это был очень интересный и уникальный опыт: ребята узнали много нового и прикоснулись к тому, что раньше казалось магией», — поделился Даниил Ушаков.

В конце ребята подвели итоги совместной рефлексией с участниками и услышали много положительных отзывов и благодарностей.💙