🤖 Карта архитектуры экосистемы генеративного ИИ, разработанная Ассоциацией ФинТех при участии ООО «Ген ИИ», теперь доступна и в интерактивном формате по ссылке. В карте представлены как разработчики базовых генеративных моделей, так и поставщики инструментов и сервисов, которые используются для создания продуктов и решений на их основе. В карту включены и разработки глобальных игроков, и решения отечественных вендоров.

Интерактивная карта регулярно обновляется. Так, в последнем обновлении добавлены новые сервисы, а также категория отслеживания дипфейков.

У пользователей также появилась возможность скачать актуальный вариант карты в кратком и общем представлениях и предложить сервис для добавления в карту.

AI Security Framework от Snowflake
#иб_для_ml

Ссылка на статью по системе

О чем документ
Об угрозах, которые существуют для систем с ИИ. Каждая угроза из перечисляемых в отчете имеет свою категорию или ассоциированный актив, область риска (по сути информация или ее свойство, подвергаемые риску) и причины возникновения. Помимо этого, к каждой угрозе они приводят возможный ущерб и примеры, а также дают рекомендации по снижению таких рисков.
Приведены такие угрозы, как, Утечка тренировочных данных (Training Data Leakage), Конфиденциальность данных (Privacy, имеется в виду угроза inference-атаки доступа к обучающим данным через модель), Неточность модели (Bias, то есть способность ошибаться в критичных ситуациях), и еще 16 других.

Даже такое есть
Sponge samples
Угроза возникновения атаки, заключающейся в попадании в модель таких входных данных, что значительно увеличат ее потребление энергии и время на вычисление ответа.
Последствия - значительное падение качества всех ответов мл-сервиса, производительности вплоть до отказа в обслуживании, а также возможность комбинировать эту технику с другими атаками для усиления их эффекта (например, с evasion-атакой)
Пример атаки - чатбот (прим. авт.: например ассистент в банковском приложении) на основе языковой модели, в которого злоумышленник может закинуть что-то очень большое или сложное.
Меры защиты - валидация инпута, троттлинг аппаратуры мл-сервиса, обучение модели на "плохих" примерах.

Плюсы и минусы
➕Формализация угроз, полнота их описаний, наличие примеров и мер предотвращения
➕Легкий "порог вхождения" за счет простой организации документа
➕Наличие ссылок на научные статьи и некоторые кейсы атак на ПО, LLM-модели и данные
➖Все еще отсутствие ссылок на реальные кейсы атак на машинное обучение
➖Ориентировка на конкретные угрозы подвержена устареванию
➖Нет представления способа использования конкретных инструментов хотя бы в рамках своего облака для реализации предлагаемых к каждому риску защитных мер (как в DASF, например)

Мое личное мнение - полезный фреймворк.