У CEO Anthropic Дарио Амадея вышло новое интересное интервью. Краткое содержание:

➡️ По мнению Дарио, в будущем большие и мощные ИИ-модели будут порождать и координировать более мелкие для помощи в выполнении задач. Этот процесс будет похож на создание роевого интеллекта, и необходимость человеческого участия в нем будет близка к нулю.

➡️ Если масштабирование не выйдет на плато и мы не наткнемся на ранее не учтенные трудности, то, учитывая реалии, модель стоимостью 100 миллиардов долларов должна иметь интеллект уровня лауреата Нобелевской премии.

➡️ Ну и классика: ИИ может увеличить скорость научных открытий в 100 раз. Тем самым мы можем пройти путь, соразмерный прогрессу 20-го и 21-го века вместе взятых, всего за несколько лет.

Полностью интервью можно посмотреть здесь

🟢Итак, немного дайджестового ...

Часть новостей возьмём из рассылки hackstery(там вышел 11 выпуск, но он только для подписчиков - всё равно я расскажу вам что там было) + докину ещё парочку событий, которые произошли за этот короткий 7-дневный(большой) период.


✅ SecOps group зарелизили свою сертификацию по пентесту AI/ML (судя по видео, которое там есть - они будут рассматривать атаки на LLM, только 🐇). Вроде как не единственная сертификация в этой области. Есть ещё CSAIF.

✅ NIST выпустил свой инструмент для оценки уязвимостей генеративных моделей Dioptra.

✅ European Artificial Intelligence Act (AI Act) вступил в силу 1-го августа.

✅ На x33fcon представили доклад по атакам и защите LLM в производственных средах.(как по мне - обзорный доклад, без каких-то своих решений. Хорошо или плохо - решать Вам).

✅ MIT выпустили репозиторий рисков для ИИ (господин @alukatsk уже сделал пост об этом).

✅ Институт безопасности искусственного интеллекта США получит ранний доступ к новым моделям от OpenAI и Anthropic (спасибо @kerzaster за наводку).

✅ Antropic выложили системный промпт для своей модели - это позволяет немного понять как модель принимает решения.(Спасибо Боре за наводку).

✅ Lakera выпустили GenAI Security Readiness Report. В нём они рассмотрели как организации внедряют GEN_AI, уверены ли они в рисках? Как организации реагируют на угрозы ? Много цифр.

✅ SPIX опубликовали ресёрч про то как можно атаковать llm-помощников.

✅ Я сделал обновления awesome_llmsecops. Было добавлено множество интересных таблиц с рейтингами, полезных ссылок и визуализации.

✅ RSAConference выложили все доклады с конференции. Тут - можно посмотреть список. А в AISec X-Feed я опубликовал ссылки на те, которые мне показались интересными.


⬇️ Незабываем также про существование папки с каналами по AI-Security. Я добавил туда ещё некоторых ребят. И у авторов регулярно выходят обзоры на статьи и посты. Если ваш канал соответствует тематике AI_Security, но его нет в списке, то велком в личку - 🤨@wearetyomsmnv.