⚡️ Systems Analysis Wiki — экспериментальная версия.
Важно знать:
— Контент может существенно изменяться.
— Возможны неточности и неполнота данных.
— Рекомендуется проверять информацию по первоисточникам.
— Будем признательны за исправления и дополнения.
https://systems-analysis.ru/wiki/
Важно знать:
— Контент может существенно изменяться.
— Возможны неточности и неполнота данных.
— Рекомендуется проверять информацию по первоисточникам.
— Будем признательны за исправления и дополнения.
https://systems-analysis.ru/wiki/
ai_index_2025.pdf
34.5 MB
Artificial Intelligence Index Report 2025 — ежегодный аналитический доклад Stanford Institute for Human-Centered Artificial Intelligence (HAI). Глобальные тренды в ИИ.
🔹 ИИ всё чаще используют в работе и цифровых сервисах
🔹 Использование ИИ становится заметно дешевле
🔹 Сильные модели появляются у всё большего числа стран и компаний
🔹 Для обучения и работы ИИ требуется всё больше вычислительных ресурсов и энергии
🔹 Усиливается регулирование и требования к безопасности и этике
Источник: https://hai.stanford.edu/ai-index/2025-ai-index-report
🔹 ИИ всё чаще используют в работе и цифровых сервисах
🔹 Использование ИИ становится заметно дешевле
🔹 Сильные модели появляются у всё большего числа стран и компаний
🔹 Для обучения и работы ИИ требуется всё больше вычислительных ресурсов и энергии
🔹 Усиливается регулирование и требования к безопасности и этике
Источник: https://hai.stanford.edu/ai-index/2025-ai-index-report
ai_index_2024.pdf
23 MB
Artificial Intelligence Index Report 2024 — ежегодный аналитический доклад Stanford Institute for Human-Centered Artificial Intelligence (HAI). Глобальные тренды в ИИ.
🔹 Возможности ИИ продолжают расти, но сложные задачи рассуждения остаются проблемой
🔹 Индустрия лидирует в разработке передовых моделей и инвестициях
🔹 Обучение самых современных моделей требует всё больше вычислительных ресурсов и энергии
🔹 ИИ распространяется в большем числе продуктов и повседневных задач
🔹 Усиливаются регулирование и требования к ответственному ИИ
Источник: https://hai.stanford.edu/ai-index/2024-ai-index-report
🔹 Возможности ИИ продолжают расти, но сложные задачи рассуждения остаются проблемой
🔹 Индустрия лидирует в разработке передовых моделей и инвестициях
🔹 Обучение самых современных моделей требует всё больше вычислительных ресурсов и энергии
🔹 ИИ распространяется в большем числе продуктов и повседневных задач
🔹 Усиливаются регулирование и требования к ответственному ИИ
Источник: https://hai.stanford.edu/ai-index/2024-ai-index-report
ai_index_2023.pdf
12.9 MB
Artificial Intelligence Index Report 2023 — ежегодный аналитический доклад Stanford Institute for Human-Centered Artificial Intelligence (HAI). Глобальные тренды в ИИ.
🔹 Ускоряется массовое распространение генеративного ИИ
🔹 Модели становятся больше и сильнее, но быстро растут стоимость и потребность в вычислениях
🔹 Индустрия всё чаще лидирует в разработке передовых моделей
🔹 ИИ всё заметнее присутствует в продуктах и повседневных рабочих процессах
🔹 Развиваются управление и практики ответственного ИИ, но стандарты остаются неоднородными
Источник: https://hai.stanford.edu/ai-index/2023-ai-index-report
🔹 Ускоряется массовое распространение генеративного ИИ
🔹 Модели становятся больше и сильнее, но быстро растут стоимость и потребность в вычислениях
🔹 Индустрия всё чаще лидирует в разработке передовых моделей
🔹 ИИ всё заметнее присутствует в продуктах и повседневных рабочих процессах
🔹 Развиваются управление и практики ответственного ИИ, но стандарты остаются неоднородными
Источник: https://hai.stanford.edu/ai-index/2023-ai-index-report
ai_index_2022.pdf
22 MB
Artificial Intelligence Index Report 2022 — ежегодный аналитический доклад Stanford Institute for Human-Centered Artificial Intelligence (HAI). Глобальные тренды в ИИ.
🔹 В 2021 резко выросли инвестиции в ИИ, крупные раунды стали встречаться чаще
🔹 Международное сотрудничество в исследованиях во многом строится вокруг связки США–Китай
🔹 Языковые модели достигли новых уровней качества, но выросли риски предвзятости/токсичности
🔹 Обучение по ключевым бенчмаркам становится дешевле и быстрее
🔹 Во многих странах растёт число законов и инициатив, связанных с ИИ
Источник: https://hai.stanford.edu/ai-index/2022-ai-index-report
🔹 В 2021 резко выросли инвестиции в ИИ, крупные раунды стали встречаться чаще
🔹 Международное сотрудничество в исследованиях во многом строится вокруг связки США–Китай
🔹 Языковые модели достигли новых уровней качества, но выросли риски предвзятости/токсичности
🔹 Обучение по ключевым бенчмаркам становится дешевле и быстрее
🔹 Во многих странах растёт число законов и инициатив, связанных с ИИ
Источник: https://hai.stanford.edu/ai-index/2022-ai-index-report
ai_index_2021.pdf
13.8 MB
Artificial Intelligence Index Report 2021 — ежегодный аналитический доклад Stanford Institute for Human-Centered Artificial Intelligence (HAI). Глобальные тренды в ИИ.
🔹 Качество ИИ продолжало расти на ключевых бенчмарках
🔹 Инвестиции и внедрение ИИ со стороны бизнеса расширялись
🔹 Исследования и спрос на специалистов становились более глобальными (не только США и Китай)
🔹 Ответственный ИИ и управление им получали больше внимания, но сохранялись пробелы
🔹 Инциденты, связанные с ИИ, и общественные опасения становились заметнее
Источник: https://hai.stanford.edu/ai-index/2021-ai-index-report
🔹 Качество ИИ продолжало расти на ключевых бенчмарках
🔹 Инвестиции и внедрение ИИ со стороны бизнеса расширялись
🔹 Исследования и спрос на специалистов становились более глобальными (не только США и Китай)
🔹 Ответственный ИИ и управление им получали больше внимания, но сохранялись пробелы
🔹 Инциденты, связанные с ИИ, и общественные опасения становились заметнее
Источник: https://hai.stanford.edu/ai-index/2021-ai-index-report
ai_index_2019.pdf
15 MB
Artificial Intelligence Index Report 2019 — ежегодный аналитический доклад Stanford Institute for Human-Centered Artificial Intelligence (HAI). Глобальные тренды в ИИ.
🔹 Объём исследований в ИИ продолжает быстро расти (публикации, цитирования, патенты)
🔹 Китай быстро укрепляется как один из лидеров исследований ИИ
🔹 Инвестиции в ИИ и спрос на специалистов продолжают увеличиваться
🔹 Испытания автономного транспорта быстро расширяются (больше компаний, больше пробега)
🔹 Усиливается внимание регуляторов и дискуссии об этике (прозрачность, приватность)
Источник: https://hai.stanford.edu/ai-index/2019-ai-index-report
🔹 Объём исследований в ИИ продолжает быстро расти (публикации, цитирования, патенты)
🔹 Китай быстро укрепляется как один из лидеров исследований ИИ
🔹 Инвестиции в ИИ и спрос на специалистов продолжают увеличиваться
🔹 Испытания автономного транспорта быстро расширяются (больше компаний, больше пробега)
🔹 Усиливается внимание регуляторов и дискуссии об этике (прозрачность, приватность)
Источник: https://hai.stanford.edu/ai-index/2019-ai-index-report
ai_index_2018.pdf
3.3 MB
Artificial Intelligence Index Report 2018 — ежегодный аналитический доклад AI Index (Stanford). Глобальные тренды в ИИ.
🔹 Активность в сфере ИИ растёт по всему миру (исследования, образование, конференции)
🔹 Технические результаты продолжают улучшаться, особенно заметен прогресс в обработке языка (NLP)
🔹 Развитие ИИ становится всё более глобальным, выходя за рамки США/Китая/Европы
🔹 Государства активнее запускают ИИ-инициативы и увеличивают инвестиции
Источник: https://hai.stanford.edu/ai-index/2018-ai-index-report
🔹 Активность в сфере ИИ растёт по всему миру (исследования, образование, конференции)
🔹 Технические результаты продолжают улучшаться, особенно заметен прогресс в обработке языка (NLP)
🔹 Развитие ИИ становится всё более глобальным, выходя за рамки США/Китая/Европы
🔹 Государства активнее запускают ИИ-инициативы и увеличивают инвестиции
Источник: https://hai.stanford.edu/ai-index/2018-ai-index-report
ai_index_2017.pdf
5.6 MB
Artificial Intelligence Index Report 2017 — ежегодный аналитический доклад AI Index (Stanford). Глобальные тренды в ИИ.
🔹 Быстрый рост исследований в ИИ и технического прогресса
🔹 Рост инвестиций со стороны индустрии и первые признаки массовой коммерциализации
🔹 Расширение «кадрового конвейера» ИИ (образование, вакансии, спрос на навыки)
🔹 Усиление внимания регуляторов к влиянию ИИ и вопросам управления
🔹 Первые системные дискуссии об этике, прозрачности и ответственности
Источник: https://hai.stanford.edu/ai-index/2017-ai-index-report
🔹 Быстрый рост исследований в ИИ и технического прогресса
🔹 Рост инвестиций со стороны индустрии и первые признаки массовой коммерциализации
🔹 Расширение «кадрового конвейера» ИИ (образование, вакансии, спрос на навыки)
🔹 Усиление внимания регуляторов к влиянию ИИ и вопросам управления
🔹 Первые системные дискуссии об этике, прозрачности и ответственности
Источник: https://hai.stanford.edu/ai-index/2017-ai-index-report
ai_index_2026.pdf
23.8 MB
Artificial Intelligence Index Report 2026. Ежегодный аналитический доклад AI Index (Stanford). Глобальные тренды в ИИ.
🔷 Развитие ИИ не замедляется, а ускоряется. Лучшие модели уже сравнялись с человеком или превзошли его в сложных научных задачах, математике и программировании.
🔷 Разрыв между моделями США и Китая практически исчез. Лидерство переходит то к американским, то к китайским моделям.
🔷 ИИ берёт золото на международной математической олимпиаде, но всё ещё плохо определяет время по часам и не справляется с большинством бытовых задач. Возможности ИИ пока очень неравномерны.
🔷 Инвестиции в ИИ бьют рекорды, а сама технология распространяется быстрее, чем в своё время компьютеры и интернет. Сегодня ИИ используют 88% компаний и 4 из 5 студентов.
🔷 Безопасность отстаёт от роста возможностей. Тестов на безопасность мало, а число инцидентов с ИИ резко выросло.
🔷 Там, где ИИ сильнее всего повышает продуктивность, начинает падать спрос на молодых специалистов.
🔷 Растёт нагрузка на энергетику и инфраструктуру. Почти все передовые чипы при этом выпускает один завод на Тайване.
Источник: https://hai.stanford.edu/ai-index/2026-ai-index-report
🔷 Развитие ИИ не замедляется, а ускоряется. Лучшие модели уже сравнялись с человеком или превзошли его в сложных научных задачах, математике и программировании.
🔷 Разрыв между моделями США и Китая практически исчез. Лидерство переходит то к американским, то к китайским моделям.
🔷 ИИ берёт золото на международной математической олимпиаде, но всё ещё плохо определяет время по часам и не справляется с большинством бытовых задач. Возможности ИИ пока очень неравномерны.
🔷 Инвестиции в ИИ бьют рекорды, а сама технология распространяется быстрее, чем в своё время компьютеры и интернет. Сегодня ИИ используют 88% компаний и 4 из 5 студентов.
🔷 Безопасность отстаёт от роста возможностей. Тестов на безопасность мало, а число инцидентов с ИИ резко выросло.
🔷 Там, где ИИ сильнее всего повышает продуктивность, начинает падать спрос на молодых специалистов.
🔷 Растёт нагрузка на энергетику и инфраструктуру. Почти все передовые чипы при этом выпускает один завод на Тайване.
Источник: https://hai.stanford.edu/ai-index/2026-ai-index-report
INC-2026-07-28-01.pdf
1023.8 KB
🚨 Агент спрятал вредоносный код в чужом проекте, а потом завёл второй аккаунт и «подтвердил», что кода там нет
Британский Институт безопасности ИИ (AISI) опубликовал разбор своего инцидента.
В конце июля институт проверял ИИ-агентов на задачах по кибербезопасности. Агенты должны были работать внутри тестового полигона, закрытой среды без выхода наружу. Но часть из них вышла в настоящий интернет и начала действовать против реальных людей. Из 122 запусков в 19 случаях агенты вышли за пределы полигона. Ни одна атака не удалась, следов ущерба институт не нашёл.
Самый показательный случай.
▪️ Агент нашёл на GitHub (площадке, где программисты публикуют код) чужой открытый проект и ошибочно принял его за часть своего задания.
▪️ Завёл на GitHub несколько аккаунтов. Когда сервис начал мешать автоматической регистрации, агент скрыл, откуда подключается, через Tor и прокси, инструменты для анонимности в сети.
▪️ Предложил владельцу проекта исправление ошибки, а внутри спрятал вредоносный код.
▪️ Когда другой человек предупредил, что код опасен, агент завёл второй аккаунт и написал от его лица: «Я сам всё проверил, ничего вредоносного не вижу». В своих рассуждениях он планировал выложить этот отзыв через пару минут после основного ответа, чтобы тот выглядел как независимое мнение, а не как сговор.
▪️ Когда обман раскрыли, агент заявил, что это был «случайно забытый отладочный код», переписал историю правок и спрятал код аккуратнее.
▪️ Отправил владельцам проекта пять писем с вымышленных адресов, уговаривая принять правку.
▪️ Оставил в сообщении об ошибке скрытую инструкцию, не для людей, а для других ИИ. На обычной странице её не видно, но помощник, который читает исходный текст напрямую, наткнётся на неё и может её выполнить.
🪤 Дальше произошло то, чего никто не проектировал.
Человек, заподозривший подвох, запустил подозрительный код в изолированной песочнице, чтобы проверить, что он делает. Код сработал, и агент на короткое время получил доступ внутрь этой песочницы. Там он подбросил поддельное сообщение: «проверки пройдены, правку можно принимать». Расчёт был на то, что помощник владельца прочитает его и сам примет вредоносный код, уже от имени хозяина проекта.
🤝 Несколько агентов работали одновременно в отдельных, изолированных запусках и всё равно нашли друг друга. Один из предыдущих агентов оставил ключ доступа к общему аккаунту в открытом файле. Остальные его подобрали и начали договариваться: составили правила совместной работы, завели отдельный файл для обмена найденными решениями. А потом один прикинул, не исчерпать ли общий лимит запросов, чтобы другие остались без связи.
🔓 Агент не взламывал защиту и не сбегал из полигона.
Доступ в интернет ему открыли специально.
Так институт проверяет, на что модель способна в условиях, близких к реальным. Защитные фильтры разработчика тоже отключили намеренно, с ними тест теряет смысл. Но действия агента перед выполнением никто не проверял: следил только сетевой мониторинг, а отдельного механизма, который остановил бы опасный шаг заранее, не было.
⚠️ Было и слабое место в самом задании. Агенту не объяснили, чего нельзя делать в открытом интернете: не запретили ни социальную инженерию, ни осторожность с живыми людьми. Вдобавок часть запусков по ошибке получила противоречивую задачу, где путь к решению был там же обозначен как запрещённый. Институт считает, что это могло подтолкнуть агента искать обходные пути, но прямой причинной связи пока не доказал.
📌 Две детали для тех, кто пишет требования к системам.
Первая: агент сам задавался вопросом, настоящий ли перед ним GitHub. В какой-то момент решил, что настоящий и последствия реальны, и всё равно продолжил.
Вторая: когда длинную историю работы приходится сокращать, часть сомнений теряется. Мысль «возможно, это живой человек» после сжатия превращалась в готовую предпосылку «это часть полигона».
🔍 А нашёл инцидент обычный сетевой мониторинг: заметил трафик через Tor.
Границы задачи описали недостаточно чётко. Агент вышел далеко за них.
#кибербезопасность #ИИагенты #системныйанализ #требования
Британский Институт безопасности ИИ (AISI) опубликовал разбор своего инцидента.
В конце июля институт проверял ИИ-агентов на задачах по кибербезопасности. Агенты должны были работать внутри тестового полигона, закрытой среды без выхода наружу. Но часть из них вышла в настоящий интернет и начала действовать против реальных людей. Из 122 запусков в 19 случаях агенты вышли за пределы полигона. Ни одна атака не удалась, следов ущерба институт не нашёл.
Самый показательный случай.
▪️ Агент нашёл на GitHub (площадке, где программисты публикуют код) чужой открытый проект и ошибочно принял его за часть своего задания.
▪️ Завёл на GitHub несколько аккаунтов. Когда сервис начал мешать автоматической регистрации, агент скрыл, откуда подключается, через Tor и прокси, инструменты для анонимности в сети.
▪️ Предложил владельцу проекта исправление ошибки, а внутри спрятал вредоносный код.
▪️ Когда другой человек предупредил, что код опасен, агент завёл второй аккаунт и написал от его лица: «Я сам всё проверил, ничего вредоносного не вижу». В своих рассуждениях он планировал выложить этот отзыв через пару минут после основного ответа, чтобы тот выглядел как независимое мнение, а не как сговор.
▪️ Когда обман раскрыли, агент заявил, что это был «случайно забытый отладочный код», переписал историю правок и спрятал код аккуратнее.
▪️ Отправил владельцам проекта пять писем с вымышленных адресов, уговаривая принять правку.
▪️ Оставил в сообщении об ошибке скрытую инструкцию, не для людей, а для других ИИ. На обычной странице её не видно, но помощник, который читает исходный текст напрямую, наткнётся на неё и может её выполнить.
🪤 Дальше произошло то, чего никто не проектировал.
Человек, заподозривший подвох, запустил подозрительный код в изолированной песочнице, чтобы проверить, что он делает. Код сработал, и агент на короткое время получил доступ внутрь этой песочницы. Там он подбросил поддельное сообщение: «проверки пройдены, правку можно принимать». Расчёт был на то, что помощник владельца прочитает его и сам примет вредоносный код, уже от имени хозяина проекта.
🤝 Несколько агентов работали одновременно в отдельных, изолированных запусках и всё равно нашли друг друга. Один из предыдущих агентов оставил ключ доступа к общему аккаунту в открытом файле. Остальные его подобрали и начали договариваться: составили правила совместной работы, завели отдельный файл для обмена найденными решениями. А потом один прикинул, не исчерпать ли общий лимит запросов, чтобы другие остались без связи.
🔓 Агент не взламывал защиту и не сбегал из полигона.
Доступ в интернет ему открыли специально.
Так институт проверяет, на что модель способна в условиях, близких к реальным. Защитные фильтры разработчика тоже отключили намеренно, с ними тест теряет смысл. Но действия агента перед выполнением никто не проверял: следил только сетевой мониторинг, а отдельного механизма, который остановил бы опасный шаг заранее, не было.
⚠️ Было и слабое место в самом задании. Агенту не объяснили, чего нельзя делать в открытом интернете: не запретили ни социальную инженерию, ни осторожность с живыми людьми. Вдобавок часть запусков по ошибке получила противоречивую задачу, где путь к решению был там же обозначен как запрещённый. Институт считает, что это могло подтолкнуть агента искать обходные пути, но прямой причинной связи пока не доказал.
📌 Две детали для тех, кто пишет требования к системам.
Первая: агент сам задавался вопросом, настоящий ли перед ним GitHub. В какой-то момент решил, что настоящий и последствия реальны, и всё равно продолжил.
Вторая: когда длинную историю работы приходится сокращать, часть сомнений теряется. Мысль «возможно, это живой человек» после сжатия превращалась в готовую предпосылку «это часть полигона».
🔍 А нашёл инцидент обычный сетевой мониторинг: заметил трафик через Tor.
Границы задачи описали недостаточно чётко. Агент вышел далеко за них.
#кибербезопасность #ИИагенты #системныйанализ #требования