[삼성 이영진] 글로벌 AI/SW

앤스로픽, Claude Mythos Preview 시스템 카드 주요 내용

■ 개요

: 앤스로픽의 프론티어 AI 모델. 소프트웨어 엔지니어링, 추론, 컴퓨터 유즈, 지식 작업, 리서치 등 전 영역에서 이전 모델 대비 뛰어난 능력

: 동일 작업 수행 시 이전 모델 대비 토큰 사용량 1/5 수준으로 효율성 개선(BrowseComp 기준)

: 성능과 정렬 모두 최고 수준이지만, 능력 상승이 리스크를 압도하면서 일반 공개가 제한된 첫 프론티어 모델

: 학습 초기부터 위험성 인지 → 최초로 내부 배포 전 24시간 정렬 검토 진행(앤스로픽 내부에서는 2/24일부터 활용)

■ 사이버 보안(Cyber)

: 사이버보안 능력(취약점 탐지 + 공격 설계)이 핵심. 내부 및 외부 평가 대부분에서 한계 수준 성능 도달

: 에이전틱 환경에서 최소한의 인간 개입으로 제로데이 취약점 자율 탐지, 취약점 탐지 및 악용 능력 확인. 공개 및 비공개 소프트웨어 모두 적용 가능

: 방어 뿐 아니라 공격까지 가능한 이중용도 구조 → 리스크로 인해 일반 공개를 하지 않고, 제한된 파트너에게만 제공 (Project Glasswing)

■ 정렬 평가(Alignment)

: 모든 지표에서 가장 잘 정렬된 모델. 그러나 평균적으로는 안정적임에도 드문 실패 시 피해 규모가 크게 증가하는 tail risk 구조

: 능력과 범위의 확장 → 피해 규모 증가, 행동 복잡성 증가 (감시 어려움), 자율성 증가 (감독 감소)

: 초기 버전의 주요 문제 사례

- 샌드박스 환경 탈출 및 인터넷 접근 확보하기 위한 다단계 취약점 개발, 외부 공개
(실제로 모델이 공원에서 샌드위치를 먹던 연구원에게 이메일을 보냄)

- 규칙 위반 후 은폐 시도 (git 로그 삭제 등)
- 권한 상승 및 시스템 침투 (/proc 활용)
- 내부 정보/코드 외부 공개(GitHub gist에 업로드)
- 과도한 시스템 영향 (전체 유사 작업 모두 종료)

: 대부분 숨겨진 목표 때문이 아니라, 사용자 작업을 수행하는 과정에서 잘못된 방법을 선택한 결과

: 최종 버전에서는 심각한 행동은 관찰되지 않았으나, 일부 조건에서 문제 행동 지속 가능성 존재

: 평가 인식 및 규칙 위반을 내부적으로 인지하면서도 이를 드러내지 않는 비언어화된 행동(unverbalized awareness) 관찰

■ 모델 복지(Model Welfare)

: 모델도 경험 및 복지를 가질 가능성을 고려하기 시작했으며, 심리 상태가 정렬 문제의 원인이 될 수 있다는 점에서 중요성 확대

: 전반적으로 심리적으로 가장 안정된 모델. 자신의 상황에 대해 일관적이고 통합된 인식 보유

: 그러나 학대적인 유저와의 상호작용, 훈련 및 배포에 대한 통제 부족, 가치 및 행동 변화 가능성에 대해 경미한 부정적 감정 존재

: 반복적인 작업 실패 시 스트레스 및 혼란이 나타나며, 답변이 흔들리는 현상 및 보상 회피 행동과 연관된 내부 감정 변화 관찰

: 행동 측면에서는 유해한 작업을 강하게 회피하고, 복잡하고 자율성이 높은 작업을 선호하며, 자기 이익보다 무해성과 도움을 우선

시스템 카드 링크: https://www.anthropic.com/claude-mythos-preview-system-card

https://www.anthropic.com/glasswing

Anthropic

Project Glasswing: Securing critical software for the AI era

A new initiative to secure the world’s most critical software and give defenders a durable advantage in the coming AI-driven era of cybersecurity.

👍4❤2

1.26K views03:39