저는 오픈AI에서 나오고 있는 메시지와 그 메시지가 가진 기만적인 성격에 대해 분명하게 말씀드리고 싶습니다. 이것은 그들이 실제로 어떤 회사인지를 보여주는 사례이며, 사람들이 이를 있는 그대로 보게 하는 것이 중요하다고 생각합니다.

그들이 국방부와 체결한 계약에 대해서는 아직 우리가 모르는 부분이 많습니다. 어쩌면 그들 자신도 잘 모를 수 있으며, 계약 내용 자체가 상당히 불명확할 가능성도 있습니다. 그러나 우리는 다음과 같은 사실은 알고 있습니다.

샘 올트먼의 설명과 국방부의 설명을 종합해 보면, 그들의 계약 구조는 모델을 법적 제한 없이 사용할 수 있도록 제공하면서(“all lawful use”), 대신 안전 레이어(safety layer)를 통해 특정 작업 수행이나 특정 애플리케이션에 사용되는 것을 막는 방식인 것으로 보입니다. 제 생각에 이 안전 레이어라는 것은 결국 모델이 특정 요청을 거부하도록 만드는 기능을 의미합니다.

또 다른 가능성은 이 안전 레이어가 협상 과정에서 팔란티어(Palantir)가 우리에게 제안했던 방식과 유사한 것일 수도 있습니다. 그들은 자신들의 측에서 어떤 분류기(classifier)나 머신러닝 시스템, 혹은 소프트웨어 레이어를 제공하여 일부 애플리케이션은 허용하고 다른 애플리케이션은 차단할 수 있다고 주장했습니다.

또한 오픈AI 직원들, 즉 FDE(Forward Deployed Engineers)가 모델 사용을 직접 검토해 부적절한 사용을 막을 수 있다는 제안도 있었습니다.

저희의 전반적인 판단은 이러한 접근 방식이 전혀 효과가 없는 것은 아니지만, 군사적 활용이라는 맥락에서는 대략 20% 정도만 실제 효과가 있고 나머지 80%는 ‘안전 연극(safety theater)’에 가깝다는 것입니다.

근본적 문제는 모델이 대규모 감시나 완전 자율 무기와 같은 용도로 사용되고 있는지 여부가 상당 부분 더 넓은 맥락에 의해 결정된다는 점입니다. 모델은 자신이 처한 상황에서 실제로 사람이 개입하고 있는지 알 수 없습니다. 또한 자신이 분석하고 있는 데이터의 출처도 알 수 없습니다. 예를 들어 그것이 미국 국내 데이터인지 해외 데이터인지, 고객의 동의로 제공된 기업 데이터인지, 아니면 불분명한 방식으로 구매된 데이터인지 등을 판단할 수 없습니다.

또한 세이프가드를 다뤄본 사람들은 잘 알고 있듯이, 모델의 거부(refusal)는 신뢰할 수 없으며 탈옥(jailbreak)도 흔하게 발생합니다. 심지어 모델이 분석하는 데이터에 대해 잘못된 정보를 제공하는 것만으로도 쉽게 탈옥이 가능합니다.

여기서 중요한 차이가 하나 있습니다. 예를 들어 모델이 사이버 공격을 수행하는 데 사용되고 있는지 여부는 입력과 출력만 보고도 비교적 쉽게 판단할 수 있습니다. 그러나 사이버 공격의 성격이나 맥락을 판단하는 것은 훨씬 더 어렵습니다. 이번 문제는 바로 그런 수준의 구분이 필요한 경우입니다. 세부 상황에 따라 이 작업은 매우 어렵거나 사실상 불가능할 수도 있습니다.

팔란티어가 우리에게 제안했던 이러한 “안전 레이어” 방식은 더 심각한 문제를 가지고 있었습니다. 저희의 판단으로는 그것이 거의 전적으로 ‘안전 연극’에 가까웠습니다. 팔란티어가 전제한 것은 아마 다음과 같은 것이었을 것입니다. 즉 우리의 문제는 “회사 내부에 불만을 가진 직원들이 있고, 그들을 달래거나 실제로 어떤 일이 벌어지고 있는지 보이지 않게 만들 무언가가 필요하다. 그것이 바로 우리가 제공하는 서비스다”라는 식의 접근이었습니다.

또 하나 논의된 것은 앤스로픽이나 오픈AI 직원들이 실제 배치된 모델을 직접 모니터링하는 방식이었습니다. 이러한 아이디어는 몇 달 전 앤스로픽 내부에서도 논의된 바 있습니다. 우리가 기밀 환경에 대한 AUP(acceptable use policy)를 확대할 때 나온 이야기였습니다.

저희는 이 방식이 적용 가능한 경우가 극히 제한적이라는 점을 분명히 했습니다. 가능한 한 많이 시도하겠지만, 이것은 사람들이 의존할 수 있는 안전장치가 아니며 특히 기밀 환경에서는 실행하기 쉽지 않습니다. 참고로 저희는 실제로 가능한 범위에서 최대한 이러한 모니터링을 수행하려 노력하고 있으며, 이 점에서는 저희와 오픈AI의 접근 방식 사이에 큰 차이는 없습니다.

따라서 제가 말씀드리고 싶은 핵심은 오픈AI가 취한 접근 방식의 대부분이 제대로 작동하지 않는다는 점입니다. 그럼에도 불구하고 오픈AI가 이를 받아들이고 우리는 받아들이지 않은 이유는, 그들이 직원들을 달래는 데 더 관심이 있었기 때문이고, 우리는 실제 남용을 막는 데 더 관심이 있었기 때문입니다. 이러한 방법들이 완전히 무효한 것은 아니며 저희도 일부는 사용하고 있습니다. 그러나 그것만으로는 목적을 달성하기에 턱없이 부족합니다.

또한 국방부가 오픈AI와 저희를 동일하게 대하지 않았다는 점 역시 사실입니다. 저희는 실제로 오픈AI와 유사한 일부 세이프가드를 계약에 포함하려고 시도했습니다. 그리고 저희가 더 중요하게 생각했던 AUP와 함께 이를 제안했습니다. 그러나 국방부는 저희의 제안을 거부했습니다. 이 사실은 계약 협상 이메일 기록에도 남아 있습니다(현재는 바빠서 정확한 문구를 확인하지 못했지만 이후 누군가가 구체적인 문장을 공유할 수도 있습니다).

따라서 “오픈AI의 조건이 우리에게 제시되었고 우리가 그것을 거부했다”는 말은 사실이 아닙니다. 동시에 오픈AI의 조건이 국내 대규모 감시나 완전 자율 무기를 의미 있게 막아준다는 주장 역시 사실이 아닙니다.

또 하나의 문제는 샘 올트먼이나 오픈AI의 설명에서 저희가 말하는 레드라인, 즉 완전 자율 무기와 국내 대규모 감시가 이미 불법이기 때문에 AUP가 필요 없다는 식의 암시가 있다는 점입니다. 이 메시지는 국방부의 메시지와 매우 유사하며 서로 조율된 것처럼 보입니다. 그러나 이것은 완전히 잘못된 주장입니다.

저희가 어제 발표문에서 설명했듯이 국방부는 실제로 국내 감시에 대한 권한을 가지고 있습니다. AI 이전의 세계에서는 크게 문제로 보이지 않았을 수 있지만 AI 이후의 세계에서는 완전히 다른 의미를 갖게 됩니다.

예를 들어 국방부는 미국 시민의 데이터를 합법적으로 확보한 공급업체로부터 대량의 데이터를 구매할 수 있습니다. 이러한 데이터 확보에는 보통 제3자에게 데이터를 판매할 수 있다는 숨겨진 동의가 포함되어 있습니다. 이후 국방부는 이 데이터를 AI로 대규모 분석하여 시민들의 프로파일, 충성도, 물리적 이동 패턴(GPS 데이터 포함) 등을 구축할 수 있습니다.

흥미로운 점은 협상 막바지에 국방부가 우리의 현재 조건을 받아들이겠다고 제안했지만“대량으로 취득된 데이터 분석(bulk acquired data analysis)”이라는 특정 문구를 삭제할 것을 요구했다는 것입니다. 그 문구는 우리가 가장 우려했던 바로 그 시나리오를 정확히 설명하는 계약의 유일한 문장이었습니다. 저희는 이것을 매우 의심스럽게 보았습니다.

자율 무기 문제에서도 상황은 비슷합니다. 국방부는 “human in the loop가 법이다”라고 주장하지만 그것은 사실이 아닙니다. 바이든 행정부 시기에 설정된 펜타곤 정책일 뿐이며, 인간이 무기 발사 과정에 개입해야 한다는 내용입니다. 그러나 이 정책은 국방장관 피트 헤그세스가 단독으로 변경할 수 있습니다. 이것이 바로 저희가 우려하는 부분입니다. 따라서 이것은 사실상 실질적인 제약이라고 보기 어렵습니다.

오픈AI와 국방부가 내놓는 메시지 중 상당수는 이러한 문제들에 대해 사실을 왜곡하거나 혼란을 유도하려는 것처럼 보입니다.

저는 이러한 사실들이 샘 올트먼에게서 자주 보아온 행동 패턴을 보여준다고 생각합니다. 그리고 사람들이 이를 인식할 수 있기를 바랍니다.

오늘 아침 그는 앤스로픽의 레드라인을 공유한다고 말하며 저희를 지지하는 것처럼 보이려 했습니다. 그렇게 함으로써 일부 공로를 얻고 우리가 계약에서 밀려날 때 공격받지 않으려 했던 것입니다. 동시에 그는 자신을 업계 전체에 동일한 계약 기준을 만들고 싶어 하는 중재자이자 협상가처럼 보이게 만들었습니다.

그러나 실제로는 국방부와 계약을 체결하기 위해 움직이고 있었고, 우리가 공급망 위험으로 지정되는 순간 저희를 대체하려 했습니다.

이것이 가능했던 이유는 두 가지입니다.

첫째, 그는 앤스로픽이 거부했던‘안전 연극’을 받아들일 수 있었고 국방부와 파트너들은 그것을 그의 직원들에게 설득력 있게 보이도록 만드는 데 협조할 의지가 있었습니다.

둘째, 국방부는 저희에게는 받아들이지 않았던 일부 조건을 그에게는 받아들일 의지가 있었습니다.

두 가지가 결합되면서 오픈AI는 우리가 하지 못했던 계약을 체결할 수 있었습니다.

국방부와 트럼프 행정부가 저희를 좋아하지 않는 진짜 이유는 트럼프에게 정치 기부를 하지 않았기 때문이고, 트럼프에게 독재자식 찬사를 보내지 않았기 때문이고, AI 규제를 지지했기 때문이고, 일자리 대체와 같은 AI 정책 문제에 대해 진실을 말했기 때문이고, 그리고 실제로 레드라인을 지키면서 직원들을 달래기 위한 “안전 연극”에 협조하지 않았기 때문입니다.

샘은 지금 국방부의 도움을 받아 우리가 비합리적이었고 협상에 성실히 참여하지 않았으며 유연성이 부족했다는 식으로 상황을 프레이밍하려 하고 있습니다. 저는 사람들이 이것을 가스라이팅으로 인식하기를 바랍니다.

“누군가와 일하기 어려웠다”와 같은 모호한 이유는 종종 실제 이유를 숨기기 위해 사용됩니다. 실제 이유는 정치 기부, 정치적 충성, 안전 연극과 같은 훨씬 더 좋지 않은 모습으로 보일 수 있는 것들입니다.

따라서 샘은 겉으로는 저희의 입장을 지지하는 것처럼 보이면서 실제로는 저희의 입지를 약화시키고 있습니다. 그는 행정부가 저희를 처벌하기 더 쉽게 만들고 있습니다. 저는 심지어 그가 그들을 부추기고 있을 가능성도 의심합니다. 다만 이 마지막 부분에 대해서는 직접적인 증거는 없습니다.

다행히도 이런 프레이밍이나 가스라이팅은 일반 대중이나 언론에서는 크게 효과를 보지 못하는 것 같습니다. 사람들은 대체로 오픈AI 국방부 계약을 수상하거나 의심스럽게 보고 있으며 저희를 영웅처럼 보고 있습니다. 저희는 현재 앱스토어에서 2위를 기록하고 있습니다.

트위터의 일부 사람들에게 이 이야기가 통하는 것은 중요하지 않습니다. 제가 걱정하는 것은 이것이 오픈AI 직원들에게 통하는 것입니다. 선발 효과 때문인지 그들은 다소 쉽게 속는 경향이 있기 때문입니다. 따라서 샘이 직원들에게 퍼뜨리고 있는 이러한 서사에 대응하는 것이 중요합니다.