다리오는 우리가 “프런티어의 속도를 조절해야 한다”고 썼고, 샘도 이에 동의했다. 내 반응에 사람들이 놀랄 수도 있겠지만, 나는 이렇게 말하고 싶다. 그렇게 해라.

당신들이 바로 프런티어다. 시장 점유율, 매출 성장, 모델 역량 등 어떤 합리적인 지표로 보더라도 오픈AI와 앤스로픽 두 회사가 프런티어 AI 지능을 사실상 양분하고 있다. 게다가 당신들은 재귀적 자기개선 덕분에 선두와 후발주자의 격차가 더욱 벌어지고 있다고 주장해 왔다.

나는 당신들이 연구실에서 보고 있는 것을 직접 볼 수 없다. 아직 공개하지 않은 모델들이 정말로 두려울 정도여서 개발 속도를 늦춰야 한다고 생각한다면, 책임 있는 결정을 내리는 것을 지지한다.

하지만 다른 누군가의 허락이 필요한 척은 그만하라. 카르텔을 만들기 위해 반독점법의 적용을 중단해야 하는 것처럼 말하지도 마라. 제조물 책임보다 우선하는 별도의 규제 승인 절차가 필요한 것처럼 말하지도 마라

METR이 앤스로픽의 투자자 및 직원들과 긴밀하게 얽혀 있으면서 독립적인 기관인 것처럼 행동하지도 마라. 심지어 프런티어에 있지도 않은 경쟁사들을 감시하기 위해 바로 그 평가기관들이 필요하다고 주장하지도 마라.

무엇보다 개발 속도를 늦추려는 동기가 순전히 이타적인 것처럼 말하지 마라. 당신들의 제품이 실제로 막대한 피해를 일으키는 사이버 공격을 가능하게 한다면 엄청난 제조물 책임 위험에 직면할 수 있다. 시장 역시 예측하기 어렵거나 허가받지 않은 행동을 하는 모델을 이미 외면한다

허깅페이스 사건 이후 오픈AI와 앤스로픽이 일부 순수한 성능을 희생하는 대신 신뢰성과 예측 가능성을 높이는 것은 단순히 사업적으로도 합리적인 선택이다. 원한다면 이를 ‘정렬’이라고 불러도 된다. 하지만 결국 고객이 원하는 제품을 제공하는 것이기도 하다.

프런티어의 속도를 조절하면 버니 샌더스식의 “전부 중단하라”는 주장보다 훨씬 지적인 규제 논의를 할 수 있는 시간적 여유도 생길 것이다. 당신들도 알고 있듯 중국이 글로벌 합의에 동참할 가능성은 매우 낮으며, 이 역시 반드시 고려해야 한다.

그러니 프런티어의 속도를 조절하라. 프런티어를 결정하고 있는 것은 바로 당신들이다. 초지능을 만들지 않는 가장 쉬운 방법은 당신들이 서로 초지능을 만들지 않기로 합의하는 것이다.

하지만 그렇게 하는 대가로 자신들이 선호하는 규제 체계를 받아들이라고 요구한다면, 대중과 정치 시스템을 상대로 한 협박처럼 보일 것이다. 그러니 조건을 달지 말고 그냥 실행하라.

실제로 그렇게 한다면 다음 논의를 위한 신뢰와 호의를 얻을 수 있을 것이다. 반대로 그렇게 하지 않는다면, 우리는 이번 주장 역시 또 하나의 규제 포획 시도, 혹은 선거철을 겨냥한 심리전에 불과했다는 것을 알게 될 것이다.

모두를 위한 개인 초지능을 구현하는 데 정렬은 근본적으로 중요한 요소입니다. 사람들이 에이전트를 신뢰하려면, 에이전트가 자신이 요청한 일을 안정적으로 수행할 수 있어야 합니다.

우리 모델이 더욱 강력해짐에 따라 MSL은 전체 연구 노력에서 정렬에 투입하는 비중을 빠르게 확대하고 있습니다.

우리는 프런티어에 가까워질수록 정렬이 AI 스케일링을 좌우하는 핵심 제약 요인이 될 수 있다고 보고 있습니다.