초지능(Super Intelligence) 시대에 모델을 내부자 위험으로 다루기
TMT지난 수십 년간 전통적인 소프트웨어 시스템이 경제 전반에 퍼져 나가는 동안, 우리에게는 어떤 동작이든 특정 코드 경로까지 추적할 수 있는 도구와 역량이 있었습니다.
하지만 오늘날의 초지능(Super Intelligence) 시스템에서는 그와 같은 수준으로 작동 원리를 이해하지 못하고 있습니다. 이 시스템을 움직이는 프런티어 모델이 이제는 전통적인 소프트웨어 시스템보다 더 유능한데도 말입니다. 우리는 모델의 동작과 출력이 학습 데이터의 어떤 입력에서, 혹은 모델 가중치의 어떤 구성에서 비롯됐는지 짚어 낼 수 없습니다. 그런데도 우리는 이처럼 복잡한 에이전트 시스템과 모델을 배포하면서, 가장 민감한 데이터에 접근할 권한을 주고 우리를 대신해 핵심 업무를 좌우하는 행동까지 할 수 있게 하고 있습니다!
그래서 이제는 한발 물러서서 이 새로운 시대에 맞는 신뢰 아키텍처를 점검해 볼 때입니다. 지능이 우리를 대신해 하는 일에 대한 책임은 결코 남에게 떠넘길 수 없습니다. 모델 제공업체가 보증한다고 해서 그 책임이 사라지지는 않습니다.
초지능을 겹겹이 포개진 블랙박스로 취급하면서 그 추천과 답변, 행동을 그저 받아들이거나 거부하기만 할 수는 없습니다. 동작을 관측할 수 있고, 한계를 시험해 볼 수 있으며, 행동을 언제든 일정 범위 안에 가둘 수 있는 시스템을 만들어야 합니다.
다시 말해, 지능을 공급하는 일과 그 지능을 통제하는 권한을 분리해야 합니다.
정렬(alignment)이라는 어려운 문제는 잠시 제쳐 두더라도, 격리(containment)와 거버넌스를 엔지니어링으로 풀어 가는 일부터 시작해야 합니다. 비결정적인 모델을 견고하고 결정적인 시스템 설계, 사람의 통제, 믿을 수 있는 운영 절차로 둘러싸야 하고, 기존 표준이 부족한 곳에서는 업계 표준을 새로 세워야 합니다.
폐쇄형이든 오픈 웨이트든 프런티어 모델을 내부자 위험(insider risk)처럼 다루는 것이 그런 시스템을 만드는 한 가지 방법입니다. 모델이 반드시 악의적이라서 그런 것은 아닙니다. 충분한 역량을 갖추고 중요한 시스템에 접근할 수 있는 행위자라면 누구든 실수를 하거나 침해당할 수 있고, 격리와 통제의 아키텍처는 그 가능성을 감안해야 하기 때문입니다.
다행히 우리는 기업 안에서 큰 권한을 가진 행위자를 다루는 법을 이미 많이 배웠습니다. 새로운 일이 아닙니다! 우리는 수십 년에 걸쳐 모범 사례를 정립하고 다듬어 왔습니다(신원 확인, 권한 제한, 활동 기록, 격리 경계 설정 등).
그리고 이제 우리는 같은 원칙을 기업 안의 초지능에도 적용하기 시작했습니다. 그 출발점은 모델의 사고 사슬(CoT) 투명성을 양보할 수 없는 조건으로 삼는 것입니다. 뉴럴리즈(Neuralese)를 핑계로 모델의 추론을 불투명하게 둘 수는 없습니다. 하지만 CoT 투명성만으로는 충분하지도 않고 믿을 만하지도 않습니다. 모델의 출력 자체가 언제나 실제 추론에 충실하고 투명하도록 만드는 방법을 우리가 아직 모르기 때문입니다!
모델끼리 서로 적대적으로 테스트하고 검증하게 할 수 있고, 또 그렇게 해야 합니다. 하지만 그러다 보면 불투명한 오케스트레이션 계층 안에 불투명한 모델이 있고, 그 모델을 또 다른 불투명한 모델이 지켜보는 구조가 될 수 있습니다. 결국 블랙박스가 겹겹이 포개진 셈입니다.
그래서 모델이 무엇에 접근할 수 있고 어떤 행동을 할 수 있는지 정하는 통제 장치는 모델 바깥에 있어야 합니다. 이는 프로그램이 자기 권한을 강제하는 메커니즘을 우회하거나 조작할 수 없어야 한다는, 1970년대부터 이어져 온 정보 보안 원칙을 토대로 합니다.
오늘날 이는 모델의 작업을 조율하는 하네스(harness)는 물론, 모델이 할 수 있는 일을 정하는 행동 공간(action space)과도 모델을 분리한다는 뜻입니다. 또한 통제 장치와 안전장치를 모델 바깥에 둔다는 뜻이기도 합니다.
따라서 이런 시스템은 관측 가능성(observability) 원칙을 중심으로 설계해야 합니다.
- 모델 다양성: 중요한 결과를 모델 하나에만 의존해서는 안 되고, 어떤 모델도 자기 작업을 스스로 검증하는 역할을 맡아서는 안 됩니다.
- 모든 것을 관측하기: 모델의 의미 있는 행동은 모두 위변조가 불가능하고 사람이 읽을 수 있는 증거를 남겨야 합니다. 관측할 수 없다면 신뢰할 수도 없습니다! 모델이 스스로 증언해 주는 데 기대지 않고도 결과가 어떻게 나왔는지 재현할 수 있어야 합니다.
- 검증 가능성: 성공한 작업만이 아니라 실패, 공격, 엣지 케이스, 시스템 변경 등을 포함해 시스템 전체를 지속적으로 테스트해야 합니다.
- 독립적인 통제: 조직은 모델이 무엇에 접근할 수 있고 어떤 행동을 할 수 있는지를 독자적으로 정할 수 있어야 합니다.
- 독립적인 감사 가능성: 검증은 검증받는 지능과 독립적으로 이루어져야 합니다. 어떤 모델도 시스템의 동작과, 그 동작이 원래 의도에 부합하는지 판단하는 데 필요한 증거를 함께 쥐고 있어서는 안 됩니다.
- 격리: 모델이 이미 침해되었다고 가정하고 처음부터 격리해야 합니다. 비상 브레이크라고 생각하면 됩니다. 권한이 있는 사람은 언제든 작업 중인 모델을 멈추거나 종료할 수 있어야 합니다. 모델이 고도화될수록 더 고도화된 격리 기술이 필요하며, 우리는 그 기술의 표준을 함께 정해야 합니다.
- 사고 공개: 이런 시스템이 실제로 실패하거나 침해당하면, 영향을 받은 이들에게 제때 알려야 합니다. 그리고 무엇이 잘못됐는지, 어떤 통제가 작동하지 않았는지, 재발을 어떻게 막을지 공유하는 체계를 갖추고, 거기서 얻은 교훈을 업계 전체와 나눠야 합니다. 공개하는 내용에는 런타임에 에이전트의 동작을 바꾸는 구현 세부 사항도 포함되어야 합니다.
가장 신뢰할 수 있는 초지능 시스템은 우리가 가장 신뢰하는 모델을 갖춘 시스템이 아닐 것입니다. 모델을 가장 덜 신뢰해도 되게 해 주는 시스템일 것입니다.
