오픈 웨이트 모델에 대한 우리의 입장
TMThttps://www.anthropic.com/news/position-open-weights-models
- Anthropic CEO, Dario Amodei의 글
지난 며칠간 오픈 웨이트(open-weights) 모델, 특히 중국발 모델을 둘러싼 논의가 뜨거웠습니다. 보도에 따르면 일부 미국 당국자들이 미국 기업의 중국산 오픈 웨이트 모델 사용을 금지하는 방안을 검토하고 있다고 합니다. 이에 대응해 많은 기술 기업이 오픈 웨이트 모델을 지지하는 서한에 서명했고, 일부에서는 Anthropic이 자사 사업을 지키려는 수단으로 오픈 웨이트 모델 금지를 원한다고 비난하기까지 했습니다. 제가 과거에 쓴 글을 읽어 본 분이라면 제가 그런 금지를 유용한 조치로 여기지 않는다는 것을 아시겠지만, 의심의 여지가 없도록 분명하게 밝혀 두겠습니다: Anthropic은 오픈 웨이트 모델 금지를 주장한 적이 한 번도 없습니다.
위험한 능력이 없는 오픈 웨이트 모델은 공공재입니다. 구동에 필요한 컴퓨팅 자원 말고는 비용이 들지 않고, 기업과 개발자와 연구자에게 가치를 제공합니다.
보호주의적 금지는 제가 가장 심각하게 여기는 국가 안보 우려를 해소하지 못합니다. 구체적으로 저는 두 가지 악몽 같은 시나리오를 걱정합니다. 6개월 전 에세이 기술의 사춘기(The Adolescence of Technology)에서 이를 제시했고1, 이 입장은 여러 해 동안 일관되게 유지해 왔습니다:
- 첫 번째 우려는 권위주의 정부가 — 중국 공산당(CCP)만을 말하는 것은 아니지만, CCP가 가장 역량 있는 위협인 것은 분명합니다 — 미국보다 강력한 AI 모델을 만들어, 영구적인 군사적 우위를 확보하거나 자국민을 극도로 깊이 억압하는 데 쓸 위험입니다. 이 우려는 미국 정부 안에서도 널리 공유되고 있습니다. Vance 부통령은 지난해 파리에서 "권위주의 정권들이 AI를 훔쳐 군사·정보·감시 역량을 강화하는 데 사용해 왔다"고 경고했고, 정보공동체의 2026년 연례 위협 평가는 "다른 강대국들의 탄탄한 AI 발전이 미국의 경제 경쟁력과 국가 안보 우위를 위협하고 있다"고 판단했습니다. 이런 모델이 오픈 웨이트로 공개되는지는 이 위험과 무관하고, 미국 기업이 그 모델을 쓰는지는 더더욱 무관합니다. 사실 가장 위험한 모델은 비밀리에 학습되어, 드론에 쓰라고 인민해방군에만, 감시와 억압에 쓰라고 국가안전부에만 건네지는 모델일지도 모릅니다.
- 두 번째 우려는 강력한 AI 모델이 사이버 공격이나 생물학 공격에 악용될 수 있고, 심각한 정렬(alignment) 문제를 안고 있을 수 있다는 위험입니다. 오픈 웨이트 모델은 — 중국산이든 다른 어느 나라 것이든 — 닫힌 모델보다 잠재적으로 더 높은 위험을 안고 있는 것이 사실입니다. 가드레일을 적용하거나 사용을 모니터링하기가 매우 어렵고, 가중치가 한번 공개되면 회수할 수 없기 때문입니다2. 하지만 미국 기업의 이런 모델 사용을 금지해 봐야 이 위험은 전혀 줄지 않습니다. 악의적 행위자가 합법적인 미국 기업일 가능성은 낮으니까요. 그런 금지가 미국 AI 기업들을 경쟁에서 보호해 주기는 하겠지만, 그것이 제 목표였던 적은 없습니다.
이 우려에 대응하기 위해 저는 다음 세 가지 조치를 지지합니다. 저와 Anthropic이 일관되게 주장해 온 것들입니다:
- 강력한 칩이나 칩 제조 장비를 중국에 팔아서는 안 되고, 그런 칩을 손에 넣으려는 만연한 밀수 3와 우회 수법을 단속해야 합니다. 중국은 국내 생산 능력이 제한적이어서, 스케일링 법칙에 따라 미국산 칩 없이는 미국보다 강력한 모델을 만들 수 없습니다. 이것이 위협 1번을 막는 가장 효율적이고 직접적인 방법이며, 미국 법이 닿지 않는 곳에서 이뤄지는 모델 학습을 방해함으로써 위협 2번에도 간접적으로 도움이 됩니다.
- 산업 규모의 증류(distillation) 작전을 단속해야 합니다. 증류는 모델을 처음부터 학습시키는 것보다 컴퓨팅 효율이 훨씬 높은 과정입니다. 덕분에 중국은 보유한 칩 수로 원래 가능한 수준보다 훨씬 좋은 모델을 만들 수 있고, 그런 식으로 칩 규제를 부분적으로 회피합니다. 증류만으로 CCP가 미국과 동등하거나 그 이상의 AI 능력을 얻을 수는 없지만, 중국의 최전선 기술을 미국 최전선의 몇 달 차이 안까지 따라붙게 할 수는 있습니다. 이런 작전을 벌이는 기업 다수가 오픈 웨이트 모델을 공개하는 것은 사실입니다. 하지만 가중치가 공개된다는 사실보다 훨씬 중요한 것은, 이 작전들의 배후에 최전선에서 미국을 추월하려는 권위주의 국가가 있다는 사실입니다. 이런 행위를 억제할 정책 개입이 필요합니다. 오픈 웨이트 모델의 전면 금지는 올바른 처방도 아니고, 우리가 요구해 온 것도 아닙니다4.
- 충분히 능력 있는 모든 모델은, 열려 있든 닫혀 있든, 의무적인 안전성 테스트를 거쳐야 합니다. 위협 2번에 대처하는 가장 좋은 방법은 출시 전에 모델의 사이버·생물학·정렬 위험을 직접 테스트하는 것입니다. 이 아이디어는 사실상 합의에 가깝다고 생각합니다. 트럼프 행정부가 최근 몇 달 사이 이 방향으로 움직인 것도 고무적이었고, 원산지나 공개 여부와 무관하게 가장 능력 있는 모델에 이런 테스트를 적용하자는 (스타트업이나 학계의 덜 능력 있는 모델은 전면 면제하면서) 최근 업계 제안들도 고무적이었습니다. 오픈 모델이 위험을 키우는지, 그 위험을 완화할 수 있는지는 미리 단정할 일이 아니라 테스트를 통해 드러나야 할 문제입니다. 오픈 웨이트 모델의 안전성을 높일 유망한 방법도 있을 수 있는데, Anthropic이 최근 발표한 모듈형 학습 전략 연구도 그중 하나입니다. 다만 테스트가 효과를 내려면 전 세계적으로 이뤄져야 하고, 이는 CCP까지 동참해야 한다는 뜻입니다. 실제로 가능할 수도 있다고 봅니다. 기술의 사춘기에 썼듯이, AI 생물학 무기를 막는 일에서는 제한적인 협력이 가능할 수 있습니다. 중국에게도 이익이 되는 일이기 때문입니다.
이제 공개서한 이야기입니다. 서한의 상당 부분에 동의합니다. 오픈 웨이트는 AI 경제에 대한 접근을 넓히고, 적어도 일부 사용 사례에서는 경쟁을 강화하며, 고객에게 더 큰 통제권을 줍니다. 증류에 대한 우려는 표적화된 법적·상업적 틀로 다뤄야 한다는 점도 그렇습니다 — 위에서 설명한 조치와 같은 것입니다. 하지만 오픈 웨이트 모델이 안전장치 개발을 반드시 더 쉽게 만든다거나, 능력에 대한 폭넓은 접근이 공격자보다 방어자에게 반드시 더 유리하다는 서한의 주장에는 동의하지 않습니다. 제가 보기에는 그 반대일 가능성도 최소한 그만큼은 됩니다. 예를 들어 생물학에는 공격자-방어자 간의 강한 비대칭이 있을까 봐 걱정입니다. 충분히 능력 있는 모델은 널리 구할 수 있는 재료로 팬데믹급 바이러스를 빠르게 무기화할 수 있을지 모르는 반면, 이런 병원체에 대한 방어는 아무리 좋은 경우에도 여러 해가 걸리는 실행 과제입니다(Operation Warp Speed에서 봤듯이) 5. 이런 질문은 미리 가정할 것이 아니라 엄격한 출시 전 테스트로 실증적으로 답해야 합니다.
저와 Anthropic의 입장을 요약하면, 우리는 오픈 웨이트 모델이라는 범주 전체를 금지하자고 주장한 적이 없고 지금도 주장하지 않습니다. 그 대신 강력한 칩이 권위주의 세력의 손에 들어가지 않게 막고, 산업 규모의 증류를 중단시키고, 충분히 능력 있는 모든 모델에 — 열려 있든 닫혀 있든 — 안전성 테스트를 요구하는 데 집중해야 합니다.
Footnotes
-
권력 장악을 위한 오용에 대한 논의는 해당 에세이의 3절을, 생물학적 위험에 대한 논의는 2절을 참고하세요. ↩
-
영국 AI 보안 연구소(UK AI Security Institute)의 이 보고서를 참고하세요. 특히 다음 대목입니다: "이런 이점을 뒷받침하는 바로 그 개방성 때문에, 닫힌 모델 개발자들이 오용을 탐지·차단하고, 취약점이 드러날 때마다 안전장치를 개선하고, 사용자 접근을 통제하고, 모델을 회수하는 데 쓸 수 있는 많은 안전 조치가 불가능해진다. 오픈 웨이트 모델이 일단 공개되면 이런 선택지는 영구히 사라진다. 안전장치는 제거될 수 있고, 사본은 다운로드·재배포되어 감시가 닿지 않는 사설 시스템에서 구동될 수 있다. 따라서 위험한 능력을 가진 모델 — 사이버 능력이 매우 뛰어난 모델을 포함해 — 을 오픈 웨이트로 공개하는 것은 지속적이고 되돌릴 수 없는 오용 위험을 만들어 낸다." ↩
-
Anthropic은 자체 관행을 통해서도 산업 규모의 증류를 단속하는 데 힘쓰고 있습니다. 우리 모델을 이런 식으로 쓰는 계정을 식별해 차단하는 것도 그중 하나입니다. 쉬운 일은 아닙니다. 예컨대 해당 계정들은 상당한 증류가 이미 벌어진 뒤에야 식별되는 경우가 많고, 증류에는 대량의 가짜 계정 생성이 동반되는 경우가 많아 표적이 계속 움직입니다. 한 기업의 관행만으로는 문제를 온전히 해결할 수 없고, 그래서 우리가 이 사안에 대한 정책을 요구해 온 것입니다. ↩
-
생물학적 위협과 공격-방어 균형에 대한 더 자세한 논의는 기술의 사춘기 2절을 참고하세요. 요약하면, 지금 생물학 분야에서 우리를 안전하게 지켜 주는 것은 "방어자"도, 재료를 구하기 어렵다는 사정조차도 아니고, 지적 능력과 파국적 해악을 저지르려는 욕구 사이의 음의 상관관계라고 저는 생각합니다. 인터넷 검색이나 심지어 DNA 합성 같은 이전 기술들은 이 상관관계를 깨뜨릴 만큼 강력하지 못했지만, 지금의 발전 속도라면 AI가 머지않아 깨뜨릴까 봐 걱정입니다. 달리 말하면, 충분히 강력한 기술은 모든 장벽을 제거하고 공격자와 방어자 중 누가 구조적으로 유리한지를 드러내는데, 생물학에서는 그것이 공격자일까 봐 우려됩니다. ↩