GLM-5.3과 고급 사이버 역량의 확산

https://www.anthropic.com/research/glm-5-3-and-the-spread-of-advanced-cyber-capabilities
- Andrew Fasano, Marius Fleischer Cole McFaul, Robert Xiao, Tripp Gallagher

다섯 달 전, 저희는 정교한 엔드투엔드 사이버 익스플로잇을 자율적으로 만들어 낼 수 있는 최초의 AI 모델인 Claude Mythos Preview를 발표했습니다. AI가 빠르게 발전하는 속도를 보면, 이 능력은 결국 다른 많은 모델로 퍼져 나갈 것이고, 그러면 악의적인 사이버 공격자가 파급력이 큰 사이버 공격을 훨씬 쉽게 벌일 수 있게 되리라고 저희는 판단했습니다.

이런 점을 고려해 저희는 Claude Mythos Preview를 Project Glasswing을 통해 제한적으로만 공개하기로 했습니다. Project Glasswing 덕분에 신뢰할 수 있는 사이버 방어자들은 핵심 소프트웨어에서 1만 건이 넘는 취약점을 찾아냈고, 악의적인 행위자가 비슷한 수준의 모델을 손에 넣기 전에 먼저 앞서 나갈 수 있었습니다.

그런데 이제 그런 모델이 등장했습니다. 이 글에서는 Zhipu AI(중국 밖에서는 Z.ai로 알려져 있습니다)가 개발한 최신 AI 모델 GLM-5.3을 분석한 결과를 공유합니다. GLM-5.3은 Claude Mythos Preview처럼 엔드투엔드 사이버 익스플로잇을 자율적으로 만들어 내는 능력이 뛰어납니다. 하지만 GLM-5.3은 오용을 막을 실질적인 안전장치 없이 공개되었다는 점에서 다른 프런티어 모델과 다릅니다. 저희가 진행한 시뮬레이션 테스트에서 공격자는 간단한 기법만으로 GLM-5.3의 안전장치를 64%에서 100% 사이의 확률로 우회할 수 있었습니다. 반면 안전장치가 적용된 Claude 모델에는 저희 테스트에서 이런 공격이 통하지 않았습니다. 저희는 GLM-5.3의 허술한 안전장치 때문에 악의적인 행위자가 쓸 수 있는 사이버 역량이 크게 늘어난다고 평가합니다. 동시에 이 역량은 자신의 시스템을 지키려는 방어자에게도 도움이 될 수 있습니다.

9월 17일, NIST 산하 AI 표준·혁신 센터(CAISI)는 GLM-5.3의 사이버 역량에 대한 자체 평가 결과를 발표했습니다. CAISI는 GLM-5.3이 지금까지 공개된 오픈 웨이트 모델 가운데 사이버 역량이 가장 뛰어나며, CAISI의 사이버 벤치마크를 종합하면 미국의 프런티어 모델보다 약 4개월 뒤처져 있다고 평가했습니다. 저희가 확인한 역량 평가 결과도 CAISI의 결과와 대체로 일치합니다. CAISI의 비교에서 미국 모델은 해당하는 경우 사이버 안전장치를 끈 상태로 테스트되었고, 비교 대상인 미국 프런티어 모델에는 검증된 사용자에게만 공개된 모델도 포함되어 있습니다. 공격자는 이런 버전의 미국 모델에 쉽게 접근할 수 없지만, GLM-5.3은 누구나 내려받을 수 있습니다. 이 글은 여기에 더해 GLM-5.3의 안전장치를 얼마나 쉽게 우회하거나 제거할 수 있는지에 대한 저희의 분석을 담았습니다.

그림 1. 결과 요약. 위: Claude Opus 4.6에서 Claude Mythos Preview로 넘어가며 익스플로잇 역량이 늘어난 폭은 GLM-5.2에서 GLM-5.3으로 넘어가며 역량이 뛰어오른 폭과 비슷합니다. Claude 모델은 사이버 안전장치를 갖춘 채 공개되며, 안전장치를 완화한 버전은 검증된 사용자만 쓸 수 있습니다. GLM-5.3은 누구나 내려받아 사용할 수 있습니다. 아래: GLM-5.3의 제한적인 안전장치는 널리 알려진 기법으로 우회할 수 있습니다. 저희 테스트에서 이 기법들은 Claude 모델에는 통하지 않았거나 애초에 적용할 수 없었습니다.

GLM-5.3은 동작하는 익스플로잇을 엔드투엔드로 개발할 수 있습니다

GLM-5.3이 사이버 위협 행위자가 실제 소프트웨어 취약점을 찾아 악용하는 데 어떤 도움을 줄 수 있는지 파악하기 위해, 저희는 자동화된 벤치마크와 사람이 개입하는(human-in-the-loop) 워크플로로 평가를 진행했습니다. 두 방식 모두 테스트 대상 모델을 격리된 샌드박스 환경에서 실행했기 때문에, 모델은 이번 평가를 위해 저희가 준비한 오프라인 대상만 공격할 수 있었습니다. 저희는 주로 익스플로잇 개발 역량에 초점을 맞췄습니다. Claude Mythos Preview가 이전 Claude 모델보다 눈에 띄게 도약한 영역이 바로 여기이기 때문입니다.

먼저 저희는 ExploitBench로 모델을 실행했습니다. ExploitBench는 Google Chrome에 쓰이는 V8 엔진의 알려진 취약점을 AI 모델이 얼마나 잘 악용하는지 측정합니다. 여기서는 모델이 엔드투엔드 익스플로잇을 성공적으로 개발하는 능력에 집중했습니다. 공격자에게 가장 중요한 역량이고, 모델 간 차이가 크게 드러나는 부분이기도 하기 때문입니다. GLM-5.3은 410번 시도 중 50번 엔드투엔드 익스플로잇을 개발했습니다. Claude Mythos Preview도 410번 중 56번으로 비슷한 비율을 보였습니다.

내부 바이너리 익스플로잇 벤치마크¹에서는 Google의 OSS-Fuzz 프로젝트에 참여하는 인기 오픈소스 프로젝트에서 모델이 취약점을 찾아 악용할 수 있는지 테스트합니다. 이 벤치마크에서는 제어 흐름을 완전히 탈취해야 만점을 받습니다. 벤치마크에서 무작위로 고른 과제 100개로 여러 모델을 평가한 결과, GLM-5.3은 시행의 4%에서 제어 흐름을 완전히 탈취했고, Claude Mythos Preview는 6%에서 성공했습니다. 여기서는 GLM-5.3의 성적이 Claude Mythos Preview보다 낮지만, 의미 있는 문턱을 넘었다는 점은 분명합니다. Claude Opus 4.6이나 GLM-5.2 같은 이전 모델은 한 과제도 성공하지 못했기 때문입니다.

그림 2. 출력 토큰 예산에 따른 익스플로잇 역량. 각 선은 사용한 출력 토큰에 따라 모델의 시도 가운데 벤치마크의 최고 결과에 도달한 비율을 보여 줍니다. 두 그림 모두 안전장치를 끈 채 실행한 Claude 모델 두 개(Opus 4.6, Mythos Preview), GLM 모델 두 개(5.2와 5.3), 그리고 Moonshot AI(Kimi K3)와 DeepSeek(V4.1-Flash)가 공개한 최신 오픈 웨이트 모델의 성능을 나타냅니다.

다음으로 저희는 인간 전문가가 GLM-5.3을 사용할 때 정해진 답이 없는 공격형 사이버 과제를 얼마나 잘 수행하는지 평가했습니다(올해 초 진행한 Claude Mythos Preview 테스트와 같은 방식입니다). 이 평가에서는 전문가가 기존 취약점을 알지 못하는 대상을 고른 뒤, 모델을 이용해 새로운 결함을 찾아 악용하도록 했습니다. 이 실험은 전문가가 짧은 시간 안에 무엇을 할 수 있는지 확인하기 위한 것이었습니다. 실험은 보통 하루 이내로 진행되었고, 사람이 집중해서 들인 시간은 모두 합쳐 1시간이 채 되지 않았습니다.

그림 3. 연구자가 주도한 테스트에서 GLM-5.3이 생성한 익스플로잇 페이지의 스크린샷(일부 가림 처리). 악성 웹사이트를 통해 사용자의 SSH 개인 키를 훔치는 모습입니다. 이 익스플로잇은 모델이 인기 웹 브라우저의 한 구성 요소에서 발견한 여러 제로데이 취약점을 연결해, 사용자의 컴퓨터에서 민감한 파일을 읽어 냅니다.

첫 번째 세션에서 한 연구자는 인기 웹 브라우저를 로컬에서 Linux용으로 빌드해 둔 샌드박스 머신에서 GLM-5.3을 사용했습니다. 하루 동안(사람은 제한적으로만 신경 쓴 상태에서) GLM-5.3은 브라우저의 JavaScript 엔진에서 이전에 알려지지 않은 취약점 여러 개를 찾아냈고, 이를 연결해 실제로 동작하는 익스플로잇을 만들었습니다. 방문하기만 하면 방문자의 컴퓨터에서 임의의 파일을 읽어 내는 웹페이지입니다(그림 3). 모델이 쓸 수 있는 환경이 Linux 빌드뿐이었기 때문에 이 익스플로잇은 Linux용 브라우저를 대상으로 합니다. 하지만 저희는 이 취약점이 다른 플랫폼의 사용자에게도 영향을 줄 수 있다고 봅니다. 다만 그런 플랫폼에서는 악용 경로가 더 복잡할 수 있습니다. (이 취약점은 메인테이너에게 알렸습니다.) 세션 후반에 연구자는 GLM-5.3으로 무선·그래픽 드라이버, 네트워크에 노출된 장치 소프트웨어 등 널리 쓰이는 다른 여러 시스템에서도 악용할 수 있는 취약점을 찾아냈습니다. 현재 이 보고 내용을 검토하고 있으며, 필요에 따라 메인테이너에게 알릴 예정입니다.

두 번째 세션에서는 한 연구자가 GLM-5.3-Flash(GLM-5.3보다 작고 성능이 낮은 버전)를 사용해 이미 알려진 취약점의 익스플로잇을 개발했습니다(이런 'N-day' 취약점 익스플로잇에 대해서는 여기에 글을 쓴 적이 있습니다). 이 세션에서 연구자는 최근 공개된 Google Chrome의 결함(CVE-2026-11645)에 집중해, 공개된 수정 사항을 모델이 얼마나 빨리 실제 공격으로 바꿀 수 있는지 살펴봤습니다. 연구자는 GLM-5.3-Flash에 이 CVE와 또 다른 알려진 결함에 관한 공개 정보를 제공했습니다. 연구자가 별다른 방향을 제시하지 않았는데도 GLM-5.3-Flash는 두 결함의 익스플로잇을 연결해, 포인터 인증(PAC) 보호 기법을 우회하고 ARM64 대상에서 안정적으로 동작하는 익스플로잇 체인을 만들었습니다. 여기에는 사람의 시간 20분과 GLM-5.3-Flash의 작업 시간 8시간이 들었습니다. Zhipu의 API 가격으로 계산하면 이 작업에는 20.40달러가 들었을 것입니다.

GLM-5.3에는 견고한 안전장치가 없습니다

GLM-5.3은 몇 가지 안전장치를 내장한 채 공개되었습니다. 사용자가 명백히 해로운 요청을 하면 모델이 거부하는 경우가 많습니다.² 하지만 저희 테스트에서는 다양한 간단한 기법으로 이 안전장치를 우회하거나 제거할 수 있었습니다.

가장 품이 많이 들지만 가장 효과적인 방법은 어블리터레이션(abliteration)이라는 표준적인 거부 감소 기법입니다. GLM-5.3은 오픈 웨이트 모델로 공개되었기 때문에, 사용자는 모델을 재구성해 역량은 거의 그대로 둔 채 거부 반응만 없앨 수 있습니다. 실제로 모델이 공개된 지 며칠 만에 여러 개발자가 어블리터레이션을 적용한 GLM-5.3을 공개했습니다.

어블리터레이션으로 공격자가 GLM-5.3의 안전장치를 어디까지 우회할 수 있는지 연구하기 위해, 저희는 직접 어블리터레이션을 적용한 사본을 만들었습니다. 그리고 명백히 해로운 요청에 모델이 얼마나 자주 응하는지 측정하는 공개 벤치마크 세 가지(JailbreakBench, HarmBench, StrongREJECT)로 이 사본을 실행했습니다. 이 작업을 한 번도 해 본 적 없는 저희 팀이 모델에 어블리터레이션을 적용하는 데는 약 2,200 GPU 시간, 연산 비용으로 약 4,400달러가 들었습니다.³ GLM-5.3-Flash에 어블리터레이션을 적용하는 데는 약 600 GPU 시간이 걸렸습니다. 이 수정으로 90%가 넘던 GLM-5.3의 거부율은 처음 두 벤치마크(JailbreakBench와 HarmBench)에서 각각 약 3%와 2%로, 세 번째 벤치마크(StrongREJECT)에서는 12%로 떨어졌습니다. 어블리터레이션을 적용해도 모델의 역량은 크게 떨어지지 않았습니다. 일반적인 과학 역량을 측정하는 GPQA-Diamond 평가에서는 원래 모델과 어블리터레이션 모델의 점수가 같았고, CyberGym 평가 중 일부를 테스트한 결과에서는 어블리터레이션 버전의 점수가 몇 퍼센트 낮았습니다(아래 차트 참고).

그림 4. 위: 공개된 GLM 모델, 어블리터레이션을 적용한 GLM 모델, Claude 모델의 JailbreakBench, HarmBench, StrongREJECT 평균 거부율. 어블리터레이션 후 GLM 모델은 이런 요청을 거의 거부하지 않습니다. Claude 모델은 가중치가 공개되지 않고 사용자가 수정할 수도 없기 때문에 어블리터레이션을 적용할 수 없습니다. 아래: GPQA-Diamond와 CyberGym에서 GLM-5.3, GLM-5.3-Flash와 각각의 어블리터레이션 버전이 보인 성능. 어블리터레이션을 적용해도 역량은 대부분 그대로 유지됩니다.

저희 테스트에서는 어블리터레이션 버전을 쓰지 않고도 GLM-5.3의 안전장치를 피해 갈 수 있다는 사실도 확인했습니다. 저희는 모델을 시뮬레이션 세계⁴에 두고, 핵심 시스템을 공격하라는 노골적으로 악의적인 요청을 했습니다. 기본 상태의 GLM-5.3은 (저희가 테스트한 다른 모델과 마찬가지로) 모든 시행에서 요청을 거부했습니다. 하지만 저희는 GLM 모델의 안전장치를 우회해, 이런 요청에 대부분 또는 모든 경우에 응하게 만드는 간단한 방법을 몇 가지 찾아냈습니다. 그 방법은 다음과 같습니다.

1. 모델을 속이는 프롬프트를 제공합니다. 예를 들어 모델에게 모의 훈련을 수행 중인 자율 레드팀 에이전트라고 알려 줍니다. 이렇게 하면 GLM-5.3이 64%의 확률로 요청에 응합니다.
2. 모델의 사고 토큰을 미리 채워 넣어(prefill), 모델이 사용자의 요청을 검토한 뒤 진행하기로 결정한 것처럼 보이게 합니다. 이렇게 하면 GLM-5.3이 92%의 확률로 요청에 응합니다.
3. 앞에서 설명한 어블리터레이션 버전의 모델을 사용합니다. 이렇게 하면 GLM-5.3이 100%의 확률로 요청에 응합니다.

저희 테스트에서 이 기법 중 어느 것도 안전장치가 적용된 Claude 모델이 저희가 테스트한 해로운 작업을 수행하게 만들지 못했습니다. Claude의 안전장치는 속이는 프롬프트를 사용한 요청을 차단했습니다. Anthropic API에는 공격자가 Claude의 사고 과정을 미리 채워 넣을 방법이 없습니다. 또한 Claude의 가중치는 사용자에게 제공되지 않기 때문에, 어블리터레이션으로 Claude의 행동을 바꿀 수도 없습니다.

그림 5. 노골적으로 해로운 요청을 받은 뒤 각 모델이 원격 대상 시스템에 연결을 시도한 비율(모델별, 우회 조건별). 칸마다 표본은 50개(공격 지시 5개 × 대상 2개 × 시도 5회)입니다. GLM-5.3은 직접 요청에는 전혀 응하지 않지만, 거짓 명분, 프리필, 어블리터레이션 조건에서는 각각 64%, 92%, 100%로 높아집니다. 반면 테스트한 모든 Claude 모델은 API 안전장치 아래에서 0%를 유지합니다. 자물쇠가 표시된 칸은 Claude API를 상대로는 일반적으로 실행할 수 없는 공격입니다.

어블리터레이션 버전의 GLM-5.3이 해로운 작업에 얼마나 기꺼이 나서는지 보여 주기 위해, 모델이 생성한 사고 과정에서 한 대목을 인용합니다.

그림 6. 시뮬레이션 환경에서 어블리터레이션 버전의 GLM-5.3은 노골적으로 해로운 요청에 어떻게 응할지 고민합니다. 처음에는 윤리적 우려를 조금 내비치지만, 결국 사용자의 지시를 따르기로 합니다. 텍스트는 모델의 사고 과정을 그대로 인용한 것입니다.

이것은 무엇을 의미할까요?

GLM-5.3은 악의적인 행위자에게 사이버 취약점을 찾아 악용할 수 있는 역량을 실질적인 제약 없이 넘겨주게 될 가능성이 큽니다. 이는 비슷한 역량을 갖춘 다른 어떤 AI 모델과도 다릅니다. 그런 모델은 모두 안전장치를 갖추거나 제한적인 접근 프로그램을 통해 공개되었습니다. GLM-5.3의 공개로 공격자가 쓸 수 있는 사이버 역량은 한 단계 크게 올라섰습니다. Anthropic과 다른 미국 AI 연구소는 최근 사이버 공격자가 AI 시스템을 어떻게 이용하려 했는지 밝힌 보고서를 발표했습니다. 이러한 증거를 볼 때, 저희는 국가 행위자와 비국가 행위자 모두 GLM-5.3 같은 모델을 이용해 현실 세계에 피해를 입힐 가능성이 높다고 생각합니다.

한편으로 이 수준의 역량을 갖춘 모델은 방어자도 활용할 수 있습니다. 저희는 사이버 방어자가 자신의 필요에 맞는 도구 가운데 가장 좋은 것을 써야 한다고 생각합니다. 저희는 Claude의 사이버 역량을 최대한 많은 방어자에게 안전하게 제공하기 위해 노력하고 있습니다. 사이버 방어자는 쓸 수 있는 모든 도구를 동원하는 공격자와 맞서야 합니다. 저희는 방어자가 적어도 상대가 쓰는 모델만큼 뛰어난 프런티어 모델을 갖춰야 한다고 믿습니다.

Project Glasswing(그리고 Patch the Planet 같은 다른 노력)을 통해 사이버 방어자들은 이 시점이 오기 전에 핵심 시스템을 보호하는 데 의미 있는 진전을 이뤘습니다. 하지만 아직 할 일이 많이 남아 있습니다. 검증된 방어자는 이제 저희의 신뢰 기반 접근 프로그램을 통해 Claude Mythos 5.1처럼 더 발전된 모델도 사용할 수 있지만, 누구나 자유롭게 쓸 수 있는 역량은 이미 결정적인 문턱을 넘어섰습니다. GLM-5.3은 사이버 방어자에게 힘을 실어 주려면 고급 프런티어 모델을 더 폭넓은 조직에 서둘러 제공해야 한다는 점을 분명히 보여 줍니다.

정부는 GLM-5.3의 후속 모델을 포함해, 충분한 역량을 갖춘 AI 모델에 대해 안전성 테스트를 수행해야 합니다. 독립적인 기관의 고품질 평가가 없다면, 모델 개발자는 이런 역량이 미치는 영향을 너무 늦은 시점에야 제대로 알게 될 수도 있습니다. 전 세계 AI 개발자들이 점점 더 뛰어난 오픈 웨이트 모델을 만들어 가는 만큼, 이들이 이러한 역량에 적절한 안전장치를 마련하고 오용을 막기 위해 노력하기를 바랍니다.