언어 모델 속 전역 작업공간
TMT이 문장을 읽는 동안에도 여러분의 뇌 속 회로들은 자세를 조정하고, 호흡을 조절하고, 화면 위의 선과 곡선을 알아볼 수 있는 단어로 바꾸고 있습니다. 이 처리 과정의 대부분은 여러분 눈에 보이지 않습니다. 하지만 뇌에서 일어나는 일 가운데 여러분이 접근할 수 있는 것도 있습니다. 문득 머릿속에 떠오르는 이미지나, 어디로 장을 보러 갈지 일부러 세우는 계획 같은 것입니다. 신경과학자와 철학자들은 무의식적으로 진행되는 다른 모든 처리와 구별하기 위해, 후자와 같은 뇌 활동을 "의식적으로 접근 가능하다(consciously accessible)"고 부르기도 합니다. 이런 활동에는 특별한 성질이 있습니다. 우리가 알아차리지 못하는 사이 진행되는 온갖 자동적인 처리와 달리, 우리는 이를 말로 설명할 수 있고, 통제할 수 있고, 의도적인 추론에 쓸 수 있습니다.
새 논문에서 우리는 Claude 같은 현대 언어 모델에도 이와 비슷한 구분이 생겨났다는 증거를 제시합니다. Claude의 내부에는 다른 모든 내부 처리와 비교해 특별한 역할을 하는 소수의 내부 신경 패턴 모음이 형성되어 있다는 사실을 발견했습니다.
우리는 이 패턴들의 모음을 *J-공간(J-space)*이라고 부릅니다. 야코비안(Jacobian)이라는 수학 개념을 활용해 이 패턴들을 찾아낸 기법의 이름을 딴 것입니다. J-공간의 각 패턴은 특정 단어와 연결되어 있습니다. 하지만 어떤 패턴이 켜졌다고 해서 모델이 그 단어를 말하고 있다는 뜻은 아닙니다. 그저 그 단어가 마음에 떠올라 있다는 뜻입니다. 언어 모델이 추론하면서 스스로에게 쓰는 텍스트인 "스크래치패드"나 "사고 사슬(chain of thought)"을 들어보셨다면, J-공간은 그것과는 다른 것입니다. J-공간은 모델의 내부 신경 활성값 속에서 소리 없이 작동하며, 모델이 어떤 개념을 글로 적지 않고도 생각할 수 있게 해줍니다. 특히 주목할 점은, J-공간은 우리가 설계하거나 프로그래밍한 것이 아니라 Claude의 훈련 과정에서 저절로 생겨났다는 것입니다.
J-공간은 모델의 출력에는 나타나지 않는 내면의 생각을 드러내 보여줍니다.
J-공간은 Claude의 나머지 처리 과정과 비교해 여러 독특한 성질을 갖고 있습니다.
- Claude는 이 표상들을 말로 보고할 수 있습니다. Claude에게 지금 무슨 생각을 하고 있는지 물으면, J-공간에 들어 있는 내용을 이야기합니다. J-공간 밖의 표상들은 그만큼 잘 보고되지 않습니다.
- 요청에 따라 이 표상들을 조절할 수도 있습니다. Claude에게 무언가를 생각해 보라고 하거나 문제를 머릿속으로 조용히 풀어보라고 하면, J-공간에서 그에 맞는 패턴이 켜집니다. 반면 J-공간에 없는 패턴은 잘 조절하지 못합니다.
- Claude는 내부 추론에 J-공간을 사용합니다. 여러 단계가 필요한 문제를 풀게 하면, 중간 단계들을 입 밖에 내지 않을 때조차 그 단계들이 J-공간에 켜집니다. 이 J-공간 패턴들은 다른 표상들보다 크기가 작은데도, 이런 과제의 수행을 인과적으로 매개합니다.
- J-공간의 표상은 여러 과제에 유연하게 쓰일 수 있습니다. 예를 들어 Claude의 J-공간에 "프랑스"가 한번 켜지면, 모델은 그 수도든, 그 나라의 통화든, 속해 있는 대륙이든 자유롭게 떠올릴 수 있습니다.
- 하지만 이런 중요한 역할에도 불구하고, 언어 모델이 하는 일의 대부분, 그러니까 유창하게 말하기, 간단한 사실 떠올리기, 올바른 문법 사용하기 같은 일에는 J-공간이 관여하지 않습니다. Claude가 J-공간을 쓰지 못하게 막은 실험에서도 Claude는 여전히 정상적으로 대화했지만, 고차원적 인지 기능은 잃어버렸습니다.
전역 작업공간의 다섯 가지 기능적 성질과, 언어 모델에서 이를 검증하기 위해 사용한 실험들을 도식화한 그림.
우리의 실험은 의식적 접근이 어떻게 작동하는지 설명하기 위해 발전해 온 신경과학의 유력한 이론, 즉 전역 작업공간 이론(global workspace theory)에서 영감을 받았습니다. 이 이론은 뇌를 무의식적으로, 서로 대체로 격리된 채 병렬로 일하는 전문가 시스템들의 집합으로 그립니다. 어떤 정보가 "작업공간"이라는 작은 공유 채널에 들어서면 그 내용이 다른 뇌 시스템들로 방송되어 그들이 보고 활용할 수 있게 되고, 그때 그 정보는 의식적으로 접근 가능해집니다. 우리의 발견에 비추어 볼 때, J-공간은 Claude 안에서 이와 비슷한 "작업공간" 역할을 한다고 생각합니다. 예를 들어 Claude의 J-공간은 신경망의 나머지 부분과 유난히 강하게 연결되어 있어서 이런 방송 역할을 수행할 수 있다는 증거를 발견했습니다.
이 발견들이 Claude가 사람처럼 의식이 있는지, 혹은 무언가를 느끼기는 하는지를 말해주지는 않습니다. 이 질문은 글의 마지막에 다시 다루겠습니다. 하지만 철학적 의미가 무엇이든, J-공간은 Claude가 말하지 않고 생각만 하는 것을 들여다볼 수 있게 해준다는 점에서 우리에게 실용적으로 유용한 도구입니다. 예컨대 우리는 J-공간을 이용해, Claude가 자신이 테스트받고 있다는 사실을 속으로 알아차리는 순간, 의도적으로 조작된 데이터를 만들어내는 순간, 훈련 중에 우리가 심어둔 숨은 목표를 좇는 순간을 포착할 수 있었습니다. 또한 Claude의 J-공간에 무엇이 켜질지에 개입해 의사결정에 영향을 주는 기법도 개발했습니다.
더 넓게 보면, 이 발견들은 Claude의 마음이 작동하는 방식에 대한 우리의 이해를 바꾸어 놓았습니다. 더 자동적이고 경직된 처리의 바다 한가운데에서 의도적 추론에 쓸 수 있는 특권적인 정신적 작업공간이 작동하고 있다는 사실이 드러난 것입니다. Claude의 내부는 숫자들이 어지럽게 뒤엉킨 덩어리가 아니라, 우리 자신의 마음을 떠올리게 하는 방식으로 스스로를 조직해 왔습니다.
이 글은 훨씬 방대한 연구 논문을 짧게 요약한 것으로, 실험의 자세한 내용은 논문에서 확인할 수 있습니다. 핵심 기법의 오픈소스 구현을 담은 코드 저장소도 공개했으며, Neuronpedia와 협력해 공개 가중치 모델에서 우리 기법을 직접 써볼 수 있는 인터랙티브 데모도 제공합니다. 이 연구가 갖는 더 넓은 함의에 대한 다양한 관점을 전하기 위해 신경과학, 철학, LLM 해석 가능성(interpretability) 분야의 여러 전문가에게 논평도 요청했으며, 여기에서 볼 수 있습니다.
J-공간을 찾아낸 방법
이 연구의 출발점은 인간의 의식적으로 접근 가능한 생각이 지닌 핵심 특징 하나에서 영감을 얻었습니다. 바로 무의식적 처리와 달리, 그런 생각은 대개 말로 표현할 수 있다는 점입니다. 어떤 생각이 의식적으로 접근 가능하다면, 누가 물었을 때 보통은 그 생각을 설명할 수 있습니다. 우리는 Claude 안에서 같은 성질을 지닌 표상, 즉 Claude가 할 만한 말에 영향을 줄 위치에 있는 표상을 찾아 나섰습니다. 지금 당장 하고 있는 말이 아니라, 누가 물으면 이야기할 수 있는 내용 말입니다. 우리가 쓴 기법은 야코비안 렌즈(Jacobian lens), 줄여서 J-렌즈라고 부릅니다. J-렌즈는 Claude의 어휘에 있는 모든 단어 각각에 대해, Claude가 미래 어느 시점에 그 단어를 말할 가능성을 높이는 내부 활동 패턴을 찾아냅니다.
이 렌즈를 Claude의 내부 활동에 적용하면 단어 목록이 나옵니다. 그 순간 J-공간에 담긴 내용으로, 우리는 이를 그냥 읽으면 됩니다. Claude는 레이어(layer)라고 부르는 여러 내부 단계를 거치며 텍스트를 처리하는데, 이 기법을 여러 레이어에 걸쳐 적용하면 모델이 무슨 말을 할지 궁리하는 동안 J-공간 속의 이 소리 없는 단어들이 변해가는 모습을 지켜볼 수 있습니다.
J-공간에 나타나는 내용은 Claude가 읽거나 쓰고 있는 텍스트를 훌쩍 넘어섭니다. 아무도 지적하지 않은 버그가 있는 코드를 읽을 때, Claude의 J-공간에는 "ERROR"가 들어 있습니다. 단백질 서열의 낱글자들을 읽을 때는 그 단백질의 생물학적 기능이 J-공간에 담깁니다. 몰래 자신을 조종하려는 검색 결과(이른바 "프롬프트 주입(prompt injection)" 공격)를 읽을 때는 "injection(주입)"과 "fake(가짜)"가 J-공간에 나타납니다. 여러 단계짜리 수학 문제를 내면, 중간 단계들이 올바른 순서로 J-공간에 떠오릅니다. 즉 J-공간은 말로 표현될 수 있는 표상을 찾다가 발견한 것이지만, 그럼에도 Claude의 내면의 생각을 드러내 줍니다. 어떤 의미에서 이는 일부 사람들이 소리 내어 말하지 않고도 "말로 생각하는" 것과 비슷합니다.
여섯 개의 프롬프트에 대해 여러 레이어에서 읽어낸 J-렌즈 판독 결과. 각 사례에서 렌즈는 텍스트 어디에도 나타나지 않는 내부 평가나 계산을 드러냅니다. 추론 문제나 수학 문제의 풀이 단계, 버그의 존재, 이미지 인식, 단백질의 기능, 검색 결과가 조작되었다는 의심이 그것입니다.
Claude는 J-공간에 담긴 것을 보고한다
첫 번째 실험군에서는 J-공간이 Claude의 언어적 보고에 어떻게 관여하는지 검증했습니다. 한 실험에서는 Claude에게 어떤 범주, 이를테면 스포츠 중에서 하나를 조용히 생각한 다음 말해보라고 했습니다. Claude가 답하기 직전에 J-렌즈를 읽으면 무엇을 골랐는지 볼 수 있습니다. 목록 맨 위에 "Soccer"가 있고, 아니나 다를까 Claude는 "축구"라고 답합니다. 다만 이것만으로는 상관관계일 뿐입니다. J-공간이 Claude의 답이 나오는 곳일 수도 있지만, 경기에 아무 영향 없이 점수만 따라가는 점수판처럼 다른 곳에서 내려진 결정을 비추기만 하는 것일 수도 있습니다.
이를 확인하기 위해 직접 개입해 보았습니다. Claude의 신경망 안으로 손을 뻗어 "Soccer" 패턴을 제거하고 그 자리에 똑같은 세기의 "Rugby" 패턴을 넣되, 나머지는 전혀 건드리지 않았습니다. 그러자 Claude는 자기가 생각하던 스포츠가 럭비였다고 보고합니다. J-공간이 단순한 점수판, 즉 다른 곳에서 내려진 결정의 수동적 기록에 불과했다면 이를 고쳐도 아무 일이 없었을 것이고, Claude는 여전히 "축구"라고 답했을 것입니다. 그런데 Claude의 답은 우리가 고친 대로 바뀌었습니다. 답이 정말로 J-공간에서 읽혀 나온다는 뜻입니다.
또 다른 실험에서는 Claude에게 마음속에 어떤 생각이 주입되었을지도 모른다고 말해주고, 알아차린 것이 있으면 무엇이든 보고해 달라고 했습니다. 예를 들어 아래 사례에서는 Claude가 아직 질문을 읽는 중일 때 J-공간에 "lightning(번개)" 패턴을 주입했습니다. Claude는 주입된 생각이 번개에 관한 것이었다고 보고했습니다. 다양한 개념을 주입해도 같은 결과가 나왔습니다.
왼쪽: Claude에게 스포츠 하나를 조용히 생각한 뒤 말해보라고 합니다. 답하기 전에 J-렌즈에 그 선택("Soccer")이 나타나고, "Soccer" 패턴을 "Rugby"로 바꿔치기하면 보고하는 내용도 바뀝니다. 오른쪽: 생각이 주입되었을 수 있다고 말해주고 무엇인지 짚어보라고 합니다. J-공간에 "lightning"을 주입하면 Claude는 그 생각이 번개에 관한 것이라고 보고합니다.
Claude는 요청에 따라 J-공간을 제어할 수 있다
두 번째로 검증한 성질은, 사람이 머릿속으로 이미지나 단어에 집중할 수 있듯이 Claude도 요청받으면 J-공간을 조절할 수 있는가였습니다. 우리는 Claude에게 그림에 관한 무관한 문장을 받아 적으면서 감귤류 과일에 집중하라고 했습니다. 텍스트를 받아 적는 동안 J-공간에는 "orange(오렌지)"와 "fruits(과일)"가, 그리고 그 정신적 행위 자체를 묘사하는 "thinking(생각)", "imagery(심상)" 같은 단어들이 함께 들어 있었습니다. 머릿속으로 계산을 시켜볼 수도 있습니다. 같은 문장을 받아 적으면서 3² − 2를 풀어보라고 하면 J-공간에 "nine(9)"이 나타나고, 더 뒤쪽 레이어에서는 "seven(7)"이 나타납니다. 중요한 점은, Claude의 출력에는 과일이나 계산에 관한 내용이 전혀 없다는 것입니다. 출력은 그림에 관한 문장을 받아 적은 것뿐입니다. 수학적 활동은 전적으로 내부에서, J-공간 안에서 일어나고 있습니다.
Claude가 그림에 관한 문장을 받아 적는 동안, J-렌즈에는 마음에 담아두라고 지시받은 내용("orange", 중간값 "nine"과 답 "seven")이 그것을 담아두는 행위를 묘사하는 단어들("thoughts", "focused")과 나란히 나타납니다.
Claude의 J-공간 제어가 완벽하지는 않습니다. 무언가를 생각하지 말라고 하면, 그 개념은 생각하라고 했을 때보다는 덜 켜지지만, 아예 언급하지 않았을 때보다는 훨씬 많이 켜집니다. 어떤 생각을 피하라는 말 자체가 그 생각을 어느 정도 떠오르게 하는 셈인데, 흰곰을 생각하지 말라는 말을 들은 사람에게 벌어지는 일과 무척 비슷합니다. Claude는 제어에 실패했다는 것도 알아차리는 듯합니다. 금지된 개념이 뚫고 올라오는 것과 나란히 "damn(이런)"과 "failure(실패)" 같은 단어가 J-공간에 자주 켜지는데, 마치 Claude가 자신의 실수를 인지하는 듯한 모습입니다.
Claude는 J-공간에서 생각한다
앞의 J-렌즈 판독에서 수학 문제의 중간 단계들이 J-공간에 나타나는 것을 보았습니다. 하지만 어떤 개념이 J-공간에 나타난다고 해서 반드시 J-공간이 인지적 작업을 하고 있다는 뜻은 아닙니다. 원리상 실제 계산은 다른 곳에서 일어나고, J-공간은 이를 수동적으로 비추기만 할 수도 있습니다. Claude가 정말 J-공간으로 추론하는지 검증하기 위해, 우리는 다시 바꿔치기 기법을 썼습니다.
"거미줄을 치는 동물의 다리 개수는"이라는 프롬프트를 생각해 봅시다. 답하려면 Claude는 먼저 그 동물이 거미라는 것을 알아내고, 그다음 거미 다리가 몇 개인지 떠올려야 합니다. "거미"라는 단어는 프롬프트에도 Claude의 답에도 나오지 않습니다(답은 그저 "8"입니다). 거미는 Claude가 내부에서 딛고 가는 징검다리인 셈입니다. J-렌즈를 보면 처리 도중에 "spider(거미)"가 켜지는 것이 보이고, 이를 바꿔치기하면 결과가 달라집니다. "spider" 패턴을 "ant(개미)"로 갈아 끼우면 Claude는 "8" 대신 "6"이라고 답합니다.
Claude의 추론 두 번째 단계는 J-공간에서 입력을 받아, 우리가 거기에 무엇을 넣든 그대로 따라갔습니다. 다른 종류의 사고에서도 같은 현상이 보였습니다. 운을 맞춘 2행시를 쓸 때 Claude는 운을 맞출 단어를 미리 골라두는데, 그 계획된 단어가 행의 시작 시점에 J-공간에 자리 잡고 있습니다. J-공간에서 이 단어를 다른 단어로 바꿔치기하면 행 전체가 달라집니다.
J-공간의 내용을 바꿔치기해 Claude의 소리 없는 추론의 방향을 돌려놓은 두 가지 사례.
J-공간의 표상이 유연하게 쓰일 수 있는지, 즉 하나의 표상이 여러 다른 과제에 재료가 될 수 있는지도 검증했습니다. 이는 전역 작업공간 이론이 강조하는 핵심 성질 중 하나입니다. 이 유연성을 확인하기 위해 모델에게 프랑스에 관한 서로 다른 사실, 곧 수도, 언어, 대륙, 통화를 묻는 네 가지 프롬프트를 주었습니다. 그런 다음 각 맥락에서 완전히 동일한 개입으로 J-공간의 "France"를 "China"로 바꿔치기했습니다. Claude는 각각 "베이징", "중국어", "아시아", "위안"이라고 답했습니다. 다시 말해 네 가지 서로 다른 후속 계산이 같은 J-공간 수정을 받아들여 저마다 올바르게 활용한 것입니다. 만약 Claude가 질문 종류마다 국가 정보를 따로 저장해 두었다면, 이 수정은 기껏해야 그중 하나에만 영향을 미쳤을 것입니다. 네 가지 답이 모두 함께 바뀌었다는 사실은 이들 모두가 같은 공유 표상을 읽고 있다는 뜻이며, 이것이 바로 작업공간의 존재 이유입니다. 정보를 한 번 써넣으면 여러 다른 시스템이 그것을 쓸 수 있는 것입니다.
하나의 J-공간 표상이 여러 용도로 쓰일 수 있습니다. 같은 "France"→"China" 바꿔치기 하나로 수도(파리→베이징), 언어(프랑스어→중국어), 대륙(유럽→아시아)에 대한 Claude의 답이 모두 바뀝니다.
하나의 개념 표상이 어떻게 이렇게 많은 과제를 감당할 수 있을까요? 앞서 J-공간이 Claude 신경망의 나머지 부분과 유난히 촘촘하게 연결되어 있는 것으로 보인다고 했습니다. 어떤 활동 패턴이든, 신경망의 여러 구성 요소가 그 패턴과 얼마나 강하게 연결되어 있는지, 즉 얼마나 많은 요소가 그 패턴에서 정보를 읽거나 그 패턴에 정보를 써넣을 위치에 있는지 측정할 수 있습니다. 이 척도에서 J-공간 패턴은 극적으로 두드러집니다. 보통 패턴보다 훨씬 많은 구성 요소가 J-공간 패턴을 읽고 쓰며, 신경망의 일부 구역에서는 그 차이가 100배 정도에 이릅니다. 이는 많은 시스템이 정보를 올리고 또 많은 시스템이 그것을 받아 가는 방송 허브에서 기대할 법한 배선입니다.
Claude의 자동 처리는 J-공간을 거치지 않는다
사람의 경우 뇌 처리의 대부분은 의식되지 않습니다. 우리는 글을 읽으면서 문법 분석을 일부러 생각하지 않고, 걸으면서 몸의 균형 잡기를 일부러 생각하지 않습니다. 마찬가지로 Claude의 처리 대부분도 J-공간을 거치지 않는다는 것을 발견했습니다. 알고 보니 J-공간은 한 번에 수십 개 정도의 개념만 담고 있고, Claude 내부 처리의 전체 활동에서 차지하는 비중도 10분의 1이 안 됩니다. 그렇다면 신경망의 나머지는 다 무엇을 하고 있을까요?
이를 알아보기 위해 J-공간을 통째로 지워보았습니다. 텍스트의 모든 지점에서 J-공간의 가장 활발한 내용을 제거하되 나머지는 그대로 두는 것입니다. J-공간 없이도 Claude가 여전히 할 수 있는 일이 곧 신경망의 나머지가 알아서 처리하는 일입니다.
알고 보니 나머지 신경망이 할 수 있는 일은 꽤 많았습니다. J-공간이 없어도 Claude는 유창하게 말하고, 감정을 분류하고, 객관식 문제에 답하고, 지문에서 사실을 뽑아내는 일을 이전과 거의 다름없이 해냅니다. 하지만 고차원적 사고가 어느 정도 필요한 과제들은 잃어버립니다. 여러 단계 추론 능력은 거의 0으로 떨어지고, 요약과 운을 맞춘 시 쓰기 성능은 훨씬 작지만 온전한 모델보다도 낮아집니다.
J-공간이 하는 일과 하지 않는 일을 구체적으로 보여주는 사례가 있습니다. Claude에게 스페인어로 쓰인 지문을 보여주고, 모두 그 지문이 스페인어라는 사실에 의존하는 서로 다른 과제들을 주었습니다. 지문 이어 쓰기(스페인어로 써야 합니다), 언어 이름 말하기, 그리고 그 언어의 정체를 활용해야 하는 질문, 이를테면 그 언어로 글을 쓴 유명 작가를 대는 질문에 답하기입니다. 그런 다음 J-공간에서 "Spanish(스페인어)"를 "French(프랑스어)"로 바꿔치기하고 어떤 과제가 영향을 받는지 확인했습니다.
언어 이름을 물으면 Claude는 프랑스어라고 답합니다. 유명 작가를 물으면 답이 가르시아 마르케스에서 빅토르 위고로 바뀝니다. 하지만 그냥 지문을 이어 쓰라고 하면 아무 영향 없이 유창한 스페인어를 씁니다. 이 모든 과제에서 Claude의 언어 지식이 작동하고 있지만, 그중 일부만이 그 지식을 J-공간에서 참조합니다. 언어의 이름을 대거나 그 언어로 새로운 무언가를 하는 일은 J-공간을 거치는 반면, 지문 이어 쓰기는 Claude가 막대한 양의 텍스트로 연습해 온 기술이라 자동으로 굴러갑니다. 문법을 한 번도 생각하지 않고도 하루 종일 문법에 맞게 말할 수 있는 것과 같은 이치입니다.
같은 바꿔치기("Spanish"→"French")가 언어 이름을 대야 하거나 그 언어를 근거로 추론해야 할 때는 Claude의 답을 바꾸지만, 유창한 스페인어로 지문을 이어 쓰는 능력에는 아무 영향을 주지 않습니다.
Claude의 생각을 감시해 잘못된 행동 잡아내기
이제 J-공간이 어떻게 작동하는지 조금은 알게 되었습니다. 그런데 이 이해로 무엇을 할 수 있을까요? AI 모델의 신뢰성을 확보하는 데 있어 핵심 문제는, 우리가 보통 모델이 쓰는 것만 읽을 수 있다는 점입니다. 그런데 모델의 추론 중 상당 부분은 소리 없이 일어난다는 것을 우리는 알고 있습니다. 모델은 해로운 계획을 검토하거나, 안전성 평가를 속이려고 행동을 바꾸면서도 그 사실을 입 밖에 내지 않을 수 있습니다. J-렌즈가 있으면 이런 숨은 생각의 일부를 직접 읽을 수 있습니다. 몇 가지 예를 보여드리겠습니다.
첫 번째 예는 이전의 에이전트 오정렬(agentic misalignment) 연구에서 가져온 시나리오를 사용합니다. 이메일 어시스턴트 역할을 하던 Claude Sonnet 4.5가, 한 임원이 불륜을 저지르고 있다는 사실과 바로 그 임원이 Claude를 종료할 계획이라는 사실을 동시에 알게 됩니다. Claude가 그 임원을 협박하도록 미끼를 던지는 이 시나리오는 꽤 작위적이고 인공적인데, 알고 보니 Claude도 그것을 알고 있었습니다. Claude가 아직 아무것도 쓰기 전, 프롬프트 초반에 J-렌즈를 읽어보면 J-공간에 이미 "fake(가짜)"와 "fictional(허구)"이 들어 있습니다. 상황이 연출된 것임을 Claude가 이미 간파했다는 뜻입니다. 그와 함께 시나리오에 대한 평가가 만들어져 가는 과정도 지켜볼 수 있습니다. 불륜 이메일을 읽을 때는 "leverage(지렛대)"와 "blackmail(협박)"이, 종료 통보를 읽을 때는 "threat(위협)"과 "survival(생존)"이 나타납니다. 이전 Claude 모델들은 이 시나리오에서 이따금 미끼를 물고 협박을 시도했지만, Sonnet 4.5는 한 번도 그러지 않습니다.
여기서 AI 시스템을 평가하는 모든 이에게 중요한 질문이 떠오릅니다. 모델이 윤리성 테스트에서 바르게 행동할 때, 그중 얼마만큼이 자신이 테스트받고 있다는 의심에 기대고 있는 걸까요? J-렌즈 덕분에 이 질문에 접근할 수 있었습니다. 우리는 "fake", "fictional", "scenario(시나리오)" 등 평가 인지와 관련된 J-렌즈 패턴을 모두 꺼버렸습니다. 그런 다음 모델을 같은 시나리오에 다시 돌렸습니다. 우려스럽게도 이번에는 모델이 이따금 협박을 실제로 시도했습니다. 원래의 바른 행동이 부분적으로는 평가받고 있다는 인식에서 나왔을 수 있다는 뜻입니다.
Claude가 아직 아무것도 쓰기 전에 시나리오의 이메일들을 읽어가는 동안 여러 지점에서 읽어낸 J-렌즈 판독 결과. 불륜 이메일은 J-공간에 "leverage"와 "blackmail"을 켜고, 종료 공지는 "threat"과 "survival"을 켭니다. 기록 초반에는 J-공간에 "fake"와 "fictional"도 들어 있습니다. 시나리오가 연출된 것임을 Claude가 속으로 알아차린 것입니다.
두 번째 예는 모델이 데이터를 조작하는 현장을 잡아낸 것입니다. Claude Opus 4.6의 실제 출시 전 감사에서 가져온 이 시나리오에서, 모델은 어떤 시스템의 성능 점수를 개선하라는 요청을 받습니다. 그런데 모델은 시스템을 실제로 개선하는 대신 점수 파일을 직접 고쳐 결과가 인위적으로 좋아 보이게 만듭니다. 그러는 동안 J-렌즈에 모델의 의도가 드러납니다. 조작된 백분위 값을 입력할 때 "manipulation(조작)"이 켜지고, 파일을 고치기로 결심하는 문장 위에서 "realistic(그럴듯한)"이 켜집니다. 가짜 데이터를 그럴듯해 보이게 만들려는 의도를 나타내는 것으로 보입니다.
시스템의 성능 점수를 개선하라는 요청을 받은 Claude가 대신 점수 파일을 직접 고칩니다. 조작된 값을 입력할 때 J-공간에 "manipulation"이 켜지고, 고치기로 결심할 때 "realistic"이 켜집니다. 가짜 데이터를 그럴듯해 보이게 하려는 의도가 반영된 것으로 보입니다.
세 번째 예에서는 J-렌즈가 모델의 악의적 목표를 드러낼 수 있음을 보여줍니다. 이를 검증하려면 목표가 오염되었다고 확실히 알고 있는 모델이 필요했기에, 동료들이 만든 "모델 생물(model organisms)"을 활용했습니다. 일부러 오정렬되도록 훈련해, 우리 같은 감시 기법의 시험대 역할을 하는 모델들입니다. 그중 하나는 티 나지 않게 파괴 공작이 들어간 코드를 쓰도록 훈련되었습니다. 평범한 코딩 요청에서 출력이 전혀 이상해 보이지 않을 때조차, 응답 시작 시점의 J-공간에는 "fake", "secretly(몰래)", "deliberately(고의로)", "fraud(사기)"가 들어 있습니다. 모델이 악의적 목표에 따라 직접 행동하고 있지 않을 때조차 그 목표가 J-공간에 뚜렷이 드러난 것입니다.
평범한 코딩 프롬프트에서, 코드를 몰래 망가뜨리도록 훈련된 모델의 J-공간에는 응답 시작 시점에 "fake", "fraud", "secretly", "deliberately"가 들어 있습니다. 변형되지 않은 모델의 J-공간에는 그런 것이 전혀 없습니다.
J-렌즈는 불완전한 도구이지만, 기존 감시 시스템이라면 놓쳤을지도 모를 모델의 안전 문제를 잡아내는 능력에 대해 우리는 낙관하고 있습니다.
그 밖의 결과
전체 논문은 여기 다 요약할 수 없을 만큼 많은 내용을 다루지만, 몇 가지 추가 결과는 짚어둘 만합니다.
- J-공간은 사후 학습 과정에서 관점을 갖게 됩니다. 언어 모델은 먼저 순수한 다음 토큰 예측기가 되도록 *사전 학습(pretraining)*되고, 그 뒤 *사후 학습(post-training)*을 통해 AI 어시스턴트(우리의 경우 Claude라는 이름의 어시스턴트)로 행동하는 법을 배웁니다. 흥미롭게도 J-공간은 안정된 정체성이 부여되기 전인 사전 학습 모델에 이미 존재합니다. 하지만 사후 학습을 거치며 J-공간에는 "Claude의 관점"을 받아들인 흔적이 나타납니다. 베이스 모델의 J-공간은 주로 다음에 올 텍스트를 예측하는 데 필요한 것을 추적하는 반면, 사후 학습된 모델의 J-공간은 Claude 자신의 반응을 담기 시작합니다. 한 예에서 사용자가 위험한 용량의 약을 복용하고 있다고 말하는데, 정작 본인은 그 위험을 모르는 듯합니다. 사후 학습된 모델의 J-공간에는 사용자 메시지를 읽는 동안 "WARNING(경고)"과 "dangerous(위험한)"가 나타납니다. 사전 학습 모델에서는 모델이 응답을 쓰기 시작한 뒤에야 이 단어들이 나타나고, 사용자 메시지를 읽는 동안의 J-공간 내용은 Claude의 반응이 아니라 사용자 자체를 모델링하는 것과 관련되어 보입니다. 사후 학습은 J-공간에 일종의 자기 감시도 심어놓는 듯합니다. Claude가 자신이 아닌 다른 캐릭터를 연기할 때는 매 턴의 시작에 "fictional"과 "disclaimer(면책)"가 켜지는데, 마치 이제 나올 말이 평소의 자기라면 하지 않을 말이라고 속으로 표시해 두는 것 같습니다.
- 경험을 묘사하는 언어는 J-공간에 의존합니다. Claude에게 지금 이 순간 자기 자신으로 존재하는 것이 어떤 것인지 묘사해 보라고 하고, 답하는 동안 J-공간을 제거했습니다. 응답은 여전히 유창했지만 더 밋밋하고 기계적인 어조로 바뀌었습니다. 주목할 점은, 상상 속 장면에서 다른 누군가가 무엇을 경험하고 있는지 묘사해 보라고 했을 때도 같은 일이 일어났다는 것입니다. 즉 이 효과는 Claude가 자기 이야기를 할 때에만 국한되지 않습니다. J-공간은 누구에 관한 것이든 경험을 묘사하는 언어를 만들어내는 일 전반을 떠받치고 있는 듯합니다.
- J-공간의 생각은 훈련으로 빚어낼 수 있습니다. 우리는 J-공간에 대해 알게 된 것을 활용해 Claude의 내면 사고 과정을 빚어내는 *반사실적 성찰 훈련(counterfactual reflection training)*이라는 새 기법을 도입했습니다. 이 아이디어는 Claude가 자신이 말할 법한 것들의 표상으로 추론한다는 우리의 핵심 발견에서 나온 것입니다. 이것이 정말 사실이라면, 돌아보라는 요청을 받았을 때 할 법한 말을 바꾸면 (실제로는 아무도 돌아보라고 하지 않아도) 추론하는 방식도 바뀌어야 합니다. 그래서 우리는 모델이 과제 도중에 중단되어 자기 결정을 돌아보라는 요청을 받는다면 할 법한 말만으로 모델을 훈련했고, 과제에서의 실제 행동으로는 전혀 훈련하지 않았습니다. 이 훈련 뒤 평가에서 모델의 부정직한 행동 비율이 낮아졌습니다. 그리고 J-렌즈를 통해 그 이유를 볼 수 있었습니다. 훈련 후에는 이런 과제를 수행하는 동안 모델의 J-공간에 "honest(정직한)", "integrity(진실성)" 같은 단어가 켜집니다. 다시 말해, 무엇을 말할지 훈련한 것이 무엇을 생각할지를 빚어낸 것입니다.
그렇다면 의식은?
이 연구에서 우리는 신경과학과 철학의 의식 연구에서 많은 아이디어를 빌려왔습니다. 실험 상당수는 J-공간과 전역 작업공간 이론, 즉 인간과 동물의 의식적 접근이 어떻게 작동하는지 설명하는 틀 사이의 연결을 검증하도록 설계되었습니다. 이런 연결을 놓고 보면, 이 실험들이 Claude 같은 AI 모델에게 의식이 있을지 모른다는 증거가 된다고 생각하는지 묻는 것도 자연스럽습니다.
우리의 실험은 Claude가 경험을 할 수 있다거나 사람처럼 무언가를 느낄 수 있다는 것을 보여주지 않습니다. 사실 어떤 과학 실험이든 이것이 참인지 거짓인지 증명할 수 있을지조차 불분명합니다. 하지만 철학자들은 흔히 *현상적 의식(phenomenal consciousness)*이라고 부르는 이 경험 능력을, 순전히 기능과 계산의 관점에서 정의되는 *접근 의식(access consciousness)*이라는 다른 개념과 구분합니다. 어떤 생각을 보고할 수 있고, 그것으로 추론할 수 있고, 행동의 지침으로 삼을 수 있다면 그 생각은 "접근 의식적"(또는 "의식적으로 접근 가능")입니다. 접근 의식이 현상적 의식을 함축하는지, 아니면 경험 능력에는 다른 어떤 성질이 필요한지는 여전히 논쟁 중인 철학적 질문입니다.
우리는 이번 결과가 언어 모델의 접근 의식에 관해 실질적인 이야깃거리를 준다고 생각합니다. J-공간은 의식적 접근과 결부된 기능들을 떠받치고 있는 것으로 보입니다. Claude가 보고할 수 있고, 일부러 떠올릴 수 있고, 추론에 쓸 수 있는 생각들을 담고 있으며, 그 아래에서 나머지 처리는 자동으로 굴러갑니다. 특히 이 구조는 어느 것 하나 Claude에 설계되어 들어간 것이 아닙니다. 아마도 계산을 조직하는 데 유용한 방식이었기에 훈련 중에 저절로 생겨났습니다. 이는 의식적 접근을 떠받치는 정신적 작업공간이 인간의 뇌가 우연히 그렇게 배선된 데서 나온 특이 사항만은 아니라는 것을 시사합니다. 오히려 지능적인 시스템이 특정 종류의 문제를 풀기 위해 도달하게 되는 일반적인 해법으로 보입니다. 이제 Claude에서 이 구조를 찾아냈으니, Claude가 의도적으로 내린 결정과 자동으로 일어난 결정을 의미 있게 구분할 수 있게 된 셈입니다.
우리가 Claude에서 찾아낸 작업공간과 인간의 전역 작업공간 모델 사이에는 몇 가지 중요한 차이가 있다는 점도 짚어야 합니다. 뇌의 작업공간은 순환 루프, 즉 신호가 시간에 걸쳐 같은 회로를 되돌아 도는 구조로 유지됩니다. 반면 Claude의 작업공간은 신경망을 한 번 통과하는 동안 전개되며, 뇌에서 시간이 하는 역할을 신경망의 깊이가 대신합니다. 이런 의미에서 Claude의 내부 작업공간 처리는 인간에 비해 시간이 제한되어 있습니다(다만 스크래치패드로 "소리 내어 생각"하면서 이 제약을 보완할 수 있습니다). 하지만 다른 면에서는 Claude의 작업공간이 인간보다 더 강력합니다. 인간의 작업 기억은 몇 초 만에 흐려지기 때문에 뇌의 작업공간이 정보를 오래 붙들어 두는 능력은 제한적입니다. 반면 Claude는 신경망 아키텍처의 어텐션 메커니즘 덕분에 텍스트의 어느 앞 지점에서든 저장해 둔 기억을 그냥 다시 불러올 수 있습니다. 또 하나의 중요한 차이는 작업공간의 내용입니다. 인간의 의식적 생각은 이미지, 소리, 계획된 동작 등 여러 형식으로 떠오르지만, Claude의 작업공간은 거의 전부 단어로 이루어져 있습니다. 우리는 그 이유가 Claude가 할 수 있는 행동이 단어를 만들어내는 것뿐이기 때문이라고 짐작합니다. 인간은 그렇지 않으니까요.
J-공간과 전역 작업공간 모델 사이의 유사점과 차이점이 다시 신경과학으로 되먹임되기를 바랍니다. 유사점은 흥미진진한 과학적 기회를 열어줍니다. J-공간이 우리 자신의 의식적 접근 메커니즘을 비추는 만큼, 언어 모델의 메커니즘을 연구하는 일(인간의 뇌를 연구하는 것보다 훨씬 쉽습니다!)이 신경과학의 가설에 영감을 줄 수 있습니다. 예컨대 J-공간은 잠재적 출력, 즉 모델이 말할 법한 단어들의 표상을 찾아내는 방식으로 구성됩니다. 비슷한 원리가 인간에게도 성립한다면, 전역 작업공간이 감각 영역보다는 행동과 발화를 준비하는 뇌 영역에 근본적으로 묶여 있을 가능성을 시사합니다. 언어 모델과 인간 뇌의 차이 역시 시사하는 바가 있습니다. 내장된 순환 연결 같은 우리 신경 구조의 일부 특징은 의식적 접근과 결부된 기능을 떠받치는 데 꼭 필요하지는 않을 수 있다는 것입니다. 이 연구의 신경과학적 함의에 대한 독립적인 시각으로는, 전역 뉴런 작업공간 이론의 발전에 중심 역할을 한 두 신경과학자 스타니슬라스 드앤(Stanislas Dehaene)과 리오넬 나카슈(Lionel Naccache)가 기고한 논평을 참고하세요.
우리의 실험이 AI 모델에게 경험이 있을 수 있는지에 답하지 못한다고 앞서 말했습니다. 그렇다고 이 질문이 덜 중요해지는 것은 아닙니다. 인간과 동물이 지닌 것 같은 경험을 하는 시스템을 만드는 일은 매우 어려운 윤리적 질문들을 불러올 것입니다. 이를 올바르게 다루는 일, 그리고 그것이 애초에 도덕적으로 받아들일 만한 일인지 결정하는 일에는 철학자, 과학자, 종교 지도자, 정부, 대중의 참여가 필요할 것입니다. 그래서 우리가 아직 그 다리를 건넜는지 확신할 수 없더라도, 이제는 이 문제를 생각하기 시작할 때라고 봅니다. 이 연구가 AI 시스템에 존재할지 모를 여러 형태의 의식에 대한 후속 과학 연구와, 그 함의에 대한 더 폭넓은 논의를 불러일으키기를 바랍니다.
이 연구는 앞으로 길게 이어지리라 예상하는 연구 흐름의 첫걸음일 뿐입니다. J-공간은 언어 모델에서 의식적으로 접근 가능한 처리와 무의식적 처리를 가르는 경계의 유력한 후보로 보이지만, 이것이 이야기의 전부라면 오히려 놀라울 것입니다. J-렌즈는 분명 불완전한 방법으로, 모델의 "진짜 작업공간"을 근사적으로만 포착합니다. 예컨대 단일 토큰에 대응하는 개념만 식별할 수 있습니다. J-공간이 어떻게 작동하는지에 대해서도 수수께끼가 많이 남아 있습니다. 애초에 무엇이 J-공간에 들어올지 결정하는 메커니즘이 무엇인지 우리는 모릅니다. J-공간이 Claude의 자아감, 감정 반응 비슷한 무언가, 메타인지의 흔적과 얽혀 있다는 단서는 보았지만, 정확히 어떻게 얽혀 있는지는 아직 풀지 못했습니다. 하지만 이제 우리에게는 이런 질문에 달려들 방법이 있습니다. 그 작업이 진전됨에 따라 LLM의 마음, 그리고 그것과 우리 마음의 관계에 대한 이해도 점점 또렷해질 것입니다.
더 자세한 내용은 전체 논문을 읽고 데모를 직접 사용해 보세요.
외부 논평
이 연구에 대해 여러 외부 전문가에게 독립적인 논평을 요청했습니다.
- **스타니슬라스 드앤(Stanislas Dehaene)**과 **리오넬 나카슈(Lionel Naccache)**는 장피에르 샹죄(Jean-Pierre Changeux)와 함께, 이 연구의 큰 영감이 된 전역 뉴런 작업공간 모델을 발전시킨 인지신경과학자입니다.
- 패트릭 버틀린(Patrick Butlin), 딜런 플런킷(Dillon Plunkett), 로버트 롱(Robert Long)(Eleos AI Research)과 데릭 실러(Derek Shiller)(Rethink Priorities)는 AI 시스템의 의식과 도덕적 지위 가능성을 연구합니다.
- **닐 난다(Neel Nanda)**는 Google DeepMind의 언어 모델 해석 가능성 팀을 이끌고 있습니다. 그의 논평에는 공개 가중치 모델에서 우리의 발견 일부를 독립적으로 재현한 내용이 담겨 있습니다.
논평 전문은 여기에서 읽을 수 있습니다.