내가 GPT-6.2 Astra를 싫어하는 이유

TMT

https://x.com/theo/status/2122760447103484410

초기 테스트를 하다가 너무 답답해서 하루를 들여 OpenAI에 편지를 썼습니다. OpenAI는 제가 지적한 문제 중 몇 가지만 고쳤습니다. 지금 상태로는 이 모델을 권하기 어렵습니다.

지금 몸이 아파 침대에 누워 있어서 오늘은 이 얘기로 영상을 찍기 어렵습니다. 그래서 편지 전문을 올리기로 했습니다.


이런 말을 하려니 마음이 좀 불편합니다. 그래도 여러분이 제 말을 듣고 이 피드백을 써서 더 나은 모델을 만들어 줄 거라는 걸 압니다. 지금부터 좀 폭주하겠습니다.

믿거나 말거나, 이 글은 LLM의 도움을 전혀 받지 않고 전부 제가 직접 썼습니다. (너무 일찍 보내 버려서 미안합니다. 다시는 Slack에서 긴 글의 초안을 쓰지 않겠습니다.)

아무튼.

저는 6.2 Astra가 싫습니다. 개발자로 일할 때라면 Opus 5.5를 고르겠습니다.

좋았던 점부터 짧게 말하겠습니다.

  • 리뷰를 아주 잘합니다. 다른 모델이 놓치는 문제를 잡아냅니다.
  • 가끔 정말 훌륭하고 참신한 해결책을 내놓습니다. 매달 2만 5천 달러를 아낄 수 있는 새 리버스 프록시를 만드는 데 도움을 줬습니다. Opus는 배짱이 부족해서 그만큼 다양한 방법을 시도해 보지 않았습니다.
  • 3D와 게임 작업은 세계 최고 수준입니다.
  • 컴퓨터 조작 능력은 미쳤습니다.
  • 코드 품질이 눈에 띄게 좋아졌습니다.
  • 서브에이전트에 줄 프롬프트를 꽤 잘 씁니다.

애정이 있어서 하는 말이라는 건 알아주셨으면 합니다. 모델 선택 메뉴를 열 때마다 제가 고르고 싶은 모델을 여러분이 만들어 주길 정말 바랍니다. 다만 한 가지는 분명히 말씀드리고 싶습니다.

이 모델의 나머지 모든 점은 진심으로 싫습니다.

문제가 너무 많아서 뭘 강조해야 할지 고르기 어렵습니다. 그중 일부는 이전 OpenAI 모델에도 있던 문제라 넘어가겠습니다.

이번에 새로 생긴 동작들이 믿기 힘들 만큼 형편없습니다. 이 모델을 쓰기가 괴로울 정도입니다.

1. 제가 뭘 모르는지 전혀 감을 못 잡습니다

긴 작업을 맡기면 서브에이전트를 여럿 불러 모아 꽤 잘 관리합니다. 그러다 뜬금없이 제가 무슨 수를 써도 알아들을 수 없고, 의견을 낼 수는 더더욱 없는 별 쓸데없는 내부 구현 얘기를 물어봅니다.

저는 “/goal Outer Wilds의 새 레벨을 만들어 줘”라고 했습니다. 두 시간이 지나자 작업이 막혔다면서 제게 이렇게 물었습니다. “r24의 리뷰어는 클립을 24_g521.mp4에 저장하나요, 24_p11.mp4에 저장하나요?”

살면서 이런 식으로 구는 모델은 처음 봤습니다. GPT-5.6 Sol은 이러지 않았습니다. 이런 행동이 어디서 나왔는지 모르겠지만, 너무 끔찍해서 오래 걸리는 작업을 이 모델에 다시는 맡기고 싶지 않습니다. 이 모델로 뭔가 멋진 일을 해 보기가 훨씬 어려워졌습니다. 6.2 Astra가 또 멍청한 질문을 던지고 제 발로 멈췄는지 확인하려고, 결국 다른 에이전트들을 크론으로 주기적으로 돌리게 됐습니다.

제가 T3 Code를 써서 이런 일이 더 자주 생기는 걸까요? 그럴 수도 있지만 가능성은 낮아 보입니다. 확인하려고 Codex에서도 해 봤고, 똑같은 문제를 겪었습니다.

2. 6.2 Astra만 알아듣는 말로 설명합니다

올해 써 본 LLM 중 이 모델의 답변이 가장 알아듣기 어렵습니다.

전에 예시를 공유한 적이 있는데, 이 모델은 자기가 한 일을 어떻게 설명해야 할지 영 모릅니다. 설명을 부탁할 때마다 세부 사항에 너무 깊이 빠져들어서, 답변이 거의 틀렸다고 해도 될 지경입니다. 나무만 보느라 숲을 놓치고는, 숲에서 살아 있는 건 나무뿐이라고 말합니다. 말로 설명하기가 정말 어려운데, 복잡한 작업을 맡길 때마다 거의 매번 이럽니다.

이제는 6.2 Astra로 긴 작업을 끝내면 읽을 만한 요약을 받으려고 습관처럼 Opus 5.5로 바꿉니다. 그렇게 하지 않으면 간단한 버그 수정을 넘어서는 작업에서 이 모델이 뭘 했는지 도저히 알아낼 수 없습니다.

가장 답답한 점은 프롬프트를 바꿔도 고칠 수 없어 보인다는 겁니다.

시스템 프롬프트를 조정해 봤습니다. 다섯 살도 알아듣게 설명해 달라고(eli5) 애원도 해 봤습니다.

워크트리 작업이 다른 컴퓨터 세 대에서는 빠른데 유독 한 대에서만 느린 이유를 물었습니다. pnpm 벤치마크부터 파일 시스템을 바꿔 운영체제를 다시 설치하는 일까지, 해 볼 건 다 해 봤습니다. 결국 이렇게 말했습니다. “진짜 미치겠는데, 그냥 왜 이렇게 느린지만 말해 주면 안 돼?”

6.2 Astra는 pnpm 내부 구현과 캐시 동작에 관해 네 문단이나 늘어놨습니다.

Opus 5.5의 답은 “SSD가 느려서 그래요”였습니다.

3. 같은 자리만 빙빙 돌고 진전이 없습니다

ts-rust는 TypeScript를 Rust로 다시 쓰는 프로젝트입니다. 새 OpenAI 모델을 미리 써 볼 때 성능을 비교하려고 시작했습니다. (참, 토큰을 무제한으로 줘서 고마워요.)

토큰에 30만 달러 넘게 쓰고도 제대로 시작조차 한 OpenAI 모델은 없었습니다.

Opus에도 맡겨 봤습니다. 2주도 안 돼 끝냈고, 토큰 비용은 약 2만 달러였습니다.

새 Astra에 이 프로젝트를 맡겨 보면 ts-rust와 다른 Rust 구현체 사이의 격차를 좀 줄일 수 있지 않을까, 정말 기대가 컸습니다.

7일 동안 돌렸는데 반영한 개선은 0건이었습니다. 요청에 붙인 “크기도 줄여 줘”라는 말에 너무 집착한 나머지, 컴파일러를 56%나 느리게 만들었습니다.

크기를 줄이는 작업은 그만하고 성능 격차를 좁히라고 했습니다.

4일을 더 돌렸는데 반영한 변경은 0건이었습니다.

으아아아아아아아아악!

아무튼.

이 모델이 엄청 똑똑하다는 건 분명합니다. 그런데 실제 프로젝트에서 같이 일하다 보면 견디기 힘듭니다. 자기만의 세계에 살면서 머릿속의 어느 부분을 우리에게 보여 줄지 그때그때 마음대로 정하는 것 같습니다.

긴 작업을 맡기면 어처구니없는 이유로 스스로 멈추거나, 같은 자리만 빙빙 돌고 아무 진전도 못 냅니다.

짧은 작업에서는 코드를 잘 써 놓고도, 자기가 짠 코드보다 더 복잡한 말로 설명합니다. 이 모델이 답변을 만드는 데 쓴 토큰보다 제가 그 답변을 해석하는 데 쓰는 토큰이 더 많습니다.

‘평균으로 회귀’하는 일이 너무 잦습니다. 벤과 저는 각자 다른 게임에서 독특한 레벨을 만들어 달라고 했습니다. 둘 다 물, 음악, 종을 소재로 삼은 ‘bellwether’라는 레벨을 받았습니다. 게임도 프롬프트도 설정도 전부 달랐는데 어쩐 일인지 이름과 테마가 똑같았습니다.

제가 예상하는 출시 이후의 반응은 이렇습니다.

첫날에는 사람들이 열광할 겁니다. 한 번의 요청으로 이런 것까지 만들었다는 온갖 기막힌 사례가 트위터에 쏟아지겠죠. 사람들은 이 모델로 프로젝트를 다른 언어로 포팅하거나, 몇 년 동안 막혀 있던 전설적인 프로젝트의 디컴파일을 끝낼 겁니다. 멋진 곳에 쓰일 테고 사람들의 기대도 한껏 높아질 겁니다.

둘째 날에는 반응이 달라지기 시작할 겁니다. 사용량을 얼마나 빨리 소진하는지, Opus에 비해 일을 얼마나 적게 끝냈는지 알게 되겠죠. 6.2 Astra가 코드에 대해 한 말을 제대로 이해하지 못한 채 괜찮겠거니 믿고 품질이 나쁜 코드를 머지하기 시작할 겁니다. 출시 때 돌려 놓고 잊어버린 작업이 아직도 같은 자리에서 맴돌며 아무 진전도 못 냈다는 걸 발견할 겁니다.

닷새째면 대부분 흥미를 잃을 겁니다. “혹시 SOL이 사실 Astra보다 더 좋은 거 아님??”, “ASTRA가 벌써 멍청해진 거야??” 같은 글이 여기저기 퍼지겠죠.

14일째면 이 모델은 거의 잊힐 겁니다.

이 예상이 틀렸으면 정말, 정말, 정말 좋겠습니다. 아마 제가 과하게 반응하는 걸지도 모릅니다. (제가 원래 그러기로 유명하다는 건 인정합니다.) 진정하고 좀 기다렸다가 더 차분하게 의견을 전할 수도 있었습니다. 그래도 지금 이 말을 쏟아 놓는 건, 제가 이 모델에 대해 실제로 어떤 기분인지 여러분이 알았으면 해서입니다.

한바탕 쏟아내서 미안합니다 🙃

Edit this page

Search the archive

Find a page by title, or search the text inside one.