Claude Fable 5.1이 아주 괜찮은 애니메이션 펠리컨을 만들어 줬다
TMT오늘은 Claude Fable(그리고 Mythos) 5.1의 날입니다. 앤트로픽은 Fable 5.1이 “코딩과 지식 노동, 오래 이어지는 문제 해결 작업에서 새로운 기준을 세웠다”고 말합니다. 발표문은 과학 연구에 눈에 띄게 많은 분량을 할애하면서, 나온 지 얼마 안 된 Terminal-Bench-Science 0.1 벤치마크(8월 27일에 처음 공개)에서 52.6%를 기록했다고 자랑합니다. Fable 5의 24.7%, Opus 5의 29.0%, GPT-5.6 Sol의 22.4%에서 올라간 수치입니다. 다른 벤치마크에서도 점수가 조금씩 좋아졌지만, 과학 쪽만큼 인상적인 것은 없습니다.
그런데 펠리컨 실력은 어떨까요?
지난 7월에 저는 펠리컨 벤치마크에 대한 믿음이 흔들리고 있다고 썼습니다. 이 벤치마크와 모델이 다른 작업을 얼마나 잘하는지 사이의 연결이 2025년만큼 강하게 유지되지 않는 것처럼 보였기 때문입니다. 요즘 여기서 얻는 가장 흥미로운 통찰은 같은 모델 계열 안에서의 비교, 특히 같은 프롬프트를 추론 강도만 달리해서 비교해 보는 것입니다.
Fable 5.1에는 추론 단계가 low, medium, high, xhigh, max로 다섯 개 있고, 추론을 완전히 끄는 선택지는 없습니다.
추론 과정이 제대로 기록되지 않는 문제를 llm-anthropic에서 고친 다음, 프롬프트를 몇 개 돌려 봤습니다.
추론 단계별 펠리컨 전체 모음은 여기에 있고, 각각 추론 전문이 함께 들어 있습니다. 아래에 다시 옮겨 놓겠습니다.
low와 medium, 둘 다 추론 없이?
다음은 조금 알쏭달쏭한 대목입니다. 강도를 low로 두고 받은 결과가 이렇습니다.
전문에는 요약된 추론 토큰이 전혀 나오지 않고, 출력 토큰 수는 1,998개입니다. 클로드에서는 이 출력 토큰 수에 추론 토큰이 포함됩니다. 23.8초가 걸렸고 비용은 10.017센트였습니다.
이걸 medium으로 올려서 받은 결과입니다.
이상하게도 이쪽 역시 추론 텍스트가 없고 출력 토큰은 1,977개를 썼습니다. low보다 21개 적습니다. 23초가 걸렸고 비용은 9.912센트였습니다.
그러니까 이 특정 프롬프트(“Generate an SVG of a pelican riding a bicycle”)에서 Fable 5.1은 low와 medium 설정 모두에서 추론을 아예 건너뛴 것처럼 보입니다.
high
high 결과입니다. 29.6초, 출력 토큰 2,612개, 13.087센트입니다.
이 결과는 추론을 조금 했습니다. 요약은 여기 있습니다.
자전거를 탄 펠리컨의 SVG 레이아웃을 잡고 있다. 하늘과 땅이 있는 배경, 스포크가 달린 바퀴 두 개와 프레임, 안장, 핸들을 갖춘 자전거, 그리고 그 위에 앉은 긴 목과 주황색 부리의 흰 몸통 펠리컨으로 구성한다.
그래도 low와 medium에서 나온 것과 크게 다르지는 않습니다.
xhigh
xhigh에서는 상황이 완전히 달라졌습니다. 출력 토큰 36,767개, 7분 51초, 1.83달러입니다!
추론 과정은 꽤 깁니다. 이런 세부 내용이 들어 있습니다.
눈을 넣고, 날개는 핸들 그립까지 내려오게 하고, 주황색 다리는 페달에 닿게 하고, 작은 꼬리 깃털도 하나 넣는다. 펠리컨은 자전거에 비해 일부러 크게 잡아서 만화 같은 느낌을 준다. [...]
살짝 두꺼운 부분은 과하게 손대지 않고 매력으로 받아들이겠다.
max
강도를 max로 설정하니 앤트로픽 모델에서 본 것 중 가장 좋은 펠리컨이 나왔습니다. 출력 토큰 65,927개, 13분 54초, 3.30달러입니다.
마음에 드는 점이 많습니다. 배경은 은근히 감각적이고, 다리는 프레임 양쪽으로 분명하게 갈라져 있고, 발은 페달 위에 있고, 날개는 핸들을 잡고 있습니다. 펠리컨은 귀여운 파란 모자를 썼고, 바구니에는 물고기가 담겨 있습니다.
Gemini 3.7 Flash만큼의 멋은 여전히 보여 주지 못하지만, 저는 멋을 부려 달라고 요청하지 않았습니다. SVG를 달라고 했고, 받은 게 바로 그것입니다.
그 추론 과정에서 인상적인 대목을 몇 개 뽑았습니다.
양쪽 발 근처에 페달 모양을 넣고, 두 번째 다리의 먼 쪽 발은 프레임 뒤로 일부만 보이게 한다. 개성을 더하려고 작은 스카프나 모자를 넣을까 고민하는데, 어수선해지지 않도록 단순하게 두는 쪽으로 기울고 있다.
이제 머리에 자전거 헬멧을 씌울지, 펠리컨의 상징인 볏을 살릴지 저울질하고 있다. 부리와 목주머니만으로도 이미 “펠리컨”으로 분명하게 읽히니, 헬멧을 씌워도 정체성을 잃지 않으면서 자전거라는 주제를 강조할 수 있다. 다만 볏과 시각적 공간을 두고 부딪칠 수도 있다.
(484,84) 위치의 부리가 돔 형태 헬멧과 겹친다는 것을 알아차렸다. 헬멧을 줄여서 머리 위쪽만 덮게 하고, 호의 양 끝점을 더 높고 좁게 조정해서 부리가 앞쪽에 부딪히지 않고 깔끔하게 붙게 해야 한다. [...]
첫째날개깃을 표현하려고 끝부분에 더 어두운 영역을 넣고, 뒷전은 매끄러운 한 줄 대신 물결처럼 이어지는 깃털 곡선으로 다시 손봐서 더 자연스럽게 만든다. [...]
이제 헬멧의 통풍구 선 위치를 확인하고 있다. 선 두께와 둥근 끝 처리를 감안했을 때 헬멧 테두리에서 충분히 안쪽에 들어와 있는지 보고, 통풍구가 하나하나 헬멧의 원형 경계 안에 머무는지 확인한다. [...]
핸들 벨과 타이어 하이라이트는 굳이 넣을 필요가 없다고 판단해 건너뛴다. 이제 앞 포크의 곡선을 다시 보고 있다. 지금 제어점은 모양을 뒤로 당기고 있는데, 제대로 된 레이크가 되려면 앞으로 휘어야 한다. 그래서 포크의 기울기를 바로잡으려면 제어점을 오른쪽으로 옮겨야 한다.
자, 이제 움직이게 해 봅시다
해커 뉴스에서 swalsh가 그 max 펠리컨에 이런 댓글을 남겼습니다.
이제 이 벤치마크는 풀린 셈인데, 애니메이션 버전도 볼 수 있을까요?
3달러를 또 쓰고 싶지는 않아서, max 펠리컨을 가져다 기본 사고 단계인 high로 넘겼습니다.
llm logs -cx | llm -m claude-fable-5.1 -s 'animate this'입력 6,121개, 출력 26,201개로 1.37달러입니다. 결과는 이렇게 나왔고, 애니메이션 SVG를 보기 어려운 분들이 있어서 여기서는 영상으로 내보냈습니다.
영상에서 바퀴는 반대 방향으로 돌고 있는데, MP4로 변환하는 과정에서 생긴 현상 같습니다. 원본 SVG에서는 방향이 제대로 나오는 것으로 보입니다.