LLM은 전문성에 보답한다
TMT2010년대에는 기술적으로 빈 구멍이 있으면, 가령 CSS를 쓸 줄 모른다면, 능숙한 동료에게 의지하거나 내가 마주친 바로 그 문제의 답이 인터넷 어딘가에 있기를 바라는 수밖에 없었습니다. 오늘날에는 누구나 그 일을 LLM에 맡겨서 그럭저럭 쓸 만한 CSS를 쓸 수 있습니다. LLM은 모두를 제너럴리스트로 만듭니다.
그래서 많은 사람이 LLM을 다루는 일에 기술이랄 게 없다고 생각합니다. LLM이 내놓을 수 있는 결과물이 필요하다면, 박사 수준의 수학이든 꽤 괜찮지만 때로 멋이 없는 코드든 어색한 링크드인 문체의 글이든, 그냥 달라고 하면 됩니다. 모두가 같은 모델과 대화하고 있으니, '프롬프트를 잘 쓰는 사람'도 LLM을 처음 만져 보는 사람과 같은 결과를 얻고 있는 셈입니다.
이건 틀렸습니다. 프롬프트에서 가장 중요한 기술은 프롬프트를 쓰려는 그 분야에 대한 전문성입니다.
이걸 잘 보여 주는 예가 테런스 타오가 최근 발견된 야코비 추측의 반례를 두고 ChatGPT와 나눈 대화입니다. 이건 제가 대화하는 그 ChatGPT가 아닙니다! 토큰을 무한정 태울 수 있다 해도 저는 타오가 도달한 지점까지 가지 못할 겁니다.
타오의 대화에서 좋은 프롬프트에 대해 배울 점이 많습니다. 눈에 띈 것을 몇 가지 적어 봅니다.
- 타오의 메시지는 아주 짧고 핵심만 짚습니다. 모델의 말에 항목마다 답하지 않고 요지에만 답합니다
- 모델의 출력이 제가 GPT-5.6 Sol과 수학 이야기를 할 때보다 훨씬 간결합니다. 전문성을 드러내면서 타오는 모델을 '아마추어에게 설명하는' 모드가 아니라 '수학자와 대화하는' 모드로 밀어 넣습니다
- 모델의 답이 틀린 것 같으면 타오는 이의를 제기하지만, 정면으로 반박하지는 않습니다. 대신 기대했던 것보다 복잡해 보인다는 식으로 말합니다
- 타오는 스스로 여러 번 도약하고 제안을 던집니다. 다음에 어디로 갈지에 대해서는 모델의 조언을 거의 따르지 않습니다
하지만 이 요령만 따라 해서 수학 문제를 타오처럼 프롬프트할 수는 없습니다. 그가 쓰는 기술의 핵심은 실제로 수학을 이해하는 것입니다. ChatGPT의 여러 단락짜리 답변에서 관련 있는 아이디어를 끄집어내고, 다른 접근이나 다른 정식화를 제안하고, 어디가 이상해 보이는지 짚어내는 일 말입니다.
테런스 타오는 제가 프로그래머로서 잘하는 정도보다 훨씬 뛰어난 수학자입니다. 하지만 여기서 말하는 생각, 곧 분야 지식이 LLM을 더 잘 쓰게 만든다는 것은 제 일에서도 겪은 바입니다. 코드베이스에 대한 나름의 이론이 잘 서 있으면, 익숙하지 않을 때보다 LLM을 훨씬 세게 밀어붙일 수 있습니다. 좋은 해법이 어떤 모습일지 스스로 감각이 있기 때문에, 여기는 더 간단해질 수 있을 것 같다고 말하거나, 그런데 우리가 이미 X를 하고 있지 않냐고 되묻거나, 이 문제를 익숙한 용어로 표현해 볼 수 있겠냐고 물을 수 있습니다.
이건 제가 전에 쓴 적 있는 생각과 이어집니다. 시스템 설계 문제는 일반 원칙보다 구체적인 세부 사정이 좌우한다는 이야기입니다. 물론 둘 다 유용하지만, 저라면 소프트웨어 시스템에 대한 깊은 일반 이해보다 그 코드베이스에 익숙한 편을 택하겠습니다. 대화에서 테런스 타오는 여기서 X가 통하는지, Y와 Z가 주어졌을 때 왜 A인지 같은 구체적인 질문을 많이 던집니다. 저는 야코비 추측에 대해 그런 질문을 할 수 없지만, GitHub에서 제가 맡은 시스템에 대해서는 할 수 있습니다.
분야 지식이 전혀 없다면, LLM에 매달려서 적어도 무언가는 얻을 수 있습니다. 그것도 나쁘지 않습니다! 하지만 분야 지식이 있다면, 같은 LLM을 원하는 방향으로 세게 몰아서 훨씬 더 많은 가치를 짜낼 수 있습니다. 우리 대부분은 어떤 분야에는 지식이 있고 어떤 분야에는 없으니, 두 방식을 섞어 써야 할 겁니다.
분야 지식이 이렇게 유용하다는 건, 모델이 더 강해져도 사람의 전문성은 계속 유용할 거라는 뜻입니다. 많은 작업에서 병목은 모델이 아니라 사람입니다. 어려운 부분이 사람이 원하는 해법이 정확히 어떤 것인지를 모델에게 전달하는 데 있기 때문입니다. 정보는 이미 모델 안에 들어 있지만, 그것을 끄집어내려면 아주 똑똑한 사람이 필요합니다.
덧붙임: 이 글은 해커 뉴스에서 댓글을 많이 받았습니다. 어떤 댓글들은 전문성이 도움이 된 경험과 전문성이 없어서 손해를 본 경험을 들려줍니다. 다른 댓글들은 그럴듯한 이야기이긴 한데, 자기가 여전히 가치 있다고 안심시켜 주는 견해는 의심해 볼 만하다고 말합니다. 저도 그 말에 동의합니다. 다만 우리가 이걸 제대로 연구할 때쯤에는 발밑의 지형이 또 바뀌어 있을 것 같습니다. 어떤 댓글은 OpenAI의 수학 프롬프트가 전문가답지 않았으니 전문성이 필요한 게 아니라고 짚습니다. 여기에는 이렇게 답하고 싶습니다. OpenAI에는 모델이 제안한 발견을 검토하고 걸러 내는 전문 수학자 팀이 실제로 있고, 지금은 그 단계를 건너뛸 수 없습니다.