AI 도입은 허상이다

TMT

https://x.com/vasuman/status/2085806422072418632

Image

여러분은 이미 AI 사용자 상위 1%입니다. 물론 최전선에 있는 사람들과의 격차는 존재합니다. 터미널 20개를 동시에 띄워 놓고, 실행이 끝날 때마다 스스로 다시 쓰이는 지식 베이스를 굴리는 괴짜들 말입니다.

나쁜 소식은 그 사람들을 영영 따라잡을 수 없다는 것이고, 좋은 소식은 굳이 따라잡을 필요가 없다는 것입니다. 앞에 놓인 그 격차는 뒤에 벌어져 있는 격차에 비하면 훨씬 작습니다.

X에서 내키는 대로 에이전트 부대를 띄우는 괴짜들을 보다 보면 스스로가 상위 1%라는 게 실감 나지 않을 수 있지만, 정말로 상위 1%가 맞습니다. 아마 매일 모델을 쓰고 있고, 어떻게 써야 가장 좋은지에 대한 나름의 견해도 있고, 어쩌면 에이전트를 만지작거리거나 자기 컴퓨터에 Hermes를 직접 설치해 봤을 수도 있으니까요.

반면 여러분과 대기업의 평균적인 직원 사이에는 **협곡(chasm)**이 가로놓여 있습니다. 그들은 2년 동안 ChatGPT를 네 번쯤 열어 봤을 겁니다. 3.5-turbo를 써 보고는 AI는 멍청하다고 결론 내렸고, GPT-5.6 Sol Ultra가 50년간 미해결이던 그래프 이론 추측을 방금 증명해 냈다는 사실은 알지 못합니다. 세상의 모든 AI 전략 기사와 글은 이 사람, 이 평균적인 직원이 언젠가는 따라올 거라고 가정합니다.

단언컨대, 그런 일은 없습니다.

배경 설명을 하자면, 저는 @varickagents의 CEO입니다. 우리는 세계 최대 규모의 기업들과 함께 조직 전반에 AI 에이전트와 전략을 도입하는 일을 하고 있어서, 기업 현장에서 AI가 실제로 어떤 모습인지 어느 정도는 알고 있습니다.

Image

그림 1 - 협곡

세계 최고의 AI 도구를 줘도 그들은 빨라지지 않았다

최근 비기술 기업의 운영 조직(수천 명 규모)을 이끄는 리더와 이야기를 나눴습니다. AI 없이도 팀은 꽤 괜찮은 속도로 움직이고 있었고, 그 부분에 큰 불만은 없다고 했습니다.

그러다 Claude Cowork를 도입했습니다. 그런데 웬걸, 팀은 여전히 같은 속도로 움직였습니다. 그는 저에게 이유를 물었습니다.

저는 어느 조직에서나 똑같은 분화를 봐 왔습니다. 50명이든 5,000명이든 상관없이 매번 같은 모양, 즉 양쪽 끝으로 쏠린 바벨형 분포가 나타납니다. 5~10%는 파워 유저였습니다. 이들은 매일 Cowork를 쓰면서 스킬 파일과 Outlook 커넥터 같은 기능까지 활용했습니다. 업무 밖에서도 AI를 만지작거리며 그 위력을 직접 체감했기에 애초에 Claude Cowork 도입을 밀어붙인 전도사들이 바로 이들입니다.

나머지 90% 중 20%는 하루에 몇 번 쓰긴 하지만 상당히 서툴게 씁니다. 어느 정도 가치를 얻긴 해도 최전선 사용자들이 얻는 것에 비하면 극히 일부입니다. 그리고 남은 70%는 아예 쓰지 않았습니다.

Image

그림 2 - 잘 쓰는 사람은 열에 하나

그 조직의 대시보드만 보면 이번 도입은 성공적인 확산으로 집계됩니다. 하지만 그가 보기에 빨라진 것은 아무것도 없었습니다. 두 가지 모두 동시에 사실이었습니다.

쓰는 것과 잘 쓰는 것은 다른 기술이다

AI를 실제로 쓰는 사람들 사이에서도 숙련도 격차는 어마어마합니다. 자기가 뭘 하는지도 모른 채 AI를 쓰는 사람은 AI를 쓰기 전보다 오히려 형편이 훨씬 나빠집니다.

Claude를 설치하고, 저장소를 가리키게 한 뒤, 단어 네 개짜리 프롬프트를 보내고, 뭔가 일어나는 걸 지켜보는 것(맞을 수도, 틀릴 수도 있습니다)은 누구나 할 수 있습니다.

잘 쓰는 것은 별개의 기술입니다. 언제 컨텍스트를 비워야 하는지 아는 것. 방금 두 번 반복한 작업이라면 매번 다시 타이핑하는 프롬프트가 아니라 모델이 항상 읽는 스킬 파일로 만들어야 한다는 걸 아는 것. 자동화 프로젝트에서 모델의 판단이 필요한 15%와 결정적(deterministic) 코드만으로 충분한 85%를 구분할 줄 아는 것. 그리고 가장 중요하게는, 수락하기 전에 diff를 제대로 읽는 것.

같은 티켓을 엔지니어 두 명에게 주면 이 차이는 첫 5분 안에 드러납니다. 첫 번째 엔지니어는 Jira의 텍스트를 Claude에 그대로 붙여 넣고 제출 버튼을 누릅니다. 수정은 파일 여섯 개를 건드리는데, 이 엔지니어는 대충 훑어보고 테스트가 여전히 통과하는 것만 확인한 뒤 PR을 머지합니다. 3주 뒤 운영 환경이 이상해지기 시작하면, 누군가 이 PR이 아무 이유 없이 설정값 하나를 바꿔 놓았다는 걸 알게 됩니다.

두 번째 엔지니어도 시작은 같습니다. Jira의 텍스트를 붙여 넣지만, 이어서 해당 코드가 저장소 어디에 있는지, 어떤 폴더와 파일을 건드리고 어떤 것은 손대지 말아야 하는지를 짚어 줍니다. 게다가 Claude가 제출하는 모든 PR이 장황하지 않고 최소한으로 유지되며 제출 전에 충분히 테스트되도록 하는 스킬 파일도 이미 갖춰 두었습니다. 그런 다음 diff를 읽고, 엉뚱하게 섞여 든 변경 하나를 잡아내 짧은 프롬프트로 고친 뒤, 첫 번째 엔지니어의 절반 크기인 PR을 머지합니다.

Image

그림 3 - 같은 도구, 같은 자리, 다른 결과

어느 조직이든 적어도 절반은 두 번째 모습에 결코 도달하지 못합니다. AI를 잘 쓰는 것은 장인의 기술입니다. 정말 능숙해지려면 엄청난 반복이 필요한데, AI를 쓰지 않는 사람의 관성은 많은 이들에게 넘을 수 없는 벽입니다. 저품질 결과물을 마구 쏟아내는 사람(slop-cannon)을 세련된 파워 유저로 바꾸는 일도 그만큼 어렵습니다.

완벽하게 도입해도 결과는 바벨형이다

당연히 나올 반론은 "그건 그 회사들이 도입을 못해서 그런 거고, 나라면 훨씬 잘할 텐데"입니다. 아닙니다. 완벽하게 도입해도 결과는 어김없이 바벨형입니다.

우리와 이야기한 또 다른 임원은 조직 전체에 엔터프라이즈 라이선스를 막 깔아 준 참이었습니다. 연간 수천만 달러 규모의 약정이었습니다. 그런데 대략 10%의 사람이 토큰의 90%를 태웁니다.

감을 잡자면 이렇습니다. 나머지 90%가 상위 10%처럼 AI를 쓰기 시작하면 지출은 대략 10배로 뜁니다. 1,000만 달러짜리 약정이 1억 달러가 되고, 최선의 시나리오가 곧 최악의 시나리오가 됩니다.

Image

그림 4 - 좌석의 10%가 토큰의 90%를 태운다

도입은 이분법이고, 숙련도는 스펙트럼이다

맥킨지의 2025년 조사에 따르면 조직의 88%가 최소 한 개 업무 기능에서 AI를 쓰고 있습니다. 하지만 EBIT(이자·세전 이익)의 5% 이상이 AI에서 나오는 조직은 6%뿐입니다. MIT NANDA의 GenAI Divide 보고서에도 비슷한 수치가 있습니다. 시스템에 통합된 파일럿의 5%만이 수백만 달러의 가치를 뽑아내고, 나머지 95%는 측정 가능한 손익 효과가 전혀 없습니다.

도입률을 지표로 추적하고 있다면, 기껏해야 예/아니오 질문을 추상화한 것을 묻고 있을 가능성이 큽니다. "이 사람이 이번 달에 로그인했는가?" "이 사람이 올해 로그인했는가?" "이 사람이 하루에 프롬프트를 5개 이상 보냈는가?" "한 번도 열어 본 적 없음"과 "이메일을 붙여 넣어 서식만 다듬음"과 "총계정원장을 건드리는 에이전트 세 개를 운영 환경에서 돌리고 있음"을 구분하고 싶다면 더 나은 측정 체계가 필요합니다. 기업의 AI 도입 추적 시스템 중 99.9%는 그렇지 못합니다. 이건 어리석은 일입니다. 이유는 뻔합니다(위의 바벨형 분포를 보세요).

Image

그림 5 - 도입률 숫자가 감추는 것

그렇다고 그 숫자가 거짓은 아니고, 사람들이 도입에 대해 거짓말을 하는 것도 아닙니다. 다만 이 숫자는 정말 중요한 것, 즉 각 사람이 AI를 얼마나 능숙하게 쓰는지, 사용한 토큰당 ROI가 얼마인지보다 측정하기가 훨씬 쉬울 뿐입니다.

그래서 AI 도입은 허상입니다. 이 지표를 실제로 추적해 보면, 기업 안에서 대다수 사람이 AI 네이티브가 될 가망은 없다는 걸 깨닫게 됩니다. 그렇다고 그들이 가치가 없다는 뜻일까요? 물론 아닙니다. 구현과 도입 계획을 거기에 맞게 조정해야 한다는 뜻일 뿐입니다.

모든 유인이 협곡을 벌어진 채로 놔둔다

모든 AI 벤더의 로드맵은 에이전트의 능력 향상만 내세울 뿐, 팀이 그것을 효과적으로 쓸 수 있는지에 대해서는 아무 말이 없습니다. 그러니 효과적으로 쓰는 사람은 최전선 사용자들뿐인데, 이들의 목소리가 가장 크니 요구 사항도 이들의 것이 반영됩니다. 이들을 위해 만드는 것이 만드는 입장에서도 가장 뿌듯하니, 양쪽 모두에게 남는 장사입니다. 기능이 하나 나올 때마다 제품을 잘 쓰기 위한 숙련도의 기준선은 올라가고, 조직 안에서 최전선과 다수 사이의 협곡은 그만큼 더 벌어집니다.

"직원들에게 프롬프트 작성법을 가르치자!"라는 발상에 홀리는 기업을 계속 봅니다. 이건 전체 게임의 10%에 불과합니다. 나머지 90%는 "어떤 업무 흐름은 절대 모델에 맡기면 안 되고 어떤 업무 흐름은 통째로 자동화해야 하는지 직원들이 이해하도록 가르치는 것"입니다. 이걸 프롬프트 교육만큼 쉽게 팔 수 없는 이유는, 회사마다 답이 전부 다르고 현장에서 몇 주는 들여야 답이 나오기 때문입니다.

회사 안의 AI 고수들도 이 문제를 고칠 유인이 없습니다. 협곡 그 자체가 이들의 지렛대이기 때문입니다. 이들은 일을 70% 더 빨리 끝내고 남는 시간에 여유를 부리거나, 세 사람 몫의 일을 해냅니다. 하지만 모두가 그 파도에 올라타는 순간 이들의 우위는 사라집니다. 추가 보상도 없는데 굳이 왜 고치겠습니까?

그렇다면 해법은 무엇인가?

어쨌든 교육은 해야 합니다. 해 보기 전에는 누가 상위 그룹에 속하고 누가 아닌지 알 수 없기 때문입니다. 이런 의미에서 교육은 치료가 아니라 진단입니다. 회사 안에는 AI에 관심은 있지만 깊이 파고들 시간과 여력이 없는 사람이 분명히 있습니다. 모든 사람의 역량과 익숙한 정도가 드러나도록 교육해야 합니다.

상위 그룹, 즉 파워 유저들에게는 공유 데이터베이스처럼 결과물을 게시할 공간을 마련해 주세요. 이들이 만드는 모든 스킬이 올라가고, 순위가 매겨지고, 다른 사람들이 설치해 쓸 수 있게 하는 겁니다. 한 사람의 돌파구를 공유 가능한 자산으로 바꾸는 메커니즘 중 제가 본 것은 이것뿐입니다. 여기서는 순위가 곧 보상입니다. 파워 유저는 조직 내 지위를 얻는 대가로 자신의 우위를 내놓습니다. 그래도 격차는 남습니다. 전 직원에게 아무리 알려도 50%는 끝내 스킬을 한 번도 쓰지 않을 겁니다.

나머지 모두에게는 일하는 방식을 바꾸지 않고도 일이 처리되게 해야 합니다. 즉 AI가 배경으로 들어가야 합니다. 애초에 AI가 꼭 사람의 프롬프트를 받아야 할 이유가 있을까요? 가장 반복적인 프로세스가 무엇인지 파악하고, 직원들에게 이미 익숙한 기존 핵심 업무 시스템(Salesforce, NetSuite, Dynamics 등) 안에 에이전트를 심은 뒤, 한 번 더 확인이 필요한 지점에서만 사람을 불러들이면 됩니다.

예를 들어 하루 종일 송장을 처리하는 매입채무(AP) 담당자가 수십 명 있다고 합시다. 이 업무의 90%는 자동화할 수 있습니다. 그런데 이들이 직접 에이전트를 띄우거나 프롬프트로 업무를 처리하면서 운영 환경을 망가뜨리지 않기를 기대할 수는 없습니다. 그러니 매일 알아서 돌아가는 에이전트를 만들어 주면, 이제 담당자들은 에이전트가 한 일을 승인하거나 반려하거나 수정하기만 하면 됩니다.

한 가지만 기억하세요. 사람들은 일을 끝내는 데 도움이 되는 도구를 사고 싶어 하는 게 아닙니다. 그냥 일이 끝나 있기를 바랄 뿐입니다.

Image

그림 6 - 두 갈래 길, 실제로 그 길 위에 있는 사람 수에 맞춘 크기

그러니 이사회에 "도입률"을 보고하는 일은 그만두세요. 대신 오늘 업무 중 수작업, 하이브리드, 완전 자동화가 각각 어느 비중인지 보고하세요. 의미 있는 보고와 논의는 이것뿐입니다.

그 배경 에이전트는 어떻게 만들고 어떻게 세우느냐고요? 그것만으로도 글 한 편이 따로 나옵니다. 조금만 덧붙이면, 이것이 바로 우리 Varick이 하는 일이고, 우리가 AI를 도입해 준 고객사들에서 효과를 본 유일한 방법입니다. 수천 명이 일하는 초대형 기업들이지만 공식은 같습니다. 조직 안에서 일이 실제로 어디에서 벌어지는지 진단한 다음, 기존 핵심 업무 시스템 안에 에이전트를 심는 것입니다. 그러면 5,000명에게 원하지도 않던 기술을 연마하라고 요구하지 않고도 일이 처리됩니다.

우리는 매출 5억 달러가 넘는 기업들과 재무, 영업, 구매, 운영, HR 등 여러 영역에서 일하고 있습니다. varickagents.com에서 확인해 보세요. 이런 콘텐츠를 더 받아 보고 싶다면 varickagents.com/newsletter에서 뉴스레터를 구독하세요.

요약(TLDR)

  • 여러분은 아마 상위 1%에 속합니다. 앞에도 격차가 있긴 하지만, 뒤에는 협곡이 있습니다. 회사의 평균적인 직원은 한참 뒤처져 있고, 이 격차는 새 기능이 나올 때마다 오히려 더 벌어집니다.
  • Claude Cowork 같은 도구의 도입은 대개 이렇게 흘러갑니다. 5~10%는 파워 유저가 되고, 20%는 서툴게 쓰고, 70%는 거의 쓰지 않습니다. 빨라지는 것은 없는데 수백만 달러는 확실히 타 버립니다.
  • 도구를 쓰는 것과 잘 쓰는 것은 별개의 기술이며, 어느 조직이든 적어도 절반은 끝내 잘 쓰지 못합니다.
  • 도입을 아무리 잘해도 이 문제는 해결되지 않습니다. 수천 명 앞에 AI를 깔아 줘도 조직의 10%가 여전히 토큰의 90%를 태웁니다.
  • 도입 지표는 스펙트럼 전체를 예/아니오 이분법으로 뭉개 버립니다. 도입률은 88%인데 실질적인 EBIT 효과를 보는 곳은 6%뿐인 이유가 여기에 있습니다.
  • 상위 그룹은 교육하고 이들이 만든 것을 공유하게 하세요. 나머지 모두를 위해서는 이미 쓰고 있는 시스템의 배경에 AI를 심으세요.
Edit this page