금융 서비스에서 에이전틱 AI의 ROI 입증하기

https://www.langchain.com/blog/proving-the-roi-of-agentic-ai-in-financial-services

금융 서비스 업계의 모든 CIO와 혁신 책임자는 이사회로부터 같은 질문을 받고 있습니다. "AI에 수백만 달러를 쓰고 있는데, 우리가 얻는 것은 무엇인가?"

당연한 질문입니다. 그런데 지금 대부분의 팀은 이 질문에 숫자로 답하지 못합니다.

에이전틱 AI가 제대로 작동하지 않아서가 아닙니다. 멀티 에이전트 시스템은 이미 업계 전반에서 RFP를 처리하고, 컴플라이언스를 모니터링하고, 문서 워크플로를 자동화하고 있습니다. 문제는 이런 시스템의 비용 구조가 기업이 지금까지 관리해 온 그 어떤 것과도 근본적으로 다르다는 데 있습니다. 에이전트가 스스로 판단해 데이터베이스를 조회하고, 외부 API를 호출하고, 추론을 다듬으려 루프를 돌고, 그다음 두 번째 에이전트에게 작업을 넘기는 상황에서는 비용이 단순한 예산 항목 하나로 잡히지 않습니다. 기존 FinOps 도구로는 애초에 다룰 수 없는, 여러 변수가 얽힌 동적인 방정식이 됩니다.

이 글에서는 그 문제를 푸는 방법을 다룹니다. RFP 처리와 자금세탁방지(AML) 컴플라이언스 모니터링이라는 실제 금융 서비스 사용 사례 두 가지를 통해, 중요한 비즈니스 KPI가 무엇인지, 어떻게 추적하는지, 그리고 경영진에게 ROI를 입증할 관측 가능성(observability)과 거버넌스 인프라를 어떻게 구축하는지 하나씩 살펴봅니다.

이 글을 공동으로 쓰는 이유는, 이 문제를 풀려면 두 가지가 맞물려 돌아가야 하기 때문입니다. 에이전트를 만들고 디버깅하고 최적화하는 엔지니어링 플랫폼(LangChain, LangSmith, LangGraph), 그리고 에이전트의 비즈니스 가치를 측정하고 비용을 통제하는 경제 인텔리전스 플랫폼(Pay-i)입니다.

진짜 비용 문제: 기존 모니터링이 부족한 이유

멀티 에이전트 시스템을 만들어 봤다면, 비용 구조가 전통적인 SaaS 애플리케이션과는 전혀 다르다는 사실을 이미 알고 있을 것입니다. 에이전트 호출 한 번에 여러 프로바이더에 걸친 다수의 LLM 호출, 내부와 외부 API를 향한 도구 호출, 재시도와 추론 루프, 오케스트레이션 오버헤드가 얽혀 들어가고, 이 모든 것이 실행할 때마다 달라집니다.

LangSmith는 엔지니어링 팀이 이 복잡성을 속속들이 들여다볼 수 있게 해 줍니다. 모든 에이전트 실행은 트레이스(trace)로 기록됩니다. 트레이스는 모든 LLM 호출, 도구 호출, 중간 단계를 빠짐없이 담은 기록입니다. LangSmith의 비용 추적 기능은 트레이스별 토큰 사용량과 지출을 모델과 프로바이더 단위로 나누어 자동 계산합니다. 기본 제공 대시보드는 시간에 따른 총비용, 지연 시간, 오류율, 토큰 사용량 추이를 보여 주고, 커스텀 대시보드에서는 모델별, 사용자 세그먼트별 등 팀에 중요한 어떤 기준으로든 데이터를 잘라 볼 수 있습니다.

하지만 엔지니어링 수준의 관측 가능성만으로는 알 수 없는 것이 있습니다. 이 에이전트가 실제로 비즈니스 가치를 내고 있는가 하는 점입니다. 여기서 Pay-i가 등장합니다. Pay-i는 여러 에이전트를 아울러 살펴보며 모든 생성형 AI 사용 사례의 비용을 측정 가능한 비즈니스 성과와 연결합니다. 해당 워크플로에서 "성공"이 무엇인지 조사해 정의하고, 업계 실정에 맞는 목표치를 붙인 비즈니스 KPI를 설정한 뒤, 사용 사례가 그 KPI에서 어떤 점수를 내고 있는지 실시간으로 추적합니다. 실제 비즈니스 지표를 바탕으로 절감한 시간이나 창출한 가치로 비즈니스 영향을 정량화하고, ROI를 높일 방법을 즉시 제안합니다.

두 플랫폼이 함께하면 "이 에이전트가 무엇을 하고 있는가?"와 "이 에이전트가 얼마의 가치가 있는가?" 사이의 고리가 이어집니다.

사용 사례 1: RFP 처리 자동화

비즈니스 문제

금융 서비스 기관에는 기업 고객과 기관 고객으로부터 RFP가 끊임없이 들어옵니다. RFP는 PDF, 워드 문서, 부속 문서가 묶인 패키지 형태로 도착하며, 응답은 정확하게 구조화되고 출처가 빠짐없이 인용되어야 하고 컴플라이언스, 리스크, 정보보안, 법무, 프로덕트 각 분야 전문가(SME)의 검토를 거쳐야 합니다.

오늘날 이 과정은 거의 전부 수작업입니다. 제안 팀이 RFP를 정독하고, 요구사항을 내부 역량에 대응시키고, 응답 초안을 쓰고, 검토를 받으려 전문가들을 쫓아다니고, 최종 제출물을 짜 맞춥니다. 복잡한 RFP 하나가 여러 부서에 걸쳐 수백 시간을 잡아먹기도 합니다. 여기에 대부분의 기관이 처리하는 RFP 물량을 곱해 보면, 조직에서 가장 큰 숨은 인건비 중 하나가 드러납니다.

LangChain과 LangGraph로 만든 에이전틱 시스템은 이 고된 작업의 대부분을 자동화할 수 있습니다. RFP 패키지를 받아들이고, 요구사항을 추출하고, 승인된 내부 콘텐츠에 대응시키고, 원본 문서 인용을 갖춘 구조화된 응답 초안을 생성하고, 부족한 부분에는 사람이 검토하도록 표시를 남깁니다. 최종 승인은 여전히 사람 전문가의 몫이지만, 백지에서 시작하는 대신 이미 제출 준비가 65% 끝난 초안을 검토하고 다듬으면 됩니다.

중요한 KPI

Pay-i는 RFP 사용 사례에서 에이전트 실행을 모니터링하면서, 주석이 달린 리서치를 근거로 적용할 KPI와 업계 벤치마크 기반 목표치를 동적으로 정합니다. 직접 KPI를 지정할 수도 있는데, 일부는 Pay-i가 자동으로 점수를 매기고, 일부는 기존 시스템에서 데이터를 수집해 옵니다. RFP 사용 사례에 쓸 만한 KPI 예시는 다음과 같습니다.

요구사항 추출 정확도 (유형: 백분율, 목표: 95%). 들어온 RFP 패키지에서 범위, 서비스 수준, 가격 형식, 보안 조항, 규제 조항 같은 핵심 요구사항을 에이전트가 올바르게 식별하고 추출한 비율입니다. 최신 문서 AI 벤치마크에서 구조화된 추출의 정확도는 일관되게 90~99%로 나타납니다. 금융 서비스 RFP에서 95%는 에이전트가 재작업을 만들어내는 대신 시간을 절약해 주는 분기점입니다.

대폭 수정 없이 승인된 응답 초안 (유형: 불리언, 목표: 65%). AI가 생성한 초안이 큰 재작업 없이 전문가 검토를 통과했는지를 봅니다. 주요 AI RFP 도구들의 업계 데이터를 보면, 제안 관리자가 검토했을 때 AI 생성 답변의 60~66%는 수정이 필요 없었습니다. 컴플라이언스 정밀도가 중요한 금융 서비스에서 65%는 사람의 감독을 적절히 유지하면서도 의미 있는 생산성 향상을 뜻합니다.

전문가 검토자 만족도 (유형: 5점 리커트 척도, 목표: 4.0/5.0). 컴플라이언스, 리스크, 정보보안, 법무, 프로덕트 검토자들이 초안의 전반적인 품질, 인용 정확도, 자기 업무에서의 유용성을 리커트 척도로 평가한 점수입니다. 전문가들이 결과물을 신뢰하지 않으면 처음부터 다시 작업하게 되고, 그러면 기술적 정확도가 아무리 높아도 에이전트는 아무 가치를 내지 못합니다.

출처 인용 완전성 (유형: 백분율, 목표: 95%). 응답에 담긴 모든 실질적인 주장에 특정 내부 원본 문서로 추적 가능한 인용이 붙어 있는지를 봅니다. 신뢰성과 감사 양쪽에서 요구되는 사항입니다. 금융 서비스 RFP에서 보안 통제나 규제 준수에 관한 근거 없는 주장은 법적 책임으로 이어질 수 있습니다.

이 KPI들이 CIO에게 중요한 이유

이것들은 엔지니어링 지표가 아니라 비즈니스 지표입니다. 요구사항 추출 정확도, 응답 초안 승인율, 출처 인용 완전성은 인건비 절감과 수주율에 직결됩니다. 대폭 수정 없이 통과하는 초안 하나하나가 전문가 수십 시간의 회수를 뜻할 수 있습니다. 그리고 조작된 콘텐츠와 인용 관련 KPI는 컴플라이언스 리스크를 금액으로 곧바로 환산할 수 있는 리스크 지표입니다.

Pay-i는 관련된 모든 에이전트와 자원을 아울러, 사용 사례 전체의 비용 대비 이 KPI들을 모두 추적합니다. 에이전트 버전도 모니터링하기 때문에 모델 교체나 프롬프트 변경이 비용과 비즈니스 성과에 정확히 어떤 영향을 줬는지 혁신 담당 팀이 확인할 수 있습니다. 나아가 Pay-i는 해당 비즈니스 영역을 조사해 "가치 정책(Value Policy)"을 정의하는데, 이 정책이 사용 사례의 KPI 데이터와 지표를 정량화된 비즈니스 가치와 시간 절감으로 환산해 줍니다.

CIO가 "우리가 얻는 것이 무엇인가?"라고 물으면, RFP 건당 처리 비용, KPI 성과 추이, 산출된 ROI를 보여 주는 대시보드가 그 답이 됩니다.

사용 사례 2: AML 컴플라이언스 모니터링

비즈니스 문제

자금세탁방지 컴플라이언스는 금융 서비스에서 운영 비용이 가장 많이 드는 규제 의무 중 하나입니다. 거래 모니터링 시스템은 매일 수천 건의 알림을 만들어내지만, 그 대부분(흔히 95% 이상)은 오탐입니다. 그래도 알림 하나하나를 조사해야 합니다. 분석가가 거래 패턴을 검토하고, 고객 프로필을 확인하고, 여러 시스템에서 맥락 데이터를 끌어오고, 조사 결과를 문서로 남겨야 합니다.

그 결과 컴플라이언스 부서는 막대한 자원을 쏟아붓고도 정말로 의심스러운 활동을 잡아내는 데 여전히 애를 먹습니다. 정교한 자금세탁 수법은 규칙 기반 탐지 시스템이 진화하는 속도보다 빠르게 적응합니다. 규제 당국의 감시는 갈수록 강해지고, 부실한 AML 프로그램에 물리는 벌금은 수십억 달러에 이릅니다.

멀티 에이전트 시스템은 이 워크플로를 완전히 바꿔 놓을 수 있습니다. 첫 번째 에이전트는 들어오는 알림을 분류하며 맥락 데이터를 수집하고 리스크 점수를 매깁니다. 두 번째 에이전트는 상위로 넘겨진 사안을 더 깊이 조사하며 내부 시스템과 외부 데이터베이스의 데이터를 종합합니다. 세 번째 에이전트는 필요할 때 의심거래보고서(SAR) 초안을 생성합니다. 상위 보고와 SAR 제출의 결정 권한은 여전히 사람 분석가에게 있지만, 에이전트 덕분에 저위험 알림의 수작업 부담이 크게 줄고 진짜 위협에 대한 조사는 빨라집니다.

중요한 KPI

Pay-i가 제안하는 KPI는 비즈니스와 필요에 맞게 조정되지만, AML 컴플라이언스 모니터링에 적용할 만한 KPI 예시는 다음과 같습니다.

오탐 감소율 (유형: 백분율, 목표: 60% 감소). 에이전트 분류를 거친 뒤 전면 수동 조사가 필요한 알림이 얼마나 줄었는지를 비율로 나타냅니다. 60% 감소는 매달 분석가 수백 시간을 회수한다는 뜻일 수 있습니다. 이 시스템의 비용을 정당화하는 가장 핵심적인 근거입니다.

평균 조사 시간 (유형: 숫자(분), 목표: 50% 단축). 분석가 검토가 여전히 필요한 사안에서 알림 발생부터 조사 완료까지 걸리는 시간입니다. 에이전트가 맥락 데이터를 미리 모으고, 거래 패턴을 요약하고, 관련 리스크 요인을 짚어 주기 때문에, 분석가는 빈 화면이 아니라 브리핑을 받아 든 상태에서 조사를 시작할 수 있습니다.

SAR 초안 품질 점수 (유형: 5점 리커트 척도, 목표: 4.0/5.0). 에이전트가 생성한 SAR 초안의 완전성, 정확성, 규제 준수 수준을 검토자가 평가한 점수입니다. 잘 작성된 SAR은 기관이 규제 의무를 지키도록 보장하면서, 제출 건당 몇 시간씩 걸리는 컴플라이언스 팀의 문서 작업을 덜어 줄 수 있습니다.

규제 감사 대응 준비도 (유형: 불리언, 목표: 95%). 에이전트의 조사 문서(추론 과정, 접근한 데이터 출처, 도출한 결론)가 규제 당국의 검사에 요구되는 기준을 충족하는지를 봅니다. 규제 당국은 결과만 맞으면 된다고 보지 않습니다. 문서로 남아 있고 방어할 수 있는 절차를 원합니다.

이 KPI들이 CIO에게 중요한 이유

AML 컴플라이언스는 비용 센터이면서 동시에 리스크 관리 기능입니다. CIO와 혁신 책임자는 에이전틱 자동화가 규제 리스크를 키우지 않으면서 운영 비용을 줄인다는 것을 입증해야 합니다. 동시에 이 프로세스는 완전 자동화되기 어렵고, 사람의 감독이 계속 필요합니다. 따라서 이 사용 사례의 '가치'는 결국 담당자의 시간을 얼마나 아껴 주느냐에 있습니다. 담당자는 이제 모든 것을 처음부터 직접 쓰는 대신 에이전트의 작업물을 검토하고 조금씩 손보기만 하면 됩니다. Pay-i는 이 시간 절감을 정량화할 수 있는데, 회사 직원이 각 작업을 직접 수행할 때 보통 걸리는 시간과, 사용 사례 전체에 걸쳐 모든 에이전트가 실행된 뒤 사람이 검토하고 수정하는 데 걸리는 시간을 비교해 계산합니다.

내부 들여다보기: 멀티 에이전트 아키텍처

두 사용 사례 모두 멀티 에이전트 시스템으로 구현됩니다. 하나의 거대한 LLM 호출에 의존하는 대신, 추론하고 작업을 주고받고 협업하는 전문화된 에이전트들이 팀을 이루어 조율된 형태로 움직입니다.

LangChain, LangGraph, LangSmith로 구축

LangGraph는 에이전트 워크플로를 상태를 가진(stateful) 그래프로 오케스트레이션합니다. 각 노드는 전문화된 에이전트나 도구 호출을 나타내고, 조건부 엣지가 에이전트의 추론에 따라 경로를 정합니다. RFP 사용 사례라면 요구사항 추출 에이전트, 콘텐츠 매핑 에이전트, 초안 생성 에이전트, 누락 탐지 에이전트가 각자의 도구와 프롬프트를 갖고 공유 상태를 통해 조율되는 구조입니다.

LangSmith는 이 복잡한 워크플로를 디버깅하고 최적화할 수 있게 해 주는 관측 가능성 계층을 제공합니다.

트레이싱. 모든 에이전트 실행은 전체 트레이스를 남깁니다. 모든 LLM 호출, 도구 호출, 중간 단계를 계층 구조로 보여 주는 기록입니다. 검토자가 RFP 초안에서 잘못된 인용을 지적하면, 엔지니어는 트레이스를 열어 그 인용을 만든 에이전트가 정확히 어느 것인지, 어떤 컨텍스트를 갖고 있었는지, 추론이 어디서 어긋났는지 확인할 수 있습니다. 이것이 없으면 멀티 에이전트 시스템 디버깅은 어림짐작이 됩니다.

비용 추적. LangSmith는 모든 트레이스의 토큰 사용량과 비용을 모델과 프로바이더 단위로 나누어 자동 계산합니다. 여러 모델을 섞어 쓰는 멀티 에이전트 시스템(일상적인 추출에는 저렴한 모델, 미묘한 컴플라이언스 문구에는 더 뛰어난 모델)에서는 특히 중요합니다. 팀은 지출이 정확히 어디로 가는지 파악하고, 근거를 갖고 라우팅을 결정할 수 있습니다.

대시보드와 모니터링. 기본 제공 대시보드는 트레이스 건수, 지연 시간(P50·P99), 오류율, 토큰 사용량, 비용 추이를 시간에 따라 추적합니다. 커스텀 대시보드로는 사용 사례에 맞춘 화면을 만들 수 있습니다. 예를 들어 RFP 건당 처리 비용을 1차 통과 승인율과 나란히 보여 주거나, AML 알림 분류 지연 시간을 리스크 등급별로 나눠 볼 수 있습니다.

Insights Agent. LangSmith의 Insights Agent는 트레이스를 자동 분석해 사용 패턴과 실패 유형을 찾아냅니다. 수천 개의 트레이스를 일일이 검토하는 대신, 가장 흔한 동작을 계층적으로 분류한 요약 보고를 받고 필요하면 개별 트레이스까지 파고들 수 있습니다. 매일 수천 건의 알림을 처리하는 AML 시스템이라면, "문제가 있다는 것을 아는 것"과 "문제가 무엇인지 아는 것"의 차이가 여기서 갈립니다.

필터링과 자동화. 고급 트레이스 필터링으로 특정 실패 패턴만 골라낼 수 있습니다. 예를 들어 RFP 에이전트가 고객의 표현을 그대로 따르지 않고 일반적인 용어로 바꿔 쓴 트레이스만 모아 볼 수 있습니다. 자동화 규칙은 특정 조건이 충족되면 알림이나 웹훅을 발동시켜, 문제가 터진 뒤에 디버깅하는 대신 선제적으로 모니터링할 수 있게 합니다.

이 시스템들은 필요하면 LangChain 밖의 구성 요소도 호출합니다. 내부 문서 관리 시스템, 컴플라이언스 데이터베이스, 외부 데이터 제공자, 레거시 API 등입니다. LangSmith는 이런 외부 호출도 같은 트레이스 안에서 도구 호출로 기록하므로, 에이전트 실행이 여러 시스템에 걸쳐 있어도 끝에서 끝까지 가시성이 유지됩니다.

Pay-i로 측정하고 통제

Pay-i는 이 아키텍처 위에 경제 인텔리전스와 거버넌스 플랫폼으로 얹힙니다.

사용 사례별 KPI 추적. Pay-i는 사용 사례마다 KPI를 제안하고, 팀이 커스텀 KPI를 정의할 수 있게 합니다. 많은 KPI는 Pay-i가 직접 에이전트 성과를 평가해 점수를 매기고, 커스텀 KPI는 기존 시스템과 연동해 점수를 받아 옵니다. 점수는 사용 사례 버전과 연결되므로, 프롬프트 변경이나 모델 교체가 비즈니스 성과에 정확히 어떤 영향을 줬는지 팀이 확인할 수 있습니다.

가치 정책과 ROI 측정. Pay-i는 KPI 데이터와 지표, 비용 데이터를 기관 고유의 비즈니스 로직과 결합해 "창출한 가치"(달러)와 "절감한 시간"(시간) 양쪽을 계산합니다. 그 결과가 "이 에이전트는 이번 분기에 X달러와 Y시간을 절감했고, 비용은 Z달러였다"라는 구체적인 ROI 수치입니다. 어떤 사업을 확대하는 것이 효과적이고 어떤 것을 접어야 할지 조직이 바로 판단할 수 있게 해 줍니다.

실시간 비용 통제. Pay-i는 사용 사례별로 예산 한도를 강제합니다. 에이전트 실행 하나가 폭주 루프에 빠져 비용 임계치를 넘을 조짐을 보이면, Pay-i가 그 호출을 실시간으로 차단합니다. CIO가 비용 폭증 걱정 없이 에이전틱 시스템을 확장할 수 있게 해 주는 안전망입니다.

마진과 매출 관리. Pay-i는 프로바이더, 프레임워크, 모델과 무관하게 모든 에이전트 활동의 단위 경제성(unit economics)을 전부 추적하고, 일반적인 상호작용과 이상치 상호작용의 백분위 분포를 보여 줍니다. AI 솔루션을 유료로 제공하는 조직이라면 가격을 어떻게 매길지, 예상 마진이 얼마인지 정확히 알 수 있습니다.

부서를 아우르는 가시성. 엔지니어는 API 수준의 비용 내역과 지연 시간을 보고, 프로덕트 오너는 KPI 추이와 사용 사례 성과를 봅니다. 재무 부서는 예측치, 실적, 차이 분석 보고를 보고, CIO는 사업 부문별 ROI가 담긴 경영진 대시보드를 봅니다. 모두가 같은 데이터를 바탕으로 같은 성과를 향해 일하게 됩니다.

시작하기

금융 서비스에서 에이전틱 AI를 운영 중이거나 계획하고 있다면, 실행 방법은 단순합니다.

1. LangChain과 LangGraph로 에이전트를 구축합니다. LangGraph의 상태 기반 오케스트레이션으로 멀티 에이전트 워크플로를 조율하고, LangChain의 도구 사용 프레임워크로 내부 시스템과 연동합니다.
2. 첫날부터 LangSmith로 계측합니다. 관측 가능성 도입을 프로덕션까지 미루지 마세요. 개발과 스테이징 단계에서 모든 실행을 트레이싱하고, 확장하기 전에 비용 추적과 대시보드로 기준선을 잡아 둡니다.
3. Pay-i로 우선순위를 정하고 확장을 이끕니다. Pay-i는 비즈니스 이해관계자와 함께 처음부터 중요한 지표를 가려내고, 사용 사례나 에이전트의 새 버전이 나올 때마다 비즈니스 목표에 더 가까워지도록 보장합니다.
4. 두 플랫폼을 함께 써서 최적화합니다. LangSmith의 트레이스와 Insights Agent로 성능 병목 지점을 찾고, Pay-i의 KPI·가치 상관 분석으로 어디를 최적화해야 비즈니스 효과가 가장 큰지, 그리고 확장 전에 어떤 버전의 성과가 가장 좋은지 가려냅니다.
5. 통제하고 입증합니다. Pay-i에 예산 통제를 설정해 프로덕션 확장의 리스크를 줄입니다. 그리고 Pay-i의 경영진 대시보드를 활용해 이사회가 이해하는 언어, 즉 절감한 비용, 회수한 시간, 줄어든 리스크로 ROI를 보고합니다.

에이전틱 AI에서 앞서 나갈 금융 서비스 기관은 가장 정교한 에이전트를 만드는 곳이 아닙니다. 에이전트가 측정 가능한 비즈니스 가치를 낸다는 것을 입증하고, 이를 뒷받침하는 관측 가능성과 거버넌스 인프라 위에서 확신을 갖고 확장할 수 있는 곳입니다.

금융 서비스용 에이전틱 AI를 검토하고 있다면, LangChain과 Pay-i에 문의해 이 스택을 각자의 사용 사례에 어떻게 적용할 수 있을지 논의해 보세요.