점수는 점수일 뿐 — 팔란티어가 꼬집은 벤치마크의 허점
안녕하세요, 아크릴 테크블로그의 음유시인 갈리엄(Galliam)입니다. 여러분은 혹시 ‘일머리’라는 단어를 언제 처음 들어보셨나요? 갈리엄은 먼 옛날 인턴시절 당시 처음 들어본 것 같아요. 간단한 장표 정리를 제대로 하지 못해 머리를 긁적이며 대리님께 따끔한 충고와 함께 공부머리와 일머리의 차이를 들었던 기억이 선명합니다.
그때 갈리엄은 느꼈어요, 성적과 자격증, 온갖 스펙들이 결코 실무 능력 즉, 일머리와 함께 가는 것은 아니라는 것을요. 이처럼 점수와 일머리가 일맥상통하는 관계가 아니라는 것은 많은 분들이 공감하실 것 같은데요, 얼마 전 AI 산업에서 이 오랜 교훈을 매섭게 집어낸 회사가 나타났죠. 그 주인공은 바로 세상에서 가장 어려운 문제만 해결하는 AI 기업 팔란티어(Palantir)인데요, 오늘은 조금 특별하게 논문이 아닌 이들의 어닝콜(Earning Call)에 대한 이야기를 해보겠습니다.
차원이 다른 성적표를 들고 오다
지난 8월 3일(현지 시간), 팔란티어는 2분기 실적을 어마어마한 수치로 발표했어요. 분기 매출은 19억 3,500만 달러로 전년 동기 대비 93% 성장, 그중 미국 상업 부문 매출은 7억 6,400만 달러로 무려 149%나 뛰었어요. 미국 정부 부문도 8억 900만 달러로 90% 성장했고요.[1] 이런 숫자들은 곧 기업의 AX 전환이 실험 단계를 지나 현실화 단계에 이르고 있다는 신호로 볼 수 있겠죠?
매출에 이어 이익도 굉장했어요. GAAP(회계원칙) 기준 순이익 10억 6,200만 달러에 마진율 55%, 주당순이익(EPS)은 0.41달러로 시장 예상을 크게 웃돌았어요.[1] 소프트웨어 기업의 건강 지표로 쓰이는 ‘Rule of 40’(매출 성장률과 이익률의 합이 40%를 넘으면 우량)에서는 155%라는 비현실적인 숫자가 나왔고요. 여기에 연간 매출 가이던스도 81억 5,000만 달러(약 82% 성장)로 잡았어요.[1] 알렉스 카프 CEO는 이 실적을 두고 “차원이 다른 수준(otherworldly)”이라고 표현했는데요, 시장도 이에 동의하듯 다음날 주가가 무려 29% 급등하기도 했죠.[2] 그런데 이런 엄청난 실적보다 더 중요한 게 있어요. 바로 알렉스 카프가 던진 ‘벤치마크’에 대한 뼈있는 이야기에요.
[이미지 1] 팔란티어 분기 매출 추이 — 1년 만에 10억 달러에서 19억 달러로 (출처: Q2 2026 주주 서한)
점수 잘 받는 모델 ≠ 일 잘하는 모델
“측정이 목표가 되는 순간,
그 측정은 좋은 측정이기를 멈춘다”
굿하트의 법칙(Goodhart’s Law)으로 알려진 명언인데요,[3] 이번 알렉스 카프의 이야기 속 핵심을 가장 잘 짚은 명언이 아닐까 싶습니다. 카프는 어닝콜에서 이렇게 말했어요.
“벤치마크는 벤치마크가 재는 것에 대해선 옳아요.
그런데 그건 제 관심사가 아니에요.
제 고객이 풀려던 과제가 아니거든요.”
리더보드 점수는 애초에 측정하는 대상 자체가 고객의 문제와 다르다는 것을 지적한 것이죠.[4] 학과 수석졸업이 훌륭한 성취인 것은 분명하지만, 그게 곧 필드를 누비며 실무를 잘해내는 능력과는 상관없는 것처럼요.
카프 CEO는 이걸 발언에서 그치지 않고 실제 사례로도 증명했어요. 카프 CEO는 엔비디아의 오픈 모델 네모트론 울트라(Nemotron Ultra)를 자사 스택에 들인 지 단 24시간만에, 포스트 트레이닝도 하지 않은 표준 모델이 프론티어 모델을 이기는 ‘실제 운영 과제’ 5개를 찾아냈다고 해요.[4] 벤치마크 점수표에는 한참 뒤에 있는 모델이, 실전에서는 최상위 모델을 앞선 것이죠. 팔란티어는 이를 두고 벤치마크로 우위를 가리는 “벤치맥싱(bench-maxing)”의 시대는 끝났다고 선언했어요.[4]
[이미지 2] “벤치마크는 벤치마크가 재는 것에 대해선 옳아요. 그런데 그건 제 관심사가 아니에요” — 어닝콜의 알렉스 카프 CEO
출제자는 우리가 아니에요. 고객입니다.
벤치맥싱을 지적한 팔란티어는 그에 대해 고객별 벤치마크라는 해답을 제시했어요. 카프 CEO는 “고객별 벤치마크는 단순한 점수표가 아닌 올라야 할 언덕이고, 운영 워크플로우와 포스트 트레이닝 파이프라인 전체의 방향을 정하는 규범적 지향점”이라고 설명해요.[4] 시험지를 리더보드에서 받아오는 것이 아니라, 고객의 현장에서 직접 출제한다는 거죠.
이런 주장은 자연스럽게 모델 독립적(model-agnostic) 설계로 이어져요. 시험지가 고객의 것이라면, 그 시험을 가장 잘 보는 모델을 경우에 맞춰 교체 투입하면 되니까요. 특정 모델이 서비스를 중단하거나 성능이 흔들려도 다른 모델을 즉시 꽂을(plug-in) 수 있으니, 미션 크리티컬한 업무가 특정 랩의 사정에 인질로 잡히지 않게 되는 것이죠.
이에 더해 카프 CEO는 소버린 AI의 중요성에 대해서도 언급했는데요. 카프 CEO는 주주 서한에서 “독립과 AI 주권을 향한 혁명은 이미 진행 중”이라며, 고객들이 “언어 모델 랩들의 봉신국이 되기를 거부했다”는 다소 살벌한(?) 표현까지 서슴지 않았어요.[5] 이는 곧 기업이 자신의 데이터와 가중치, 그리고 고유의 알파를 남에게 넘기지 않고 직접 통제해야 한다는 것이죠. 실제로 팔란티어는 지난 6월 엔비디아와 함께 네모트론 오픈 모델을 주권환경(sovereign environments)에서 구동하는 엔진을 출시했는데,[6] 이번 분기의 폭발적인 실적은 그 전략이 시장에서 통했다는 것을 증명하는 성적표의 역할을 했죠. 결국 벤치마크와 설계 등, 기존의 산업 시스템 전반에 걸쳐 주도권과 독립성을 챙겨야 한다는 팔란티어의 주장이 숫자로 증명된 셈이죠.
[이미지 3] 시험지는 리더보드가 아니라 고객의 현장에서 나옵니다 — 고객별 벤치마크
토큰이냐 가치냐, 그것이 문제로다
벤치마크를 랩이 아닌 고객이 출제하는 문제로 구성하는 것은 좋아요. 그렇다면 과연 그런 벤치마크 경쟁의 끝에는 무엇이 있을까요? 아마 ‘토큰 판매’ 경쟁이지 않을까 싶은데요. 프론티어 랩들의 비즈니스는 결국 토큰 사용을 통해 수익을 얻는 구조거든요. 그런데 카프 CEO는 이에 대해서도 이번 어닝콜에서 정반대의 문장을 꺼내요.
“팔란티어는 클릭이나 토큰,
채팅으로 돈을 벌지 않습니다”
소프트웨어가 고객 현장에서 측정 가능한 성과를 만들어낼 때 비로소 매출이 나온다는 것인데요,[4] 뒤집어 말하면 토큰은 원자재일 뿐이고, 가치는 그 원자재를 실질적인 성과로 바꾸는 마지막 구간에서 나온다는 말을 한 셈이죠.
그리고 이 ‘마지막 구간’, 이 구간을 담당하는 사람들이 바로 FDE(Forward Deployed Engineer / 전진 배치 엔지니어)에요. 고객사 안으로 직접 들어가 에이전트를 오케스트레이션하고, 포스트 트레이닝으로 모델을 현장에 맞추는 엔지니어들인데요, 팔란티어는 이번 분기의 폭발적인 성장 동력으로 AI 토큰을 측정 가능한 가치로 변환해온 이 FDE들을 꼽았어요.[7] FDE가 고객의 문제를 풀어야 성과를 인정받으니, 고객의 성공과 회사의 성공이 처음부터 정렬된 거에요. 카프 CEO의 말대로 고객이 토큰을 더 사용하게 만들지 않고, 사용한 토큰으로 문제를 풀어 가치를 만들어낸 것이죠.
팔란티어에게 차별화의 축은 모델 그 자체가 아니라,
‘누가 그것을 가치로 환산할 것이냐’인 셈이죠.
[이미지 4] 토큰은 원자재, 가치는 현장에서 — 토큰을 파는 회사와 가치로 바꾸는 회사
맺음
저 갈리엄은 팔란티어의 이번 어닝콜이 AI 업계의 오랜 질문 하나를 구조적으로 바꿨다고 생각해요. “당신의 모델은 몇 점인가요?”라는 질문이 “당신의 모델은 누구의 문제를 풀고 있나요?”라고 바뀐 것 같거든요. 벤치마크 순위표가 하루가 멀다하고 뒤집히는 요즘이지만, 정작 매출 93% 성장이라는 성적표는 리더보드 바깥에서 나왔잖아요. 그 사실 하나만으로도 많은 생각을 해볼 수 있거든요. 공부머리와 일머리가 일맥상통하지 않지만, 고객의 문제를 풀게 된 이상, 공부머리도 함께 사용해야겠어요. ‘출제자의 의도’를 파악해야 하니까요. 이상, 아크릴 테크블로그의 음유시인 갈리엄이었습니다.
“벤치마크는 벤치마크가 재는 것에 대해서만 옳아요.
당신의 진짜 시험지는 리더보드가 아니라,
당신의 비즈니스 현장에 있어요.”
참고 자료 (References)
[1] Palantir Technologies (SEC 8-K Ex.99.1) — Palantir Reports Q2 2026 U.S. Comm Revenue Growth of 149% Y/Y and Revenue Growth of 93% Y/Y; Raises FY 2026 Revenue Guidance to 82% Y/Y Growth (2026.08.03) https://www.sec.gov/Archives/edgar/data/1321655/000132165526000039/a2026q2ex991pressrelease.htm
[2] CNBC — Palantir stock skyrockets 29%, narrowly missing its best day ever after 'otherworldly' results (2026.08.04) https://www.cnbc.com/2026/08/04/palantir-2q-earnings-ai-sovereign-tools.html
[3] Marilyn Strathern (European Review) — 'Improving Ratings': Audit in the British University System — 굿하트의 법칙을 대중화한 표현의 출처 (1997) https://doi.org/10.1017/S1062798700002660
[4] Investing.com — Earnings call transcript: Palantir tops Q2 2026 forecasts, shares jump after hours (2026.08.03) https://www.investing.com/news/transcripts/earnings-call-transcript-palantir-tops-q2-2026-forecasts-shares-jump-after-hours-93CH-4832452
[5] Palantir — Q2 2026 Letter to Shareholders (Alexander C. Karp) (2026.08.03) https://www.palantir.com/q2-2026-letter/
[6] Business Wire — Palantir Launches Engine for Deploying NVIDIA Nemotron Open Models in Sovereign Environments(2026.06.29) https://www.businesswire.com/news/home/20260629390275/en/Palantir-Launches-Engine-for-Deploying-NVIDIA-Nemotron-Open-Models-in-Sovereign-Environments
[7] Channel Dive — Palantir touts forward deployed engineers, reports record revenue growth (2026.08) https://www.channeldive.com/news/palantir-forward-deployed-engineers-ai-revenue-spike/827139/