Time IS Money — AI의 '생각의 길이'를 줄이는 법
안녕하세요, 아크릴 테크블로그의 음유시인 갈리엄(Galliam)입니다. 오늘은 우리 모두의 주머니 사정을 도와줄 이야기를 들고 왔어요. 요즘 많은 분들이 다양한 분야의 실무에서 AI를 활용하고 계실 텐데요, 어디에 어떻게 활용하느냐는 모두가 다르겠지만 한가지 공통점이 있을 것이라 생각합니다. 바로 "AI가 생각하는 시간"을 기다리는 것인데요. "첨부한 내용을 담아 과장님께 올릴 메일 초안을 작성해줘"라는 명령을 입력한 후 로고를 뻐끔거리는 AI를 바라보는 그 순간, 어려운 업무 혹은 과제를 부여하거나, 더 높은 품질의 답변을 요청하면 AI가 생각하는 시간이 길어지는 것에 모두 공감하실 것 같아요.
문제는 이 "생각", 생각보다 비싸다는 거예요(눈물나도록 말이죠). 그래도 AX 대전환의 시대를 맞이한 만큼, 효과적인 AI 사용을 놓칠 수는 없잖아요?
그래서 준비했습니다. 토큰 단위로 우리의 지갑을 위협하는 이 AI의 생각, 그 비용을 줄이는 기술인 "Compress-Distill"에 대한 이야기를 한번 해보겠습니다.
"생각"이라는 머리에 붙는 기장 추가비용
추론 모델은 답을 내기 전에 속으로 길게 풀이를 늘어놔요. 이 '생각'이 눈엔 잘 안 보이지만, 요금은 토큰 하나하나에 다 붙어요. 문제는 모델의 답변 품질이 늘어난 토큰의 양만큼 향상되지 않는다는 점인데요.
실제로 Wharton Generative AI Lab의 연구 결과에 따르면 AI모델에 동일한 분류 질문에 '단계적으로 생각해' 한 줄을 추가했더니 토큰 사용량이 2~5배로 불고 응답도 5~15초 늦어졌다고 해요. 답변의 품질은 큰 차이가 없는데, 생각의 값만 커진 셈이죠.
게다가 이건 규모가 커질수록 무섭게 벌어져서, 동일한 품질의 AI 서비스가 월 $2,000에서 $10,000가 될 수도 있어요.
현장에선 '똑똑함'보다 '예산'이 먼저 걸려요
그래서 이 지점에서 추론·RAG 서비스의 비용을 책임지는 분들은 딜레마에 빠져요. 생각을 아예 꺼버리자니 정확도가 떨어지고, 그대로 두자니 청구서가 천정부지로 치솟거든요. 그렇다고 요청 하나하나에 '너는 짧게 생각해'라고 사람이 붙어 앉아 지시할 수도 없고요.
결국 필드에서는 '생각을 끄는 것'이 아니라 '생각의 군더더기를 줄이는 것'에 집중하자는 목소리를 외치기 시작했어요. 똑똑함은 지키면서 비용을 줄일 방법 말이죠.
생각의 '정수'만 가져갑시다!
최근 나온 Compress-Distill이 바로 그 외침에 대한 대답이에요. 큰 교사 모델이 문제를 풀면 길고 장황한 풀이 과정(트레이스)이 남는데, 이걸 통째로 작은 모델에게 베끼게 하는 대신 핵심만 간추린 '요약본'으로 압축해서 가르쳐요.
문제집 풀이를 한 자도 안 빼고 옮겨 적는 게 아니라, 논리만 남기고 잡담은 걷어낸 요약 풀이로 배우는 것과 비슷해요. (기술적으로는 지식증류 전에 추론 트레이스를 사후 압축하는 방식이에요.) 수천 갤런의 와인으로부터 단 1%의 정수인 오드비(eau de vie)를 모아 브랜디 한 병을 만들듯이, 모델 트레이스의 정수만 가져가는 거에요.
Compress-Distill 개념도 — 교사 모델의 긴 풀이를 증류하듯 압축해 '요약본'만 남기고, 작은 학생 모델이 그 핵심 추론 경로를 모방하도록 가르칩니다.
실제로 Maxime Griot의 연구 결과를 살펴보면, 두 개의 교사 모델이 각각 약 28.3만 개의 정답 풀이를 만든 뒤, 학습 모델이 원본의 8.6~21% 길이까지 줄이는 데 성공했다고 해요.
훈련은 빨라지고 답은 짧아졌어요 — 단, 킥이 있어요
결과는 상당했어요. 교사 모델 트레이스를 압축본으로 가르치니 훈련에 사용된 토큰은 원본의 12~30%로 줄었고, 훈련 속도는2.0~7.6배 빨라졌어요. 학습을 마친 모델의 답도 3~19배 짧아졌고요. 게다가 정확도는 최대 96%까지 지키면서 토큰당 효율은 최대 18배까지 올랐어요.
물론, 여기서 놓쳐서는 안 될 중요한 대목이 있어요. 정확도 측면에 있어서는 모든 조건에서 '압축 안 한 원본'이 여전히 가장 정확했다는 거예요. 결국 Compress-Distill 기술은 압축으로 성능을 그대로 유지하며 비용을 공짜로 줄이는 마법이 아니라, 정확도를 조금 내주고 효율을 크게 얻는 Trade-off라는 거죠.
맺음
저 갈리엄은 이 연구가 알려주는 진짜 교훈은 '무조건 압축하자' 또는 'TPO에 맞게 압축하자'가 아니라고 생각해요. 오히려 '생각의 길이'가 이제 모델의 성능 지표이자 비용 지표가 됐다는 것이 핵심인 것 같아요.
조금 더 AI산업의 실무자로써 말해보자면, 앞으로 모델과 서비스를 기획하는 데 있어 얼마나 길게 생각하게 둘지를 호출 하나하나에 손으로 새겨넣을 게 아니라, 한발 나아가 서빙 계층의 정책으로 다뤄야 한다고 생각해요. 쉬운 요청엔 짧게, 어려운 요청엔 길게, 예산 안에서 등, '생각의 기술'이 하나의 축으로 자리하게 되는 것이죠.
Compress-Distill 기술은 단순히 새로운 기술의 출시를 넘어, 칩을 한 대 더 사는 것보다 생각의 길이를 다루는 정책 한 겹이 더 큰 차이를 만들 수 있는 시대가 왔다는 것을 알린 신호탄의 역할을 했다고 생각해요.
앞으로 AI 모델의 성능을 좌우할 '생각의 기술', 저도 한번 '생각' 해봐야겠습니다. 이상, 아크릴의 음유시인 갈리엄이었습니다.
참고 자료
1. Griot, M., Scotti, P. S., & Abraham, T. M., Compress-Distill: Reasoning Trace Compression for Efficient Knowledge Distillation(arXiv:2606.05988) — https://arxiv.org/abs/2606.05988
2. Meincke, L., Mollick, E., Mollick, L., & Shapiro, D., Wharton Generative AI Labs, Prompting Science Report 2: The Decreasing Value of Chain of Thought in Prompting — gail.wharton.upenn.edu