빨라진다는 그 기술, 만능은 아니에요
안녕하세요, 아크릴 테크블로그의 음유시인 갈리엄(Galliam)입니다. AI 업계에서 모델의 학습 성능 향상에 대한 연구는 매 순간 더 뜨거워지는 분야인데요, 그중 ‘속도’의 향상은 굉장한 관심을 받는 주제에요.
“이 기술을 사용하면 당신의 AI가 2배 빨라집니다!”
이 말에 고개를 돌리지 않을 분이 과연 있을까요? 모델 추론 속도 향상에 대한 열기로 다양한 기법들이 주목을 받고 있는데요, 투기적 디코딩(speculative decoding)[1]과 전문가 혼합(MoE/Mixture-of-Experts)[2]이 대표적이기도 하죠. 그런데 이런 속도의 마술과도 같은 기법들, 막상 현장에서 사용해보면 어떨 땐 정말 빨라지기도 하지만, 반대로 아무런 변화가 없거나 역으로 느려지는 경우도 있어요.[3]분명 빨라진다고 했는데, 왜 이런 일이 벌어지는 것일까요? 오늘은 AI와 속도에 대한 이야기를 한번 풀어보도록 하겠습니다. 빨리요.
빠르긴 해요, 일이 늘어나기 전까지는
먼저 투기적 디코딩과 전문가 혼합 기법에 대해 간단하게 이야기해볼게요. 투기적 “디”코딩은 이름에서 유추할 수 있듯이, 추론 후 답하는 대신, 역으로 작은 모델이 답을 미리 여러 개 ‘찍고’, 큰 모델이 일괄로 ‘채점’해서 맞은 것만 통과시키는 기법이에요.[1] 한 글자씩 만드는 대신 뭉텅이로 확인하니 추론 과정이 훨씬 빨라지는 거죠. 장인이 부품을 개별적으로 만드는 대신, 여러 명의 제자들이 동시에 가공을 해서 불량 판정만 받으니 빠를 수밖에요.
그런데, 투기적 디코딩에는 함정이 숨어있어요. 제아무리 작은 모델이 미리 답을 여러 개 찍는다 한들, 처리하는 요청 배치(batch)가 커지면 큰 모델도 채점하는 것만으로도 벅차다는 거에요.[3] 게다가 작은 모델의 틀린 답에 대한 계산 과정은 버려지니, 재활용도 어려운 상황이 되죠. 결국 대규모 서빙에선 이득이 줄고, 심할 경우에는 느려지는 불상사도 일어나는 거죠.
더구나 AI 서비스를 운영하는 입장에선, 이 ‘이득이 나는 구간’이 계속 움직인다는 게 골칫거리예요. 한 번에 몇 개나 미리 찍을지(초안 길이), 아예 투기적 디코딩을 켤지 말지의 최적값이 고정돼 있지 않거든요. 배치 크기는 물론이고 초안의 적중률, 들어오는 요청량, 문장 길이, 초안 모델과 검증 모델의 조합, 나아가 하드웨어까지 함께 얽혀 결정되니까요.[4] 실제로 한 연구는 배치 1에 맞춰 최적화한 초안 길이가 처리량이 몰리는 구간에선 오히려 손해가 된다는 점을 보여줬고,[4] 다른 연구는 같은 설정이라도 초안의 적중률에 따라 이득의 크기가 크게 갈린다는 점을 짚었어요.[5] 배치는 여러 변수 중 하나일 뿐, ‘배치가 작으니 작은 모델’ 같은 단순한 공식으로 풀 수 있는 문제가 아니라는 거죠. 그러니 하나의 고정 설정으로 하루를 버티면, 낮에 이득이던 설정이 밤엔 손해가 되는 일이 벌어지는 거예요.
[이미지 1] 투기적 디코딩 — 속도 이득은 ‘구간’에 따라 달라져요 (배치는 최적값을 정하는 여러 변수 중 하나일 뿐)
빠르긴 해요, 인기투표 전까지는
그렇다면 전문가 혼합 기법은 어떨까요? 전문가 혼합은 말그대로 파인튜닝을 통해 분야별 전문가 모델을 여럿을 두고 토큰마다 필요한 몇몇만 사용하는 기법이에요.[2] 파라미터는 크지만 전체가 아닌 일부만 가동하니, 전문가 혼합 기법에서는 큰 배치에서도 투기적 디코딩으로 이득을 볼 수도 있어요.
그럼 전문가 혼합 기법에도 함정이 있냐고요? 갈리엄도 없었으면 하는 마음이에요(주륵). 전문가 혼합 기법의 경우, 인기 강사에게 토큰이 몰린다는 문제가 있어요. 한가한 전문가는 일이 적어 노는 한편, 바쁜 전문가는 병목의 늪에 빠지게 돼요. 전문가들은 여러 GPU로 서로 결과를 주고받아야 하는데, 인기 전문가의 병목 때문에 심할 경우에는 GPU가 82%의 유휴를 보이는 경우도 있다고 해요.[6]
투기적 디코딩을 사용하자니 몸집이 커지면 힘들어지고, 전문가 혼합 기법을 해보자니 인기 강사한테 일이 몰려 결국 병목이 생기고, 참 어려운 문제입니다. 하지만 늘 그랬듯, 우리는 답을 찾지요.
[이미지 2] 전문가 혼합 — 인기 전문가로 쏠리면 한쪽은 병목, 한쪽은 유휴 (맞춤 배치 시 지연 43%↓·비용 84%↓)
“ON/OFF” 스위치 대신 “HOW MUCH” 다이얼을
최근 발표된 ACTS(Agentic Chain-of-Thought Steering) 논문은 추론 성능 향상 기법들의 사용 방법에 대한 흥미로운 방향성 제시와 함께 문제에 대한 해결책을 제시해요.[7] 바로 기존의 기법들에 대해 상황을 관찰하며 제어하는 컨트롤러를 붙이는 거에요. 실제로 MoE 기법의 경우 전문가를 트래픽에 맞게 잘 배치·복제하였을 때, 지연율을 43%, 비용을 84%까지 줄였다고 해요.[8][9]
ACTS는 말하는 거죠, “어떤 기술”에서 그치지 말고 “기술을 어떻게”까지 가자는 거에요. 투기적 디코딩, MoE 등, 어떤 기술을 가져와도 결국 “만능 열쇠”는 없어요. 트래픽, 활용률 등의 현황을 실시간으로 파악하고, 때와 장소에 맞게 배치하는 것이 진정한 효율 향상인 셈이죠. 이번 논문의 제목처럼, 결국 누군가는 ‘Steering’ 핸들을 잡아야 하는 것이고, 아마 그 누군가는 OS라는 이름표를 달고 있지 않을까 합니다.
[이미지 3] ACTS — ON/OFF 스위치가 아니라 HOW MUCH 다이얼
맺음
저 갈리엄은 오늘 AI의 추론 속도와 그 기술들에 대한 이야기를 하다보니 추억 속 만화가 생각났어요. 바로 90년대 많은 청년들의 가슴을 뜨겁게 울린 레이싱 만화 “이니셜 D”인데요. 이니셜 D를 보면 주인공은 구형 T사 차량으로 최신형 튜닝가득한 스포츠카를 모는 드라이버들을 모조리 이겨요(스포 죄송합니다).
그런데 주인공이 상대들을 이기는 건 차량에 더 좋은 부품, 튜닝이 들어가서가 아니에요. 언제 기어를 올리고 언제 핸들을 역으로 꺾고, 언제 관성 드리프트를 선보일지를 아는 드라이버의 전략 때문이에요. 추론, 인프라, 운영 등, 매일 무서울 정도로 다양한 기술들이 출시되며 AI를 발전시키는 데 일조하고 있어요. 하지만 그런 지금일수록 우리는 다음을 잊어서는 안되는 것 같아요. ‘What’ 다음은 언제나 ‘How’라는 것을요. 저 또한 앞으로 ‘어떤 기술이 필요할 지’에서 그치지 않고, ‘어떤 기술을 어떻게 사용할 지’를 고민해봐야겠습니다. 이상, 아크릴 테크블로그의 음유시인 갈리엄이었습니다.
참고 자료 (References)
[1] arXiv (Leviathan et al.) — “Fast Inference from Transformers via Speculative Decoding” (2022.11) https://arxiv.org/abs/2211.17192
[2] arXiv (Shazeer et al.) — “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer” (2017.01) https://arxiv.org/abs/1701.06538
[3] OpenReview (ICLR 2026) — “Rethinking the High-Throughput LLM Inference: An Opportunity for Speculative Decoding” (2026) https://openreview.net/forum?id=59OJOgKLzN
[4] arXiv — “An Interpretable Latency Model for Speculative Decoding in LLM Serving” (2026.05) https://arxiv.org/abs/2605.15051
[5] arXiv — “The Disparate Impacts of Speculative Decoding” (2025.10) https://arxiv.org/abs/2510.02128
[6] arXiv — “HarMoEny: Efficient Multi-GPU Inference of MoE Models” (2025.06) https://arxiv.org/abs/2506.12417
[7] arXiv — “Agentic Chain-of-Thought Steering for Efficient and Controllable LLM Reasoning” (2026.06) https://arxiv.org/abs/2606.03965
[8] arXiv — “MoEless: Efficient MoE LLM Serving via Serverless Computing” (2026.03) https://arxiv.org/abs/2603.06350
[9] arXiv — “Director: Accelerating Distributed MoE Serving via Online Proactive Expert Placement” (2026.07) https://arxiv.org/abs/2607.08782