“거대 모델 아니면 추론을 못 한다”는 공식이 점점 깨지고 있어요. 최근 몇 달 사이 공개된 연구들을 보면, 파라미터 수가 훨씬 적은 소형 언어모델도 학습 방식을 어떻게 짜느냐에 따라 최상위 모델급 추론 성능을 낼 수 있다는 게 반복적으로 증명되고 있거든요. 핵심은 ‘얼마나 큰가’가 아니라 ‘얼마나 똑똑하게 가르치는가’라는 이야기예요.
1.5B 모델이 o1-preview급 점수를 냈다고?
가장 눈에 띄는 사례는 ‘Open-RS’ 프로젝트예요. 연구진은 강화학습 알고리즘 GRPO(Group Relative Policy Optimization)와 엄선한 수학 추론 데이터셋만으로 15억(1.5B) 파라미터 모델을 훈련시켰는데요, 학습에 쓴 데이터는 단 7,000개 샘플, GPU는 A40 4장으로 24시간 안에 끝냈다고 해요. 그런데도 일부 수학 추론 벤치마크에서 훨씬 큰 모델인 o1-preview와 맞먹거나 앞서는 점수를 기록했다는 거예요. “데이터 양보다 질, 그리고 보상 설계가 핵심이었다”는 게 연구진의 설명이에요.
여기서 궁금하실 텐데요, GPU 4장에 하루 만에 끝나는 훈련으로 어떻게 이런 결과가 가능했을까요? 비결은 ‘단순하고 명확한 보상’에 있었어요. SimpleRL-Zoo 연구팀이 제안한 ‘ZeroRL’ 패러다임은 정답 여부만 판단하는 규칙 기반 보상만으로도 모델이 스스로 긴 사고 사슬(long-chain reasoning)을 학습하게 만들 수 있다는 걸 보여줬거든요. 복잡한 보상 모델을 따로 학습시킬 필요 없이, GRPO 같은 안정적인 RL 알고리즘과 단순 정오 판정만으로도 충분하다는 게 핵심 발견이에요.
큰 모델이 작은 모델을 직접 가르친다면
또 다른 흥미로운 접근은 ‘LightReasoner’예요. 이 연구는 거대 모델의 추론 과정에서 나오는 ‘고가치 토큰’만 선별해 작은 모델에 집중적으로 학습시키는 자기증류(self-distillation) 방식을 제안했어요. 기존 방식들이 큰 모델의 출력을 통째로 베끼듯 학습시켰다면, LightReasoner는 대조 학습 목표를 도입해서 정말 중요한 순간의 판단만 골라 전달하는 셈이죠. 그 결과 학습에 드는 자원은 줄이면서도 목표 노이즈를 낮춰 더 효율적인 지식 전달이 가능해졌다고 해요.
MIT도 비슷한 문제의식에서 새로운 학습 효율화 기법을 지난 2월 공개했어요. 크고 느린 추론 모델의 출력을 예측하도록 작고 빠른 모델을 먼저 훈련시키고, 그 예측을 다시 큰 모델이 검증하는 구조인데요. 이렇게 하면 무거운 추론 모델이 처음부터 끝까지 다 계산할 필요 없이 작은 모델이 먼저 초안을 만들고 큰 모델은 검증만 하면 되니까, 전체 훈련 속도가 눈에 띄게 빨라진다는 설명이에요.
마이크로소프트는 왜 ‘교과서’를 강조할까
소형 모델 연구에서 빼놓을 수 없는 게 마이크로소프트의 Phi 시리즈예요. 이 팀이 계속 강조해온 원칙은 단 하나, “규모보다 데이터 품질”이거든요. 인터넷에서 마구잡이로 긁어온 크롤링 데이터 대신, 교과서 수준으로 정제된 데이터와 합성 데이터셋을 훈련에 쓰는 방식이에요. 마이크로소프트 리서치 블로그는 이런 접근을 두고 “작은 모델이라도 배우는 내용의 질이 높으면 추론 능력에서 훨씬 큰 모델을 따라잡을 수 있다”고 설명했어요.
이런 흐름을 종합해 정리한 서베이 논문들도 잇따라 나오고 있어요. 한 arXiv 리뷰 논문은 소형 추론 모델을 다루는 최신 연구를 훈련, 추론, 실제 응용, 향후 연구 방향까지 네 갈래로 정리했는데요, 공통적으로 강조하는 건 “추론 능력은 파라미터 수의 함수가 아니라 학습 신호의 질과 밀도의 함수”라는 점이었어요.
왜 지금 업계가 이 흐름에 주목할까
실서비스를 운영하는 기업 입장에서는 이 연구들이 반가울 수밖에 없어요. 거대 모델을 돌리려면 GPU 비용과 응답 지연이라는 두 가지 벽에 늘 부딪히거든요. 소형 모델이 비슷한 추론 성능을 낼 수 있다면 온디바이스 배포나 실시간 응답이 필요한 서비스에 곧바로 적용할 수 있으니까요. “비용과 지연이 중요한 실서비스 환경에서 특히 유용할 것”이라는 평가가 나오는 이유도 여기에 있어요.
물론 아직은 수학 추론처럼 정답이 명확한 영역에서 두드러진 성과이고, 복잡하고 열린 문제로 갈수록 격차가 남아있다는 지적도 있어요. 그래도 GPU 4장, 하루 학습만으로 최상위 모델급 점수를 낸 사례가 나온 이상, 앞으로는 ‘무조건 크게’가 아니라 ‘똑똑하게 작게’ 만드는 쪽으로 연구 무게중심이 옮겨갈 가능성이 커 보여요.
