“AI 에이전트가 코드 몇 줄 정도는 뚝딱 고치는데, 왜 몇 시간짜리 프로젝트를 맡기면 갑자기 헤매는 걸까요?” 최근 공개된 여러 벤치마크 연구들이 이 질문에 대한 답을 조금씩 내놓고 있어요. 짧은 작업에서의 정확도(pass@1)만으로는 실제 신뢰성을 알 수 없다는 문제의식에서 출발한 새로운 측정 방식들인데요, 결론부터 말하면 “AI 에이전트는 작업이 길어질수록 생각보다 훨씬 빨리 무너진다”는 거예요.
몇 시간짜리 일을 맡길 수 있을까?
AI 안전성 연구기관 METR(Model Evaluation and Threat Research)은 독특한 방식으로 에이전트의 능력을 잽니다. “이 에이전트가 50% 확률로 성공하는 가장 긴 작업은 사람 기준으로 몇 분짜리인가”를 재는 거예요. 이걸 ‘타임 호라이즌(Time Horizon)’이라고 부르는데, HCAST(Human-Calibrated Autonomy Software Tasks)와 RE-Bench 등을 조합해 약 230개의 소프트웨어 작업을 사람이 실제로 걸리는 시간과 비교해 채점해요.
2026년 중반 기준 최상위 에이전트들은 사람 기준 약 2시간짜리 소프트웨어 작업을 절반의 확률로 완수하는 수준까지 올라왔어요. METR 측은 이 추세가 이어지면 2027년에는 8시간짜리 ‘하루치 업무’를, 2028년에는 일주일 단위 프로젝트를 처리할 수 있을 거라 전망하고 있죠. 다만 이건 어디까지나 추세선을 그대로 연장했을 때의 이야기고요, 실제로는 작업 종류에 따라 편차가 상당히 크다는 게 문제예요.
왜 긴 작업에서 유독 취약할까
가장 눈에 띄는 결과는 터미널 환경에서의 장기 작업을 다룬 ‘Long-Horizon-Terminal-Bench’예요. 실험 재현, 소프트웨어 엔지니어링, 대화형 게임, 과학 계산 등 9개 범주에 걸친 46개의 장기 작업으로 구성됐는데, 가장 성능이 좋았던 모델조차 부분 보상 기준(0.95 임계값)으로 15.2%, 완벽 보상 기준(1.0)으로는 10.9%의 성공률에 그쳤어요. 짧은 작업 벤치마크에서 보여주는 화려한 점수와는 완전히 다른 그림이죠.
또 다른 연구인 ‘HORIZON’ 벤치마크 논문은 실패 원인을 구체적으로 짚었는데요, 여러 도메인에서 공통적으로 나타나는 병목은 ‘계획 수립 실패'(특히 하위 계획을 세우다가 틀어지는 서브플래닝 오류)와 ‘파국적 망각’이었다고 해요. 쉽게 말해 에이전트가 중간에 세운 계획을 스스로 잊어버리거나, 처음 세운 큰 그림과 다르게 삼천포로 빠지는 일이 반복된다는 거예요. 연구진은 논문에서 “신뢰성은 작업 복잡도에 따라 선형이 아니라 초선형(super-linear)으로 저하된다”고 설명했는데요, 복잡도가 조금만 늘어도 성공률은 훨씬 가파르게 떨어진다는 뜻이에요.
기존 평가 방식은 왜 이걸 놓쳤을까
여기서 궁금하실 텐데요, 그동안 GAIA나 SWE-Bench Verified, OSWorld 같은 벤치마크로도 에이전트를 평가해왔잖아요. 문제는 이런 벤치마크 대부분이 ‘pass@1’, 즉 한 번 시도해서 성공했는지만 본다는 점이에요. 짧고 독립적인 작업 위주라 오류가 누적되는 상황을 제대로 반영하지 못한다는 지적이 나와요. 한 arXiv 논문은 이를 두고 “짧은 원자적(atomic) 작업에서의 pass@1 점수에만 의존하는 평가는 복잡도에 따른 신뢰성 저하를 아예 보지 못하게 만드는 사각지대”라고 표현했어요.
그래서 최근에는 ‘작업이 길어질 때 어디서, 왜 무너지는가’를 진단하는 쪽으로 연구 방향이 옮겨가고 있어요. Tau²-Bench는 도구 사용과 정책 준수를 함께 보고, WebArena는 여러 단계로 이어지는 브라우저 작업을 다루는 식으로, 벤치마크 자체가 ‘한 번의 성공’이 아니라 ‘연속된 신뢰성’을 재는 방향으로 진화 중인 거죠.
업계는 이 결과를 어떻게 받아들이고 있나
기업들이 에이전트에게 반복 업무를 통째로 맡기려는 시도가 늘어나는 시점이라 이 연구들의 무게감이 남다르다는 평가예요. 실제 현장에서는 “에이전트가 초반 30분은 완벽하게 해내다가, 딱 그 지점부터 엉뚱한 파일을 건드리기 시작한다”는 식의 경험담이 개발자 커뮤니티에서 자주 공유되고 있고요. 이런 현장의 목소리가 바로 연구진이 지적한 ‘서브플래닝 오류’와 정확히 맞아떨어지는 셈이에요.
결국 관건은 ‘얼마나 똑똑한가’가 아니라 ‘얼마나 오래, 얼마나 정확하게 계획을 유지할 수 있는가’예요. METR의 타임 호라이즌 곡선이 실제로 2027년, 2028년 전망대로 이어질지는 앞으로 나올 벤치마크 결과들이 계속 검증해줄 거고요, 당분간은 사람이 중간중간 점검하는 하이브리드 운영이 현실적인 대안으로 남을 가능성이 커 보여요.
