“4B짜리 모델이 실시간 영상까지 이해한다고?” 최근 공개된 오픈소스 비디오 멀티모달 모델 ‘VideoChat3’을 보면 이 질문에 고개를 끄덕이게 돼요. 중국 난징대 연구진이 주도해 완전 오픈소스로 공개한 이 모델은, 미묘한 동작 인식부터 한 시간짜리 장편 영상 이해, 라이브 스트리밍 실시간 분석까지 전부 커버한다고 밝혔거든요. 파라미터 수는 훨씬 큰 기존 오픈소스 모델들을 능가하는 성능을 냈다는 점이 특히 눈에 띄어요.
4B 모델이 어떻게 대형 모델을 이겼을까
VideoChat3의 핵심은 두 가지 기술이에요. 하나는 ‘I3D-ViT(Inflated 3D Vision Transformer)’라는 구조인데, 영상의 공간 정보와 시간 정보를 동시에 효율적으로 표현할 수 있게 설계됐어요. 다른 하나는 ‘적응형 프레임 해상도(Adaptive Frame Resolution)’ 기법으로, 스트리밍 영상을 처리할 때 프레임마다 필요한 만큼만 연산량을 배분해서 훈련과 추론 비용을 크게 줄였다고 해요. 쉽게 말해 “중요한 장면엔 자원을 더 쓰고, 밋밋한 구간은 가볍게 넘긴다”는 전략인 셈이에요.
연구진은 여기에 더해 확장 가능한 영상 데이터 합성 파이프라인을 개발해서 세 가지 학습 데이터셋을 새로 구축했어요. 일반적인 영상을 다루는 ‘VideoChat3-Academic2M’, 장편 영상을 위한 ‘VideoChat3-LV116K’, 실시간 스트리밍용 ‘VideoChat3-OL617K’인데요, 이렇게 상황별로 특화된 데이터를 나눠 학습시킨 게 적은 파라미터로도 높은 성능을 낸 비결로 꼽혀요.
벤치마크 점수로 확인해보니
실제 수치를 보면 왜 화제가 됐는지 알 수 있어요. VideoChat3-4B는 미묘한 동작 인식을 평가하는 ‘MotionBench’에서 61.7점, 시간적 흐름 이해를 평가하는 ‘TempCompass’에서 75.6점을 기록하면서 완전 오픈소스 모델 중 최고 성적을 냈어요. 연구진은 논문에서 “동일하거나 더 많은 파라미터를 가진 기존 오픈소스 모델들을 4B라는 적은 규모로도 뛰어넘었다”고 밝혔는데요, 일반 영상, 장편 영상, 실시간 스트리밍이라는 세 가지 벤치마크 영역 전부에서 이런 결과가 나왔다는 점이 인상적이에요.
비슷한 시기에 나온 다른 오픈소스 멀티모달 모델들과 비교해봐도 흐름이 읽혀요. 5월에 공개된 ‘MiniCPM-V 4.6’은 13억(1.3B) 파라미터라는 훨씬 작은 크기로도 이미지·다중이미지·영상 이해를 모두 지원하면서 아파치 2.0 라이선스로 풀렸고요, 알리바바의 ‘Qwen3-Omni’는 오디오와 오디오-영상 결합 벤치마크에서 최상위 오픈소스 성능을 냈다는 평가를 받았어요. 구글도 4월에 영상 입력과 출력을 동시에 처리하는 멀티모달 모델 ‘젬마 4’를 내놨고요. 큰 회사부터 대학 연구팀까지, 영상을 이해하는 경량 모델 경쟁이 동시다발적으로 벌어지고 있는 셈이에요.
완전 오픈소스라는 게 왜 중요할까
여기서 궁금하실 텐데요, 그냥 성능만 좋으면 되는 거 아닌가 싶으실 텐데 연구진이 특히 강조한 부분은 ‘완전한 개방성’이었어요. 모델 가중치는 물론이고 훈련 코드, 훈련 전략, 전체 학습 데이터셋, 데이터셋 구축 파이프라인까지 전부 공개했거든요. 연구진은 이를 두고 “실제 환경의 영상 이해 연구를 위한 고성능·고효율·재현 가능한 오픈소스 기반을 제공하는 것”이 목표라고 설명했어요. 상용 모델은 내부 구조를 알 수 없다 보니, 연구자들이 이런 완전 개방형 모델을 더 반갑게 여기는 경우가 많아요.
실제로 온라인 커뮤니티에서도 “겨우 4B인데 라이브 스트림 분석까지 되는 게 신기하다”는 반응이 나왔어요. 특히 개발 리소스가 한정된 개인 연구자나 스타트업 입장에서는, 무거운 상용 API를 호출하는 대신 직접 파인튜닝해서 쓸 수 있는 경량 오픈소스 모델의 등장이 반가운 소식일 수밖에 없거든요.
어디에 쓰일 수 있을까
경량화된 구조 덕분에 온디바이스나 엣지 환경에서의 활용 가능성도 커졌어요. CCTV 실시간 이상 감지, 라이브 방송 자동 요약, 스포츠 중계 하이라이트 자동 추출처럼 클라우드로 데이터를 계속 보내기 어려운 상황에서 특히 쓸모가 있을 것으로 보여요. 다만 아직은 연구용 공개 단계라 실제 서비스에 붙기까지는 안정성 검증과 최적화 작업이 더 필요할 걸로 예상돼요. 그래도 4B라는 작은 크기로 이런 성능을 냈다는 사실 자체가, 앞으로 나올 경량 영상 이해 모델들의 기준점을 한 단계 끌어올렸다는 평가가 나와요.
