한밭대·KAIST 공동연구, 세계 최고 AI 학회 ‘NeurIPS 2026’서 발표

국립한밭대학교(총장 오용준) 컴퓨터공학과 이상금 교수 연구팀이 KAIST 하동수 교수 연구팀과 공동으로 수행한 거대 시각-언어 모델(LVLM) 연구가 오는 12월 열리는 세계 최고 권위의 인공지능(AI) 학회인 ‘NeurIPS 2026’에서 발표된다.

한밭대는 이상금 교수 연구팀과 KAIST 하동수 교수 연구팀의 공동연구 논문이 국제 학술지 ‘TMLR(Transactions on Machine Learning Research)’ 2026년 8월호에 게재됐으며, 우수 논문에 부여되는 ‘J2C(Journal-to-Conference) 인증’을 받아 오는 12월 10일 호주 시드니에서 열리는 NeurIPS 2026에서 포스터 발표될 예정이라고 밝혔다.

J2C 인증은 TMLR에 게재된 논문 가운데 일부를 선정해 NeurIPS·ICML·ICLR 등 세계적인 인공지능 학회에서 발표할 기회를 부여하는 제도다. 학술지 게재에 이어 주요 국제 학회에서 연구 성과를 소개할 기회를 얻었다는 점에서 의미가 있다.

이번 연구 논문은 ‘Few Contrastive Attention Heads Enable Visual Grounding in Large Vision-Language Models(소수의 대조 어텐션 헤드로 구현하는 거대 시각-언어 모델의 시각적 위치 찾기)’로, KAIST 네하 셍가르(Neha Sengar) 학생이 제1저자를, 이상금 교수가 교신저자를 맡았다.

연구팀은 이미지 속에서 특정 문장이 가리키는 대상의 위치를 찾아내는 ‘시각적 위치 찾기(Visual Grounding)’ 기술에 주목했다. 기존에는 거대 시각-언어 모델을 활용해 이 작업을 수행하려면 위치 정보가 표시된 정답 데이터로 추가 학습(파인튜닝)을 하거나 모델 구조를 변경해야 했다.

이에 연구팀은 찾고자 하는 대상을 설명하는 문장과 그 대상에 대비되는 문장을 함께 입력한 뒤, 두 문장에 대한 모델 내부의 반응 차이를 분석하는 방법을 제안했다. 이를 통해 이미지 속 대상의 위치 정보를 담고 있는 어텐션 헤드(Attention Head·모델 내부에서 정보 처리와 관계 파악을 담당하는 단위)를 자동으로 찾아내도록 했다.

이 방법은 위치 정보가 표시된 학습 데이터를 추가로 사용하거나 모델 구조를 변경하지 않고도 작동한다. 기존 모델의 내부 정보를 활용해 시각적 위치 찾기 성능을 높일 수 있다는 점이 특징이다.

실험 결과, 연구팀이 선별한 상위 10개 어텐션 헤드의 신호만 활용해도 대표적인 시각적 위치 찾기 평가 데이터셋인 RefCOCO에서 기존 학습 없는(Training-free) 방법보다 최대 27.95% 높은 성능을 보였다. RefCOCO+에서는 최대 21.93%, RefCOCOg에서는 최대 8.40%의 성능 향상을 기록했다.

이번 연구는 별도의 학습에 드는 비용을 줄이면서 기존 거대 AI 모델에 내재한 시각적 이해 능력을 효과적으로 활용할 수 있는 가능성을 제시했다. 이에 따라 로봇과 자율주행, 스마트 제조 현장의 영상 이해는 물론 시각장애인 보조 기술 등 다양한 분야에 활용될 것으로 기대된다.

이상금 교수는 “거대 AI 모델 안에 이미 들어 있는 능력을 추가 학습 없이 찾아 활용하는 방법을 제시했다는 데 의미가 있다”며 “앞으로 에너지·제조 등 산업 현장에서 비용 부담 없이 활용할 수 있는 AI 기술로 발전시키겠다”고 말했다