서울대학교 공과대학(학장 차국헌)은 리플에이아이와 서울대 컴퓨터공학부의 김건희(FIP 15기 운영교수) 교수팀이, 컴퓨터비전 분야 세계 최대 학회인 ICCV 2019 (International Conference on Computer Vision 2019)에서 진행된 두개의 인공지능 챌린지 대회에서 각각 우승과 준우승을 차지했다고 1일 밝혔다.

리플에이아이는 서울대 김건희 교수 연구실에서 창업한 인공지능 스타트업으로, 카카오벤처스로부터 초기 투자를 받았으며 온라인 상에 사용되는 모든 데이터 형식 (자연어, 사진, 동영상, 이모티콘 등)을 아우르는 대화 및 광고 시스템을 개발하는 회사다. 이번 리플에이아이-서울대 팀은 김건희 지도교수를 필두로, 유영재, 정지완, 김종석, 윤희승, 최윤철, 이승환 등의 대학원생과 연구원들이 함께 참여했다.

이들이 참가한 첫번째 대회인 LSMDC (Large Scale Movie Description and Understanding Challenge)는 미국 UC 버클리 대학의 연구자들이 NVIDIA의 후원으로 매년 개최하는 동영상 인식 인공지능대회로 주요 목표는 영화의 연속된 동영상 클립들을 보고 내용을 설명하는 자연어 문장을 생성하는 것이다. 올해는 처음으로 알고리즘이 영화에 등장하는 인물들까지 구분, 인식하여 인물들의 ID를 포함한 정확한 문장을 생성하는 능력도 평가했다. 기계의 인공지능이 사람처럼 자신이 본 영상을 이해하고, 영상의 주인공들을 인식해 연속된 상황을 여러 문장으로 자연스럽게 설명하기 위해 필수적인 인공지능 기능 중 하나이다.

이들은 올해 세 번째로 이 대회에 참가해 "Multi-Sentence Description", "Fill-in the Characters”, "Multi-Sentence Description with Characters” 의 3가지 부문에서 UC 버클리 대학 및 옥스퍼드 대학 등을 누르고 모두 1등상을 수상했고 부상으로 3,000 USD 상당의 NVIDIA GPU를 받았다.

또한 IBM Research에서 후원하는 자연어-대화 기반 인공지능 패션 추천 대회인  Fashion IQ 챌린지에도 참가, 우승한 Samsung Research America 팀과 1%의 근소한 차이로 2위를 기록해 1,000 USD 의 부상을 받았다.

Fashion IQ 챌린지의 목표는 알고리즘이 사용자와 자연어로 대화하며 가장 알맞은 옷을 추천해 주는 것으로 검색된 사진에서 수정 사항을 사용자가 설명하면 이를 반영한 새로운 사진을 추천해주는 알고리즘의 성능을 평가하게 된다. 즉 흰 드레스를 사용자에게 제시했을 때, 사용자가 "허리에 벨트를 추가해” 라고 입력하면 허리에 벨트가 추가된 흰 드레스의 사진을 검색하는 것이다.

한편 리플에이아이-서울대 팀은 ICCV 2019가 열리는 Coex에서 학회 기간 동안 (10월 29일 ~ 11월 1일) 현대자동차와 함께 시연을 진행 중이다. 연구원들의 설명과 시연을 통해 동영상을 이해하고 자연어로 대화를 나누는 리플에이아이 시스템의 우수한 기술을 더 가까이에서 체험해 볼 수 있는 기회다.

기사링크: http://www.dailytw.kr/news/articleView.html?idxno=19750