AI는 예술을 이해할까…KT "리얼댄스 개발은 '도전'의 연속"

KT는 이를 춤(Dance)의 영역까지 확대했다. 2021년 12월 공개한 'KT 리얼댄스'가 그 결과물이다. 리얼댄스는 제시된 춤 영상을 사용자가 얼마나 정확히 따라 추는지 분석·평가해주는 서비스다. 올해 MWC 22, 월드IT쇼 등에 전시되며 많은 관람객의 관심을 끌었다. 하지만 아직 정식 서비스는 이뤄지지 않고 있는데, KT가 리얼댄스 개발 과정에서 마주한 몇 가지 문제들 때문이다. 앞서 리얼댄스보다 크고 복잡한 AI 서비스들을 성공적으로 출시했던 KT를 고민에 빠뜨린 문제들은 대체 무엇이었을까? 9월28일 서울 우면동 KT 융합기술원에서 김우연 선임연구원과 만나 이야기를 나눠봤다.
 

김 연구원은 2016년 KT 입사 이래 360도 VR(가상현실), 멀티VR 등 실감미디어 영상 처리 분야를 주로 담당한 전문가다. '나를(NARLE)'이라는 다자간 영상통화 솔루션에 3D 아바타를 적용하는 등의 연구도 진행한 경험이 있다. 이런 경험이 리얼댄스 개발로 이어진 계기는 2020년 과학기술정보통신부의 'K팝 댄스를 활용한 기술연구' 국책과제에 참여였다. 당시 AI 학습용 K팝 댄스 데이터 구축과 응용 서비스 실증을 진행했으며, 해당 기술을 고도화해 리얼댄스의 밑바탕이 된 '댄스 모션 분석 AI'로 확장했다. 이 기술은 현재 리얼댄스 외에도 '기가지니 1M 홈댄스'라는 IPTV 서비스에도 적용돼 있다.

사실 사용자의 동작을 인식하는 기술은 이전에도 널리 개발돼 적용돼 왔다. 마이크로소프트 엑스박스360의 '키넥트'나 자연스러운 애니메이션이나 CG 영화 제작에 사용되는 모션캡처 등이 대표적이다. 처음 리얼댄스를 접했을 때 '그리 신선하진 않은데'란 생각이 든 이유였다.

이에 대해 김 연구원은 "리얼댄스는 스마트폰 카메라로 촬영된 가장 기본적인 2D 영상, 이미지에서 추출된 관절 및 뼈대 정보만 가지고 춤을 분석하는 기술"이라며 "정확성을 높이기 위해 다양한 보조 센서를 사용하는 기술들과는 과제가 다르다"고 말했다.

리얼댄스의 방식은 장단점이 명확하다. 스마트폰을 제외하면 모션인식 서비스 구현에 고가의 보조장비 구축이 필요 없어 서비스 장벽이 낮다. 일반 카메라로도 전문 안무가의 춤 데이터를 추출할 수도 있다. 데이터 처리에 필요한 요구 사양도 낮은데, 김 연구원에 따르면 3~4년 전 출시된 스마트폰으로도 무리 없이 가동할 수 있는 수준이다.

반면 이로 인해 상대적으로 낮은 데이터 품질의 한계가 따른다. 사람이 좋은 교재로 공부하면 성적 향상에 유리하듯, AI도 고품질 데이터를 많이 학습할수록 좋은 성능을 낼 수 있다. 이 점에서 전문 장비 없이 스마트폰 카메라만으로 데이터를 추출해 분석하는 리얼댄스 기술에는 저품질 데이터로 최대한 고품질의 결과물을 만들어야 하는 숙제가 우선적으로 따른다.

 

여기서 파생되는 과제는 이 기술을 적용하려는 도메인(범주)가 춤이라는 점이다. 춤은 사람이 구현할 수 있는 가장 복잡하고 역동적인 동작들을 수반한다. 2D 데이터만으로 이를 정확하게 인식하고 구분하는 과정은 연구자에게 그 자체로 기존 기술의 한계를 넘어서야 하는 과제를 안긴다.

나아가 보다 심층적인 고민은 '춤을 AI로 어떻게 평가해야 합리적인가'였다. 김 연구원은 "일반적인 운동은 '정자세'라는 게 있다. 반면 춤은 정자세의 정의가 어렵다. 같은 춤도 안무가마다 느낌이 다르며, 무엇이 잘 춘 춤이고 무엇을 기준으로 상급자와 중급자, 초심자를 나눠야 하는지에 대한 고민이 계속 이어지는 중"이라고 말했다.

한마디로 일부 예술의 영역인 춤을 딱딱한 AI로 분석하고 수치화하는 일에도 한계가 존재한다는 얘기다. 'AI가 예술을 이해하고 창작 예술을 할 수 있는가?'는 관련 업계에서도 해묵은 논쟁거리다. 앞서 사람의 창작품들을 학습해 그림을 그리거나 소설을 쓰는 AI는 다수 공개된 바 있다. 그러나 사람을 베낀 결과 수준급에 이른 그림체, 문체 등과 달리 예술성에 대해선 고평가를 받지 못했다. 정형화된 기준이 없고 이성만 존재하는 AI에 예술성의 가미와 판단은 결코 쉽지 않은 문제다.

KT도 이런 문제와 고민 해결을 위한 연구를 지속하는 가운데, 최근 리얼댄스의 대략적인 사업화 방향을 정했다. 우선 초기 서비스는 B2B(기업고객대상) 확산을 목표로 '스마트경로당'이나 교육청 산하 '어린이체험센터', 기타 복지시설에서부터 서비스를 확장하는 것이다. 당장 고도화된 분석, 코칭 시스템을 지향하기보단 낮은 접근장벽을 무기로 춤을 즐겁게 소비할 수 있는 사용자들을 타깃하겠다는 전략이다.

그 이후는 어떨까? 김 연구원은 "춤이 눈길을 사로잡긴 좋아도 기술적으론 도전의 영역이 분명했다"고 인정했다. 하지만 "춤이 그 자체로 다른 딱딱한 AI 연구보다 재미난 구석들이 있다"며 "지금은 사용자의 춤을 분석하고 평가하는 기술이지만, 추후에는 이 기술이 메타버스를 비롯한 가상공간에서 내가 춘 춤을 나의 아바타에 적용하거나 여러 엔터테인먼트 콘텐츠에도 접목할 수 있는 방향으로도 발전할 수 있을 거란 기대가 있다"고 말했다.