Concept과 개발 목표

엠티 후발대 프로젝트는 촬영하는 장소의 분위기와 어울리는 음악을 실시간으로 생성해내는 소프트웨어 개발 프로젝트이다. 멜로디와 화음의 조화, 음악의 생성, 변주, 반복을 만들어내며, 완성도를 갖춘 실시간 음악 생성과, 이를 위한 실시간 영상처리(비전처리), 지역 정보와의 연동 기능을 리소스가 제한된 모바일 장치에서 구현하고자 했다.

중점 개발

엠티 후발대 소프트웨어는 iOS 운영체제 위에서 돌아가는 application 형태로 제작되었다. 실시간 음악생성을 위해서 엠티 후발대 프로젝트 주요 개발 사항은 음악의 실시간 생성이다.

영상인식의 경우 최적화 및 빠른 구현을 위해 openCV의 function과 type을 적극 활용하였으며, 영상인식 결과물로서 출력되는 것은 중앙 픽셀 값과, 영상 프레임 버퍼 1장당 이미지의 단순도(혹은 복잡도, 엔트로피), k-means Clustering 을 통해 6개의 색상으로 버퍼의 단순화, 단순화된 버퍼에서 계산해낸 주요 색상 종류 6가지 값들과 해당 색상 값이 버퍼를 차지하는 비율이 있다.

이러한 결과물과 실시간 시각, 위치 정보를 통해 영상을 찍는 장소의 분위기 및 영상에서 느낄 수 있는 감정을 추정하여, 음악의 초기 설정값인 음조, 음역대, 템포, 박자, 셈여림 등을 결정한다. 이후 실시간으로 들어오는 프레임의 정보와 화성학의 기본 규칙에 의거하여 화성부와 선율부를 생성한다.

이를 기반으로 지도에서 해당 장소에 음악을 매칭시켜, 장소별 음악을 생성하고, 이를 사용자들로 하여금 공유하도록 하였다.