Concept과 개발목표

본 프로젝트는 머신러닝을 통한 모션 인식을 기반으로 다양한 명령을 인식하는 컨트롤러의 제작을 목표로 한다. 본 컨트롤러는 각 명령에 대응하는 신호를 적외선 통신을 이용하여 개별 주변기기에 명령을 보낸다.

컨트롤러를 휘두르는 행동에 모션인식을 적용하면 다양한 신호로 사용할 수 있다는 것에 착안하여 해리포터의 마법지팡이 형태로 모델링 하였다. 이번 프로젝트의 목표는 이 단일 컨트롤러를 이용하여 여러 주변 기기들을 컨트롤하는 것이다.

중점개발

본 컨트롤러의 움직임을 파악하기 위하여 가속도와 자이로센서를 사용한다(MPU 6050). 이 센서들을 통해 얻어진 데이터를 이용해 사용자의 모션을 분류하기 위해는 Deep Neural Network가 사용된다. 인공신경망을 이용하여 모션을 실시간으로 분류에 소형 마이크로 프로세서를 사용하기에는 연산량이 부족하여 센서로부터 받아들인 데이터를 블루투스 통신을 이용해 컴퓨터로 전송한다. 컴퓨터에서는 전송받은 데이터를 CNN(Convolutional Neural Network)과 LSTM(Long Short Term Memory)에 통과시켜 각 모션들을 분류한다.

본 프로젝트의 시연을 위하여 컨트롤러의 신호에 반응할 주변기기 또한 제작하였다. 다양한 명령을 인식함을 보여주기 위하여 다수의 led 전구를 배치하였으며, 다양한 기기에 사용될 수 있음을 보이기 위하여 선풍기와 같은 실제 기기의 모형을 제작하였다.