Chess Bot

• lerobot 3d 설계도 출력
• Gripper 부분 수정
• 잡는 부위가 동일하도록 체스 말 수정
• 체스 말 출력, 색 안 겹치도록 체스판 출력
• 체스 말 인식 비전처리(YOLO)

문제점들…

위에서 봤을 때 체스말이 너무 비슷하게 생겨서 인식이 어렵다.

인접해있는 체스말을 잡는 경우 집게가 옆에 말을 친다. 로봇팔의 길이 제약으로 체스판 끝까지 가지 못한다. 로봇팔의 길이를 늘리면 모터에 과도한 토크가 가해져서 힘을 제대로 주지 못한다.

해결책

Chess 말고 Gobblet Game 으로 바꾸자!!(말은 크기로 인식 가능 & 게임 판 크기 비교적 작음)

Gobblet Game Bot

• 고블렛 말 출력
• 고블렛 전용 집게 설계
• 게임 판 출력
• 컵 홀더 (각 꼭짓점에 총 4개 존재)
• 카메라 고정대

Realsense 카메라의 depth 맵을 이용하여, 판 평면에서 기준치 보다 작은 depth를 갖는 점들 중에 local minimum 값을 추출

local minimum 값 근방에서 오차범위 이내의 비슷한 depth값을 갖는 영역을 표시한 뒤, 연결되어있는 영역의 clustering하여 중앙 지점을 빨간 점으로 표시, 리스트에 저장

이미지 상에서 빨간 점이 찍혀있는 픽셀의 rgb 값 / depth 값을 구분해서 어떤 말인지 인식