AI Robot #4 2010년 2월 9일, AI Robot Graduation Project

Presentation on theme: "AI Robot #4 2010년 2월 9일, AI Robot Graduation Project"— Presentation transcript:

1 AI Robot #4 2010년 2월 9일, AI Robot Graduation Project
라창현, 고병권, 조광문, 류재영, 손희라

2 Content 1. Research 2. Scenario 3. Study 4. Progress

3 01 Research

4 인간-로봇 상호작용을 위한 제스처 인식 기술 현황
인간과 컴퓨터간의 상호작용(HCI)기술은 핵심적 정보기술 분야임 컴퓨터와 인터페이스를 하기 위한 제스처인식 연구의 필요성 증가 기술별 현황 카메라 영상 기반 제스처 인식 3D 기반 제스처 인식

5 인간-로봇 상호작용을 위한 제스처 인식 기술 현황
카메라 영상 기반 제스처 인식이란? 카메라로 사람영상 획득 -> 의미 있는 제스처 검출 -> 제스처의 의미 분석 -> 인식 Template matching, 은닉 마르코프 모델(HMM: hidden Markovmodel) 또는 신경망을 이용 3D기반 제스처 인식방법보다 문제의 복잡성 낮으며 더 나은 인식 성능 보장. 그러나 고정된 카메라 때문에 제스처의 수 제한적

6 인간-로봇 상호작용을 위한 제스처 인식 기술 현황
카메라 영상 기반 제스처 인식 방법 연속된 영상 프레임에서 영상 정보 구하여 제스처 추출 연속동작에서 위치값 계속 추적하며 의미있는 제스처 추출 시간변화에 따른 제스처 위치값, 각도 등을 이용하여 특징 벡터 추출 HMM, 신경망 이용해 제스처 인식 제스처 인식에 대한 성능 평가

7 인간-로봇 상호작용을 위한 제스처 인식 기술 현황
3D 기반 제스처 인식이란? 손의 궤적 정보만으로 구별하기 어려운 제스처를 인식하기 위하여 한 차원의 데 이터를 입력에 추가하여 제스처 인식 2차원 인식 방법에 비해 차이점 거의 없음 한차원 추가로 인해 복잡도 증가

8 인간-로봇 상호작용을 위한 제스처 인식 기술 현황
3D 기반 제스처 인식 방법 스테레오 블럽(blob) 추적기를 이용하여 3차원 손의 궤적 데이터를 입력으로 하 여 HMM을 이용하여 양손의 제스처를 인식하는 방법 3차원 데이터를 이용하여 웨이브 제스처와 포인팅 제스처를 상태 기반 접근 방법 에 의하여 분할하는 방법 3차원 입력을 통해 4개의 단순한 오른손 제스처를 분석하는 방법 제한을 두지 않은 상황에서 연속 동작 제스처로부터 의미 있는 제스처를 추출하여 인식한다는 것은 매우 어려운 문제이므로 오류 를 개선하기 위한 연구는 계속되어야 한다.

9 행동 프리미티브 기반 휴머노이드 로봇의 행동 계획
휴머노이드 로봇이 효과적으로 다양한 작업을 수행하기 위하여 행동 프리미티브를 정의. 이를 이용함으로써 다양한 장애물을 갖는 복잡한 작업 환경에서 로봇에 장착한 센서로 외부 환경 정보를 받아들이고 이를 이용해 실시간 대응 및 작업 가능하도록 함.

10 행동 프리미티브 기반 휴머노이드 로봇의 행동 계획
미리 계획된 행동 패턴인 행동 프리미티브를 사용. 즉 단순하게 실행 가능한 행동 프리미티브의 순서를 찾는 것으로 생각 될 수 있음. 로봇 프레임 회전 변위 로봇이 M 프리미티브를 실행 할 때 수행되는 비용함수 작업 공간에서 로봇 프레임 원점의 이동 변위

11 행동 프리미티브 기반 휴머노이드 로봇의 행동 계획
사용자의 명령에 따라 마커인식, 장애물 회피, 경로 계획에 의한 자율 보행, 조정에 의한 수동 보행 등 수행 가능한 작업 선택을 하여 행동 계획이 세워지거나 로봇 스스로 센서로부터 외부 환경 정보 받아들여 이루어짐. 계획이 완료되면 행동 프리미티브 라이브러리에서 적용 가능한 순서를 찾아 실행한다.

12 행동 프리미티브 기반 휴머노이드 로봇의 행동 계획
휴머노이드 로봇의 행동 프리미티브

13 임베디드 비전 시스템 기반 휴머노이드 로봇의 운동 계획
본 논문에서는 휴머노이드 로봇이 장애물들을 피해 목적지까지 가기 위 한 경로계획을 선행하고, 이를 바탕으로 미리 계획된 보행 패턴인 보행 프리미티브를 사용하는 운동계획을 제안 휴머노이드 로봇 보행 프리미티브 8가지 보행 프리미티브 LT (Left Turn), RT (Right, Turn) LS (Left Side Step), RS (Right Side Step) LDW (Left Diagonal Walk), RDW (Right Diagonal Walk) FW (Forward Walk), BS (Back Step)

14 임베디드 비전 시스템 기반 휴머노이드 로봇의 운동 계획
비전 시스템 기반 운동계획 색 변환, 윤곽선 추출, 노이즈 제거 등의 영상처리 과정을 바탕으로 로봇이 가야 할 경로를 검색 / 최대 길이 경로들 중에서 최적의 경로를 선택 시작 침식, 팽창 연산으로 잡음 제거 Image data 입력 경로 검색 RGB >> HSI 변환 No 최대 길이 경로 Sobel 연산자로 이미지 윤곽선 추출 Yes 경로 선택

15 임베디드 비전 시스템 기반 휴머노이드 로봇의 운동 계획
7개의 경로를 설정하고 그에 따라 7개의 영역이 생성 좀 더 정확한 경로 생성을 위해서는 경로의 수를 늘려 영역을 세분화 <휴머노이드 로봇의 보행 계획>

16 임베디드 비전 시스템 기반 휴머노이드 로봇의 운동 계획
윤곽선 이미지에서 경로 계획 확인 <윤곽선 이미지에서 경로 계획 확인>

17 임베디드 비전 시스템 기반 휴머노이드 로봇의 운동 계획
경로의 최장 거리를 3단계로 역을 나누어 경로 계획을 세움 거리 d가 너무 짧을 경우 로봇과 장애물의 충돌이 일어날 수 있음 <거리 d에 대한 멤버십 함수>

18 임베디드 비전 시스템 기반 휴머노이드 로봇의 운동 계획
경로 방향각 Θ는 경로 검색을 통해 얻은 경로의 거리 d값이 가장 긴 경로와 중심축이 이루는 각의 크기 경로 검색 과정에서 단순히 거리가 가장 긴 거리만 선택하면 로봇이 다른 경로로 이동 할 수가 있음 따라서 지능적인 경로 탐색을 하기 위해서는 모든 경로를 동일 조건으로 보는 것이 아니라 좌우 방향의 경로보다 중간 경로에 가중치를 주어 선택 <각도 Θ에 대한 멤버십 함수>

19 임베디드 비전 시스템 기반 휴머노이드 로봇의 운동 계획
퍼지 추론 규칙 카메라에서 입력된 영상을 기반으로 로봇이 현 위치에서 어떤 행동을 해야 하는지를 나타낸 보행 프리미티브 퍼지 추론 규칙 퍼지 추론 규칙으로 Max-Min 추론과 Mean of Maximum 비퍼지 화기 사용 <운동 계획기의 퍼지 추론 규칙>

20 02 Scenario

21 독거 노인을 위한 로봇 대한민국은 고령화 사회 독거 노인들을 캐어 해주거나 응급상황 발생 시 빠르게 알리는 로봇
고령화 사회로 진입하면서 노령층에 필요한 의료기기의 수요 증가 독거 노인들을 캐어 해주거나 응급상황 발생 시 빠르게 알리는 로봇 시나리오 약 과 물 등을 지정시간에 챙겨주기 응급상황발생 시 119에 전화하기 문제점 병상에 있는 노인들은 쓰러진 것인지 누워있는지 모를 수 있음 약을 가져다 줄 때 집안에서 노인이 어느 곳에 있는 지 모를 수 있음

22 애완 로봇 기존의 애완동물보다 훨씬 똑똑하고, 유지, 질병, 관리가 용이
주인이오면 인사하기(문에서 대기하고 있다가 주인의 모습을 색깔로 구별) 오늘의 주요뉴스와 주식, 내일 날씨 알려주기 (일단주인이오면 컴퓨터가 알아서 실행됨) 지시에 따라 행동(컴퓨터 켜주기,리모컨 갖다 주기) (음성인식 혹은,주인의 sign을 통해서 판단) 주변을 둘러보고 최단거리 알고리즘을 이용하여 컴퓨터의 전원(색깔구별)과 리모컨(색깔구별)을 가져옴 같이 식사해주기(‘밥 먹자’ 라는 말을 들으면 자신의 자리에 앉아 같이 있어준다, 주인이 심심하지 않게 노래를 틀어주거나,간단한 움직임을 함)

23 애완견을 돌봐주는 로봇 사람이 집에 없을경우 애완견을 돌봐준다 먹이통에 먹이가 떨어지면 먹이 채워주기(흰색바탕에 갈색먹이가 다 떨어졌을 시 먹이통의 색깔을 구분하여 떨어질 시 먹이가 있는 곳에 가서 먹이를 가져와 채워줌) 시간에따라 애완견에게 노래혹은 말을 통하여 잠자기와 밥먹기를 유도 애완견의 몸에 센서(RFID 센서 태그)감지기를 달아서 애완견의 건강을 수시로 체크 (문제가 있을경우 주인에게 연락)

24 경비 로봇 사람이 집에 없을 경우 집안에서 경비를 서는 로봇
사람이 집에 없을 경우 집안에서 경비를 서는 로봇 센서를 통해 변화(온도,물체를)를 체크하여 변화가 있을 경우 비상 신호와 주인에게 연락(불이 났을 시 불에게 물을 쏨) 도둑이 들었을 경우 (센서를 통해)(도둑이야!) 장시간 집을 비울 경우를 대비해서 현관에 꽂혀있는 신문을 수거함

25 참참참 게임하는 로봇 사람의 손이 자신 앞으로 온후 ‘참참참’ 이라는 소리를 들으면 랜덤적으로 왼쪽,혹은 오른쪽으로 몸의 방향을 돌린다. (머리가 없는관계로…) 공격시 사람의 얼굴패턴감지를 하여 그 앞에 손을 놓고 참참참이라는 소리와동시에 마찬가지로 랜덤으로 손의 방향을 왼쪽, 혹은 오른쪽으로 돌린다 (이겼을 경우 뿅망치로 상대의 머리를 때리고, 졌을 경우 엎드려 땅을 치며 통곡 하거나 우는 모션을 한다)

26 축구 로봇 로 봇 경기세트장 시나리오 거미로봇 1대, 휴머노이드 로봇 1대가 1팀 바닥 : 녹색 골대 : 파란색 / 노란색
로 봇 거미로봇 1대, 휴머노이드 로봇 1대가 1팀 경기세트장 바닥 : 녹색 골대 : 파란색 / 노란색 축구공 : 빨간색 시나리오 거미로봇이 골을 지키고, 휴머노이드 로봇이 공격수로 출전 공격수는 빨간 공을 영상으로 인식 파란색 사각형(골대)의 크기를 골대와의 거리로 측정하여 어느정도 가까이 도달하면 슛을 하고 그렇지 않으면 드리블 골키퍼는 일정 거리 밖으로 나가지 않고 공을 인식하여 막아냄 공격수의 시야에서 공을 잃어 버리면 가장 최근에 인식되었다가 사라진 방 향으로 몸을 돌려서 공을 다시 찾아냄

27 03 STUDY

28 movingD 코드 분석 HRI로 부터 명령을 받아 로봇의 경로 계획과 이동을 담당 파일 이름 주요 기능
Adc.h, Adc.cpp ADC 포트에서 데이터(적외선센서 값)를 읽어 와서 처리한다. App.h, App.cpp Application. 로봇의 planning, 이동과 행동 등은 모두 여기에서 제어된다. Area.h, Area.cpp 맵의 Area를 정의한다. AreaObject.h, AreaObject.cpp Area에 존재하는 물체들(가구 등)을 정의한다. Bridge.h, Bridge.cpp Area사이를 연결하는 Bridge를 정의한다. main.cpp 로봇을 제어하는 주 프로그램. main loop안에서 계속 App.Idle()을 호출한다. MapData.h, MapData.cpp 맵과 관련된 모든 기능을 정의한다. Mat2D.h, Mat2D.cpp 행렬 곱, 회전행렬 만들기 등의 연산을 정의한다. my_math.h, my_math.cpp 임베디드 보드에서 실행 가능하도록 수학함수들(sin, cos, acos, sqrt)을 구현 network.cpp 네트워크 관련 처리를 한다. Node.h, Node.cpp 노드에 관한 정의 Packet.h HRI와 movingd사이에 교환되는 모든 패킷들의 타입을 정의한다. PathFind.h, PathFind.cpp 로봇의 이동 경로를 찾는다. Planner.h, Planner.cpp 로봇의 planning을 담당한다. Queue.h, Queue.cpp AStar로 이동 경로를 찾을 때 쓰이는 큐를 정의한다. Robot.h, Robot.cpp 로봇 자체에 대한 정보, Localization, 로봇의 동작 등 모든 것을 담당 status.h 로봇의 상태를 나타낸다. share.h 시스템 전체 공용 함수들, 변수들, 네트워크 관련 함수들을 정의한다. TargetObject.h, TargetObject.cpp 로봇이 집을 타겟이 되는 물체들(컵 등)을 나타낸다. Vec2D.cpp 벡터 관련 함수들을 정의한다. HRI로 부터 명령을 받아 로봇의 경로 계획과 이동을 담당

29 App.h, App.cpp

30 main 함수 흐름 접속자가 있을 경우에만 CApp 클래스의 Idle()함수가 호출된다. 접속자가 없다면 배터리 절약을 위해 잠시 동안 Sleep()을 걸어 접속자가 오기를 기다린다. 접속자 App.Idle() Yes 종료 Close() 초기화 - Init() No Sleep()

31 04 Progress

32 진행현황 카메라 문제 전체 진행현황 2010. 2. 4 미니로봇 홈페이지에 문의 / 답변 대기중 팀원 / 일정 1월 2월
라창현 관련연구 / 환경설정 관련연구 / 시나리오 MovingD 분석 고병권 SensorD 분석 조광문 HW, Robobasic Study 손희라 CamD 분석 류재영 관련연구 / 시나리오MovingD 분석

33 향후 계획 미니로봇에 카메라 문제 진단 후 드라이버 재설치 또는 커널교체 시나리오 확정 후 각 파트별로 코딩 시작
관련연구는 계속 진행 대회를 위한 시나리오 틈틈이 구상