실행 방법

예제 실행 방법

Tutorial 영상

https://youtu.be/nUfEAnqPR8o

• 내용

  • [00:00]~[00:12] 인트로
  • [00:12]~[01:05] 환경 설명
  • [01:05]~[01:18] 목차
  • [01:18]~[02:47] 유니티 프로젝트 생성
  • [02:47]~[03:55] ml-agents패키지 설치
  • [03:55]~[04:54] Asset추가
  • [04:54]~[05:35] 예제 실행
  • [05:35]~[08:19] Behavior Parameter설명
  • [08:19]~[09:25] 오류 해결
  • [09:25]~[10:40] Decision Requester설명
  • [10:40]~[11:22] 예제 실행 및 정리

• 정정 내용

목적

• 예제를 통해 ML-Agent의 구성 요소 알아보기
• 예제를 통해 Python API로 학습 관찰하기
• 목적 : Agent(큐브)의 위에 올라가 있는 공을 떨어뜨리지 않게 하는 것
• 강화학습 구성 요소
  • State : 큐브의 회전 정도와 공의 위치
  • Action : x축,z축 회전
  • Reward : 공이 떨어지면 -1, 공이 큐브 위에 있으면 +0.1
  • Environment : 중력이 존재하는 공간
  • Agent : 머리 위에 공을 올려놓은 큐브
    • x,z축을 회전시키는 2가지의 연속적 축을 가짐
    • 공이 x,z축의 범위를 벗어나면 reward 감소
  • Ball : 회전 항력(Angular Drag) 존재 , 질량을 1로 잡음

ML-Agent의 구성 요소

저장공간 : Hierarchy

• 환경의 요소들을 저장

• 동일한 에이전트가 12개 있기 때문에 3D Ball이란 요소가 12개 있음

  

• 에이전트를 선택하면 Inspector창에서 ML-Agent와 관련된 요소를 볼 수 있음

• 행동 요소 Behavior Parameters, 학습 요소 Agent, 행동 결정을 하는 Decision Requester가 있음 (Model Overrider는 유효성 검사이므로 필수는 아님)

행동 변수 : Behavior Parameters