[Paper Study] Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms

Abstract

• 최근 강화학습은 순차적인 의사결정 문제를 해결하는데에 상당한 성공을 거두었다.
• 이러한 성공들에도 불구하고 multi agent reinforcement learning(MARL)에 대한 이론적인 기초는 상대적으로 부족하다.
• 따라서 이 논문에서는 몇 가지 MARL 알고리즘을 전체적으로 설명하고 이론적으로 분석한다.
• 뿐만아니라 중요하지만 다소 도전적인 난관들도 제시한다.
• 논문의 궁극적인 목표는 현재의 MARL 분야에 대한 의견,평가을 제시하는 것을 넘어서 유익한 연구방향을 설정할 수 있도록 돕는 것이다.

Introduction

• 최근 강화학습은 복잡한 함수를 근사할 수 있는 딥러닝의 발전과 더불어 RL은 놀랍게 진보했다.

  • 예를 들면 playing real-time strategy games, playing car games, etc.

• 대부분의 성공에는 하나의 agent가 존재하는 것이 아니라 하나 이상의 다수의 agent가 참여하며 이는 MARL로 모델링 된다.

• MARL은 구체적으로 뭘까?

  • 다수의 자립하여 움직이는 agent들이 존재하고
  • 이러한 agent가 공통적인 환경(environment)에 놓여있을 때의
  • 순차적인 의사결정문제를 다룬다.
  • 각각의 agent는 환경,다른 agent들과의 상호작용을 통해서 그들이 얻는 각각의 return을 최대화 하려고 노력한다.

• 크게 MARL은 다음의 세 가지로 구분된다.

  • fully cooperative \(\to\) agent들은 공동의 return을 최적화 하기 위해서 협력한다.
    • ex) 로봇이 물건을 지정된 장소에 운반하는 경우, 여러대의 자율주행차가 목적지에 도착.
  • fully competitive \(\to\) agent들은 합이 0인 return을 서로 최적화 하기 위해서 경쟁한다.
    • ex) 바둑,체스
  • a mix of two \(\to\) agent가 보편적인 return을 최적화 하기위해 협력 or 경쟁할 수 있다.(협력도 경쟁도 모두 가능하다.)
    • ex) 축구,농구

• MARL이 무조건 좋아보이는데? \(\to\) 어려운 점이 많다.(복습)

  • 각 에이전트들은 각각의 return을 최대화 하려함.
    • 균형점에서 비효율적일 수 있으며(내시균형에서 발생하는 문제)
    • 통신,협력이 효율적으로 이루어질 수 있는가에 대한 추가적인 기준이 필요함.
    • 적대적 agent에 대한 robustness는 충분한가?
  • 모든 agent는 저마다의 policy를 계속해서 향상(수정).
    • B라는 agent가 이전과 다른 action을 하게 되면 environment가 변하게 되고
    • A라는 agent가 직면하는 environment는 non-stationary해지는 것을 의미.
  • 모든 agent에 대한 action들의 조합,결합은 agent한명이 증가할수록 지수적으로 증가.
  • 각 agent는 다른 agent가 무엇을 관측했는지는 정확히,모든것을 알 수 없음.
    • 다른 agent의 관측에 대한 제한된 정보만을 가지고 각 agent는 결정을함.
    • 최적의 결정이 아닌 suboptimal한 결정을 가져옴.