DQN과 A2C network를 활용한 CartPole 강화학습 훈련과정 및 code

01 Cartpole environment

CartPole 환경은 OpenAI의 Gym 라이브러리에서 제공하는 고전적인 강화학습 문제 중 하나이다. 이 환경은 수직으로 세운 막대기를 균형 잡고 있는 상태에서 캐트(carts)가 좌우로 이동할 수 있도록 설계되어 있다. 목표는 막대기가 넘어지지 않도록 지속적으로 균형을 유지하는 것이다. 이 문제는 강화학습에서 폴리시 기반(policy-based) 또는 가치 기반(value-based) 알고리즘을 테스트하고 평가하기 위한 좋은 벤치마크로 널리 사용된다. CartPole 환경은 네 가지의 주요 상태 변수로 구성된다. 첫 번째 변수는 막대기의 각도이다. 막대기가 수직 위치에서 얼마나 기울어져 있는지를 나타내며, 기울기가 클수록 균형을 잃을 위험이 커진다. 두 번째 변수는 막대기의 각속도이다. 이것은 막대기가 회전하는 속도를 나타내며, 이 값이 클수록 막대기의 균형을 맞추기 어려워진다. 세 번째 변수는 캐트의 위치이며, 캐트가 수평 방향으로 얼마나 이동했는지를 나타낸다. 마지막으로, 네 번째 변수는 캐트의 속도이다. 이는 캐트가 얼마나 빠르게 이동하고 있는지를 나타내며, 적절한 속도 조절이 균형 유지에 중요한 역할을 한다. 환경은 보통 주어…(생략)