TD 학습 없는 강화학습: 새로운 분할정복 알고리즘

새로운 강화학습 알고리즘인 Transitive RL(TRL)이 도입되었습니다. 이 알고리즘은 기존의 시간차(temporal difference, TD) 학습 대신 분할 정복 패러다임에 기반을 둡니다. TD 학습은 긴 수평선에 걸쳐 오류가 누적되는 문제를 겪으며, n-단계 TD는 이를 선형적으로 줄이지만 n의 세심한 조정이 필요합니다. TRL은 궤적을 동일한 길이의 세그먼트로 재귀적으로 분할하고 그 값들을 결합하여 벨만 재귀(Bellman recursion) 횟수를 로그 단위로 줄입니다. 실제로 TRL은 하위 목표 탐색을 데이터셋 상태로 제한하고, 과대추정을 피하기 위해 기대값 회귀(expectile regression)를 사용합니다. OGBench의 가장 어려운 휴머노이드 미로 및 퍼즐 작업(최대 3000단계)에서 평가된 TRL은 강력한 기준선 중 최고 성능을 달성했으며, n 조정 없이 최적의 개별 조정 n-단계 TD와 일치하는 성능을 보였습니다. 이 방법은 현재 결정론적 동역학을 가정하고 목표 조건부 강화학습으로 제한되지만, 향후 연구에서는 보상 기반 작업 및 확률적 환경으로 확장될 수 있습니다.