RL tanpa TD Learning: Algoritma Divide and Conquer Baru

Algoritma pembelajaran penguatan baru yang disebut Transitive RL (TRL) telah diperkenalkan, berdasarkan paradigma bagi-dan-taklukkan, bukan pembelajaran perbedaan temporal (TD) tradisional. Pembelajaran TD mengalami akumulasi kesalahan dalam jangka waktu yang panjang, dan meskipun TD n-langkah mengurangi hal ini secara linear, metode tersebut memerlukan penyesuaian yang cermat terhadap n. TRL mengurangi jumlah rekursi Bellman secara logaritmik dengan memisahkan lintasan secara rekursif menjadi segmen-segmen yang sama panjang dan menggabungkan nilainya. Secara praktis, TRL membatasi pencarian subgoal pada status data dan menggunakan regresi ekspektil untuk menghindari estimasi berlebihan. Dievaluasi pada tugas humanoidmaze dan puzzle tersulit OGBench (hingga 3000 langkah), TRL mencapai kinerja terbaik di antara garis dasar yang kuat dan menyamai TD n-langkah terbaik yang disetel secara individual tanpa memerlukan penyesuaian n. Metode ini saat ini mengasumsikan dinamika deterministik dan terbatas pada pembelajaran penguatan yang dikondisikan oleh tujuan, tetapi penelitian di masa mendatang dapat diperluas ke tugas berbasis imbalan dan lingkungan stokastik.