Aprenentage per diferències temporals

El aprenentage per diferències temporals (DT) es referix a una classe de métodos d'aprenentage per reforç sense models que deprenen per bootstrapping a partir de l'estimació actual de la funció de valor. Estos métodos prenen mostres de l'entorn, com els métodos de Mont Carlo, i realisen actualisacions basades en les estimacions actuals, com els métodos de programació dinàmica.

Mentres que els métodos Monte Carlo només ajusten les seues estimacions una volta que es coneix el resultat final, els métodos TD ajusten les prediccions per a que coincidixquen en prediccions posteriors més precises sobre el futur ans que es conega el resultat final. Es tracta d'una forma de bootstrapping, com s'ilustra en el següent eixemple:

Supongam que desija predir el temps que farà el dissabte, i dispon d'algun model que prediu el temps del dissabte, donat el temps de cada dia de la semana. En el cas normal, esperaria fins al dissabte i llavors ajustaria tots els seus models. No obstant, quan és, per eixemple, divendres, deuria tindre una idea prou aproximada del temps que farà el dissabte i, per lo tant, podria canviar, per eixemple, el model del dissabte ans que aplegue el dissabte.

Els métodos de diferència temporal estan relacionats en el model de diferència temporal del aprenentage animal.

Formulació matemàtica

El método TD(0) tabular és un dels métodos TD més senzills. És un cas especial dels métodos d'aproximació estocàstica més generals. Estima la funció de valor d'estat d'un procés de decisió de Markov (MDP) d'estat finito baix una política $\pi$. Siga $V^{\pi }$ denota la funció de valor d'estat de el MDP en estats $(S_t{)}_{t\in \mathbb{N}}$, recompensa $(R_t{)}_{t\in \mathbb{N}}$ i tipo de desconte $\gamma$ baix la política $\pi$:

$V^{\pi }(s)=E_{a\sim \pi }\left\{\sum _{t=0}^{\mathrm{\infty }}{\gamma }^t{R}_{t+1}\right|S_0=s\}.$

Per comoditat, eliminem l'acció de la notació. $V^{\pi }$ satisfà l'equació d'Hamilton-Jacobi-Bellman.

$V^{\pi }(s)=E_{\pi }\{R_1+\gamma V^{\pi }(S_1)|S_0=s\},$

Llavors, $R_1+\gamma V^{\pi }(S_1)$ és una estimació insesgada de $V^{\pi }(s)$. Esta observació motiva el següent algoritme per a estimar $V^{\pi }$.

L'algoritme comença inicializando una taula $V(s)$ arbitrariamente en un valor per a cada estat de el MDP. Es tria una taxa d'aprenentage positiva $\alpha$.

A continuació, evaluem repetidament la política $\pi$, obtenint una recompensa $r$ i actualisar la funció de valor per a l'estat actual utilisant la regla:

$V(S_t)\leftarrow (1-\alpha )V(S_t)+\underset{\text{learning rate}}{\underbrace{\alpha }}[\stackrel{\text{The TD target}}{\overbrace{R_{t+1}+\gamma V(S_{t+1})}}]$

A on: $S_t$ i $S_{t+1}$ són l'estat actual i el següent, respectivament. El valor $R_{t+1}+\gamma V(S_{t+1})$ es coneix com a objectiu TD, i $R_{t+1}+\gamma V(S_{t+1})-V(S_t)$ es coneix com a error TD.

TD-Lambda

TD-Lambda és un algoritme d'aprenentage inventat per Richard S. Sutton basat en treballs anteriors sobre l'aprenentage per diferència temporal d'Arthur Samuel. Este algoritme va ser famós per ser aplicat per Gerald Tesauro per a crear TD-Gammon, un programa que deprenia a jugar al backgammon al nivell de jugadors humans experts.

El paràmetro ($\lambda$) es referix al paràmetro de decaiguda de la traça, en $0⩽\lambda ⩽1$. Els ajusts més alts conduïxen a rastres més duradors; és dir, una major proporció del crèdit d'una recompensa pot otorgar-se a estats i accions més distants quan $\lambda$ és més alt, en $\lambda =1$ produint aprenentage paralel als algoritmes Monte Carlo RL.

Vore també

• Q-learning
• Model Rescorla-Wagner
• Estat-Acció-Recompensa-Estat-Acció (SARSA)