1.4.2 – Metodos Baseados em Valor
1.4.2.3 – Temporal Difference – TD
1.4.2.3.1 – SARSA – On-policy
1.4.2.3.2 – Q-Learning – Off-policy
1.4.2.3.3 – Double Q-Learning
o melhor de dois mundos
Temporal Difference (TD) combina ideias de Monte Carlo e programação dinâmica. Diferente de Monte Carlo, não espera o fim do episódio para atualizar. Primeiramente, atualiza estimativas baseadas em outras estimativas (bootstrapping). Além disso, aprende a partir de experiência sem precisar de modelo do ambiente. Por exemplo, TD(0) atualiza após cada passo usando recompensa e valor do próximo estado. É um dos métodos mais fundamentais do aprendizado por reforço.
aprendendo passo a passo
O algoritmo TD atualiza V(s) após cada transição usando erro de predição. Primeiramente, observa (s, a, r, s’) e calcula erro δ = r + γ V(s’) – V(s). Além disso, atualiza V(s) = V(s) + αδ. Por exemplo, em um labirinto, ajusta valores gradualmente a cada movimento. O erro δ representa surpresa na predição da recompensa.
td(λ) e elegibilidade de traços
TD(λ) generaliza TD(0) e Monte Carlo através do parâmetro λ. Primeiramente, λ=0 corresponde a TD(0), λ=1 corresponde a Monte Carlo. Além disso, usa traços de elegibilidade para distribuir atualizações entre estados visitados. Por exemplo, estados anteriores recebem crédito proporcional à sua distância. Permite ajustar o trade-off entre viés e variância.
vantagens e convergência
TD é mais eficiente que Monte Carlo em termos de variância e atualização incremental. Primeiramente, converge em ambientes estocásticos com menos amostras que Monte Carlo. Além disso, não requer modelo do ambiente como programação dinâmica. Por exemplo, usado em Q-learning e algoritmos modernos. É a base para métodos de aprendizado por reforço online. Para iniciantes, mostra aprendizado contínuo sem esperar pelo fim. É um conceito central em algoritmos de reforço modernos.
