propagando valores para trás
Iteração de valor é um algoritmo de programação dinâmica que converge para a função valor ótima. Ele usa a equação de Bellman para atualizar V(s) repetidamente. Primeiramente, calcula Q(s,a) para cada ação usando modelo do ambiente. Além disso, atualiza V(s) como o máximo sobre Q(s,a). Por exemplo, em um labirinto, valores propagam da saída para entrada. O processo repete até convergência.
algoritmo passo a passo
O algoritmo começa com V(s) arbitrário para todos os estados. Primeiramente, para cada estado, calcula Q(s,a) = R(s,a) + γ Σ P(s’|s,a) V(s’). Além disso, atualiza V(s) = max_a Q(s,a). Repete até mudanças muito pequenas nos valores. Por exemplo, cada iteração melhora aproximação da função valor ótima. Convergência garantida para problemas com fator de desconto γ < 1.
vantagens e aplicações
Iteração de valor é simples e converge para política ótima sem iterações de política. Primeiramente, combina avaliação e melhoria da política em um único passo. Além disso, funciona bem para problemas com espaço de estados moderado. Por exemplo, resolver labirintos, jogos simples e planejamento discreto. É a base teórica para algoritmos mais avançados. Para iniciantes, mostra como valores se propagam pelo espaço de estados. Demonstra o poder da programação dinâmica em aprendizado por reforço.