1.4.2 – Metodos Baseados em Valor
1.4.2.4 – Aproximacao de Funcoes
1.4.2.4.1 – Deep Q-Networks – DQN
1.4.2.4.2 – DQN com Experience Replay
1.4.2.4.3 – DQN com Fixed Q-Targets
quando tabelas não são suficientes
Aproximação de funções generaliza valores para estados não visitados em problemas grandes. Diferente de tabelas, usa parâmetros para representar funções valor continuamente. Primeiramente, permite lidar com espaços de estados contínuos ou muito grandes. Além disso, generaliza conhecimento para situações semelhantes não vistas. Por exemplo, redes neurais aproximam Q(s,a) em jogos Atari com milhões de estados. É essencial para problemas reais com dimensionalidade alta.
métodos lineares e não lineares
Aproximadores lineares usam combinação linear de características para representar valores. Primeiramente, são simples e garantem convergência sob certas condições. Além disso, métodos não lineares como redes neurais capturam relações complexas. Por exemplo, redes profundas aprendem representações hierárquicas automaticamente. Escolha do aproximador impacta convergência e estabilidade.
desafios de convergência
Aproximação de funções introduz risco de não convergência em aprendizado por reforço. Primeiramente, o “deadly triad” (aproximação, bootstrapping, off-policy) pode causar divergência. Além disso, técnicas como target networks e replay buffer estabilizam treinamento. Por exemplo, DQN usa ambas para alcançar estabilidade. Requer cuidado na escolha de hiperparâmetros.
aplicações práticas
Aproximação de funções viabiliza aplicações em problemas reais de alta dimensão. Primeiramente, robótica usa aproximadores para aprendizado de controle contínuo. Além disso, sistemas de recomendação generalizam para novos usuários. Por exemplo, veículos autônomos aproximam funções valor em espaços contínuos. Para iniciantes, mostra como escalar aprendizado para problemas complexos. É a ponte entre teoria e aplicações práticas.
