Redes Recorrentes – RNN

memória para processar sequências

Redes Neurais Recorrentes (RNNs) são projetadas para processar dados sequenciais como texto e séries temporais. Diferente de redes tradicionais, elas possuem memória interna que captura informações anteriores. Primeiramente, cada elemento da sequência é processado em ordem, atualizando um estado oculto. Além disso, esse estado carrega informações sobre elementos já vistos anteriormente. Por exemplo, ao ler uma frase, a RNN lembra palavras iniciais para entender as finais. Essa capacidade de memória torna as RNNs ideais para sequências de comprimento variável. São a base para processamento de linguagem e séries temporais.

o problema dos gradientes que desaparecem

RNNs simples enfrentam dificuldade em aprender dependências de longo prazo nas sequências. Primeiramente, gradientes se tornam exponencialmente menores à medida que retrocedem no tempo. Além disso, isso impede que a rede aprenda relações entre elementos distantes. Por exemplo, em uma frase longa, o sujeito pode estar distante do verbo. Esse problema limitava a aplicabilidade de RNNs em sequências muito extensas. Foi a principal motivação para desenvolvimento de arquiteturas mais avançadas. LSTMs surgiram especificamente para resolver essa limitação fundamental.

aplicações práticas com rnns

RNNs são amplamente utilizadas em tarefas que envolvem sequências temporais. Primeiramente, previsão de séries temporais financeiras usa RNNs para antecipar tendências. Além disso, reconhecimento de fala converte áudio em texto usando RNNs. Modelagem de linguagem prevê a próxima palavra em uma sequência. Por exemplo, teclados preditivos em smartphones usam RNNs para sugestões. Na tradução automática, RNNs processam frases de origem e geram traduções. Apesar de Transformers dominarem hoje, RNNs ainda são usadas em aplicações específicas. Para iniciantes, RNNs demonstram como memória permite entender sequências.

arquiteturas avançadas bidirecionais

RNNs bidirecionais (BiRNNs) processam sequências nas duas direções simultaneamente. Primeiramente, uma RNN lê a sequência da esquerda para a direita normalmente. Além disso, outra RNN lê a sequência da direita para a esquerda. Os estados das duas direções são combinados para cada posição. Por exemplo, para entender uma palavra, o contexto futuro também é considerado. Isso é especialmente útil em tarefas de classificação de texto. O contexto completo da frase melhora significativamente a precisão das previsões. BiRNNs são comuns em sistemas de processamento de linguagem natural.