1.1.2.5 – Redes Neurais – Texto Sequencias
1.1.2.5.1 – Redes Recorrentes – RNN
1.1.2.5.4 – Transformers – GPT, BERT
quando sequências contam histórias
Redes neurais para texto processam sequências onde a ordem das palavras importa fundamentalmente. Diferente de imagens, texto tem comprimento variável e dependências de longo alcance. Primeiramente, palavras são convertidas em vetores numéricos (embeddings) para processamento. Além disso, a sequência mantém informações sobre posição e contexto temporal. Por exemplo, “João comeu a maçã” tem significado diferente de “A maçã comeu João”. Capturar essa ordem é essencial para compreender linguagem natural. Essas redes são a base do processamento moderno de texto.
redes neurais recorrentes (rnn/lstm)
RNNs processam sequências mantendo um estado oculto que acumula informações ao longo do tempo. Primeiramente, cada palavra é processada em ordem, atualizando o estado interno. Além disso, LSTMs (Long Short-Term Memory) resolvem o problema de gradientes que desaparecem. LSTMs possuem mecanismos de porta que controlam o fluxo de informações. Por exemplo, podem lembrar informações de início de frase até o final. Essas arquiteturas dominaram processamento de texto antes dos Transformers. São naturalmente adequadas para sequências de comprimento variável.
modelos baseados em atenção e transformers
Transformers revolucionaram o processamento de texto com mecanismo de atenção e paralelização. Diferente de RNNs, eles processam todas as palavras simultaneamente, não sequencialmente. Primeiramente, a atenção permite que cada palavra se relacione com todas as outras diretamente. Além disso, isso captura dependências de longo alcance de forma mais eficaz. BERT e GPT são exemplos de modelos baseados em Transformers. Eles estabeleceram novos recordes em praticamente todas as tarefas de NLP. Hoje, Transformers são o padrão para processamento de linguagem.
aplicações em classificação de texto
Redes neurais para texto realizam diversas tarefas de classificação importantes. Primeiramente, análise de sentimentos classifica avaliações como positivas, negativas ou neutras. Além disso, classificação de tópicos organiza documentos em categorias temáticas. Detecção de spam identifica mensagens indesejadas automaticamente. Classificação de intenção em assistentes virtuais entende o que usuário quer. Por exemplo, “qual a previsão do tempo?” é intenção de consulta meteorológica. Para iniciantes, essas aplicações mostram como IA entende linguagem escrita. É a base de chatbots e assistentes inteligentes.
