AM Não Supervisionado

memória associativa inspirada no cérebro

Redes de Hopfield são modelos de memória associativa que armazenam e recuperam padrões completos. Desenvolvidas por John Hopfield em 1982, elas revolucionaram o estudo de redes neurais recorrentes. Diferente de redes feedforward, elas possuem conexões simétricas e retroalimentação entre neurônios. Primeiramente, cada neurônio conecta-se a todos os outros, formando uma rede totalmente recorrente. Além disso, os pesos são simétricos (w_ij = w_ji) e não possuem autoconectividade. Por exemplo, armazenar imagens binárias e recuperá-las a partir de versões corrompidas.

dinâmica de convergência e energia

As redes de Hopfield evoluem para minimizar uma função de energia associada ao estado atual. Primeiramente, cada atualização reduz a energia até atingir um mínimo local estável. Além disso, os padrões armazenados correspondem a esses mínimos de energia no sistema. Por exemplo, uma imagem parcial atrai o sistema para o padrão completo mais próximo. O processo é determinístico e converge para estados atratores. A rede atua como um sistema de memória recuperando padrões completos a partir de pistas.

aplicações e limitações

Redes de Hopfield são usadas em otimização, reconhecimento de padrões e memória associativa. Primeiramente, podem resolver problemas de otimização combinatória como o caixeiro viajante. Além disso, recuperam imagens corrompidas como memória de conteúdo endereçável. Por exemplo, restaurar letras manuscritas com ruído para suas formas originais. No entanto, a capacidade de armazenamento é limitada (cerca de 0.14N padrões para N neurônios). Redes modernas como Hopfield contínuas e modelos de atenção expandiram essas capacidades. Para iniciantes, mostram como redes recorrentes podem implementar memória e recuperação. São a base conceitual para modelos modernos de atenção.

aprendendo a limpar dados corrompidos

Denoising Autoencoders (DAE) são treinados para reconstruir versões limpas a partir de entradas corrompidas. Diferente de autoencoders tradicionais, eles aprendem a remover ruído em vez de apenas comprimir. Primeiramente, adicionamos ruído artificial (como dropout, ruído gaussiano) às entradas originais. Além disso, o modelo deve reconstruir a versão limpa original, não a corrompida. Por exemplo, restaurar imagens com ruído de câmera ou textos digitalizados com falhas. Esse processo força o modelo a aprender características robustas e invariantes. É uma forma poderosa de regularização para representações mais gerais.

mecanismo de treinamento com ruído

O treinamento dos DAEs envolve um processo de corrupção e recuperação sistemática. Primeiramente, aplicamos ruído estocástico como zero out de pixels ou adição de perturbações. Além disso, o modelo aprende a reconstrução mapeando entradas ruidosas para saídas limpas. Por exemplo, em imagens, podemos esconder 50% dos pixels aleatoriamente. O autoencoder deve preencher essas regiões faltantes coerentemente. Esse processo ensina o modelo sobre a estrutura subjacente dos dados. O modelo não pode simplesmente copiar a entrada, precisa entender o conteúdo.

vantagens e aplicações práticas

Denoising Autoencoders oferecem vantagens significativas para aprendizado de representações robustas. Primeiramente, eles aprendem características mais gerais que generalizam melhor para novos dados. Além disso, são excelentes para remoção de ruído em imagens, áudio e sinais. Por exemplo, restaurar fotografias antigas com artefatos e grãos de ruído. Na medicina, melhoram qualidade de exames como tomografias e ressonâncias. Podem ser usados como pré-treinamento para modelos supervisionados. Para iniciantes, mostram como redes neurais podem limpar dados imperfeitos. É uma ferramenta essencial para pré-processamento e melhoria de qualidade.