Authors:

Autores

Person role Person
6561
2955,250,2315
6562
2955,250,2315
6563
2955,250,2315

Informations:

Pesc publication

Title
Implementando Uma Máquina Virtual Diferenciável Mínima em Redes Neurais Recorrentes
Research area
Artificial Intelligence
Publication type
Master's thesis
Identification Number
Date
3/28/2018
Resumo

Nos últimos anos, novas técnicas em redes neurais produziram excepcionais resultados em diversos domínios. Produzir redes neurais em que se é possível observar a lógica por trás de seu processo de decisão ainda é muito difícil, especialmente quando se deseja que também tenha desempenho competitivo com os modelos já existentes. Um passo nessa direção é o desenvolvimento recente dos programadores neurais. Nesta dissertação, propõe-se um programador neural comparativamente simples, com uma máquina virtual diferenciável bastante extensível, que pode ser facilmente integrada em arquiteturas de redes neurais de múltiplas camadas existentes, fornecendo módulos com um raciocínio mais transparente aos modelos atuais. Permite-se também adicionar a capacidade de se aprender a produzir e executar algoritmos com as mesmas ferramentas para treino e execução das redes neurais. Os testes realizados com a rede proposta sugerem que ela tem o potencial de induzir algoritmos, mesmo sem qualquer tipo de otimização especial, com resultados competitivos com as atuais arquiteturas de redes neurais recorrentes.

Abstract

Deep Learning techniques have achieved impressive results in many domains over the last few years. However, it’s still difficult to produce understandable models that clearly show the embedded logic behind the decision process while still having competitive performance. One step in this direction is the recent development of neural programmers. In this work, it’s proposed a very simple neural programmer with an extensible differentiable virtual machine that can be easily integrated in existing deep learning architectures, providing modules with more transparent reasoning to current models. At the same time it enables neural networks to learn to write and execute algorithm within the same training environment. Tests conducted with the proposed network suggests that it has the potential to induce algorithms even without any kind of special optimization and being competitive with current recurrent neural networks architectures.

JSN_TPLFW_GOTO_TOP