Teorema da aproximação universal

Na teoria matemática de redes neurais artificiais, o teorema da aproximação universal declara que uma rede neural pré-alimentada com uma única camada oculta que contém um número finito de neurônios (i.é., um conjunto multicamada de perceptron) pode aproximar funções contínuas em subconjuntos compactos de Rⁿ, com pressupostos mínimos de função de ativação. O teorema afirma que redes neurais simples podem representar uma grande variedade de funções interessantes quando há os parâmetros adequados; no entanto, ele não desenvolve a apreensibilidade algorítmica desses parâmetros.

Uma das primeiras versões do teorema foi provado por George Cybenko, em 1989, para funções de ativação sigmóide.

Pode também se aplicar em funções de torre em redes neurais para reconhecimento visual.

Apresentação formal

O teorema em termos matemáticos:

Seja $\varphi (\cdot )$ uma função não constante, com limites, e numa função monotônica contínua positiva. Seja $I_{m}$ uma unidade com dimensões m $[0,1]^{m}$. O espaço de funções contínuas de $I_{m}$ escreve-se $C(I_{m})$. Assim, para cada $\varepsilon >0$ e cada função $f\in C(I_{m})$, há uma integral $N$, com constantes reais $v_{i},b_{i}\in \mathbb {R}$ e vetores reais $w_{i}\in \mathbb {R} ^{m}$, onde $i=1,\cdots ,N$, tal que se possa definir:

$F(x)=\sum _{i=1}^{N}v_{i}\varphi \left(w_{i}^{T}x+b_{i}\right)$

como uma realização aproximada da função $f$ onde $f$ independe de $\varphi$; ou seja,

$|F(x)-f(x)|<\varepsilon$

para todo $x\in I_{m}$. Em suma, funçõesdo tipo $F(x)$ são densas em $C(I_{m})$.