Cybenko theorem

Cybenko theorem

The Cybenko theorem is a theorem proved by George Cybenko in 1989 that says that a single hidden layer, feed forward neural network is capable of approximating any continuous, multivariate function to any desired degree of accuracy and that failure to map a function arises from poor choices for mathbf{w}_1, mathbf{w}_2, dots , mathbf{w}_N, mathbf{alpha}, and mathbf{ heta} or an insufficient number of hidden neurons.

Formal statement

Let varphi be any continuous sigmoid-type function, e.g., varphi(xi) = 1/(1+e^{-xi}). Then, given any continuous real-valued function f on [0,1] ^n (or any other compact subset of R^n) and epsilon > 0, there exist vectors mathbf{w_1}, mathbf{w_2}, dots, mathbf{w_N}, mathbf{alpha} and mathbf{ heta} and a parameterized function G(mathbf{cdot},mathbf{w},mathbf{alpha},mathbf{ heta}): [0,1] ^n ightarrow R such that
|G(mathbf{x},mathbf{w},mathbf{alpha},mathbf{ heta}) - f(x)| < |epsilon| for all mathbf{x} in [0,1] ^n
where
G(mathbf{x},mathbf{w},mathbf{alpha},mathbf{ heta}) = sum_{i=1}^Nalpha_ivarphi(mathbf{w}_i^Tmathbf{x} + heta_i)
and mathbf{w}_i in R^n, alpha_i, heta_i in R, mathbf{w} = (mathbf{w}_1, mathbf{w}_2, dots mathbf{w}_N), mathbf{alpha} = (alpha_1, alpha_2, dots, alpha_N), and mathbf{ heta} = ( heta_1, heta_2, dots , heta_N).

References

* Cybenko, G.V. (1989). Approximation by Superpositions of a Sigmoidal function, "Mathematics of Control, Signals and Systems", vol. 2 no. 4 pp. 303-314. [http://actcomm.dartmouth.edu/gvc/papers/approx_by_superposition.pdf electronic version]
* Hassoun, M. (1995) "Fundamentals of Artificial Neural Networks" MIT Press, p.48


Wikimedia Foundation. 2010.

Игры ⚽ Нужно решить контрольную?

Look at other dictionaries:

  • Universal approximation theorem — In the mathematical theory of neural networks, the universal approximation theorem states[1] that the standard multilayer feed forward network with a single hidden layer that contains finite number of hidden neurons, and with arbitrary activation …   Wikipedia

  • List of theorems — This is a list of theorems, by Wikipedia page. See also *list of fundamental theorems *list of lemmas *list of conjectures *list of inequalities *list of mathematical proofs *list of misnamed theorems *Existence theorem *Classification of finite… …   Wikipedia

  • List of mathematics articles (C) — NOTOC C C closed subgroup C minimal theory C normal subgroup C number C semiring C space C symmetry C* algebra C0 semigroup CA group Cabal (set theory) Cabibbo Kobayashi Maskawa matrix Cabinet projection Cable knot Cabri Geometry Cabtaxi number… …   Wikipedia

  • Artificial Neural Network — Réseau de neurones Pour les articles homonymes, voir Réseau. Vue simplifiée d un réseau artificiel de neurones Un réseau de neurones artificiel est un modèle de c …   Wikipédia en Français

  • Neuronal network — Réseau de neurones Pour les articles homonymes, voir Réseau. Neurosciences …   Wikipédia en Français

  • Reseau de neurones — Réseau de neurones Pour les articles homonymes, voir Réseau. Neurosciences …   Wikipédia en Français

  • Réseau de neurone — Réseau de neurones Pour les articles homonymes, voir Réseau. Neurosciences …   Wikipédia en Français

  • Réseau de neurones — Pour les articles homonymes, voir Réseau. Neurosciences …   Wikipédia en Français

  • Réseau de neurones artificiels —  Pour l’article homonyme, voir Réseau de neurones (biologie).  Pour les articles homonymes, voir Réseau. Un réseau de neurones artificiels est un modèle de calcul dont la conception est très schématiquement inspirée du fonctionnement… …   Wikipédia en Français

  • Réseau neuronal — Réseau de neurones Pour les articles homonymes, voir Réseau. Neurosciences …   Wikipédia en Français

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”