Les rseaux de neurone RBF

Page 1

1. Introduction
Partant dun souhait initial de mieux comprendre le fonctionnement du cerveau, les
rseaux de neurones artificiels sont une classe de modles ayant eu un impact
important dans le domaine de lanalyse et le traitement des donnes. Linspiration
pour les rseaux de neurones provient cependant de la volont de crer des systmes
artificiels sophistiqus, voir intelligents, capables deffectuer des oprations
semblables celle que le cerveau humain effectue de manire routinire.
Les rseaux de neurones intressent actuellement diffrents domaines tels que la
mdecine, llectronique, linformatique, lautomatique, la robotique, la classification,
le contr!le, le traitement des signaux, le traitement des images, etc [A. Coulon, 2006].
2. Les bases biologiques
Les cellules nerveuses, appeles neurones sont des lments de base du systme
nerveux central qui se compose denviron "# puissance"$ neurones %mile milliards&,
le neurone est une cellule compose de trois parties
1'Un corps cellulaire ou en anglais ( Cell body ) qui contient le noyau et se charge
deffectuer les transformations biochimiques essentielles la synthse des lments
assurant la vie du neurone. 2'Les dendrites qui sont des ramifications du corps
cellulaire. *lles permettent au neurone de capter les signaux lui provenant de
lextrieur.
'L!a"one gnralement plus long que les dendrites, il se ramifie son extrmit o+ il
communique avec les autres neurones. ,l sert de moyen de transport pour les signaux
mis par le neurone.
Les connexions entre neurones sont ralises au niveau des synapses, lieu de
proximit daxone metteur et dendrites rceptrices
Les rseaux de neurone RBF

Page 2


#igure $.1. % Un neurone biologique et ses principau" co&posants.
. 'u neurone biologique au neurone (or&el
Le neurone formel est une modlisation mathmatique qui reprend les principes de
fonctionnement du neurone biologique.
-n neurone formel est constitu dun noyau, dune liaison synaptique de sortie et
des liaisons synaptiques dentre. . chaque liaison dentres est attache un poids
appel ( poids synaptique ).
Les poids synaptiques ce sont des coefficients numriques indiquant limportance
de la connexion.
/ur le schma suivant, le neurone a trois connexions en entre le reliant trois autres
neurones, il re0oit de linformation provenant de chacun de ces trois neurones.
1outes les connexions nont pas dune importance gale par rapport au neurone.
2ertaines sont plus importantes que dautres. *n effet, tout se passe comme si le
neurone ne re0oit quune entre * et que celle'ci prend la valeur une fois lentre
connue, le neurone effectue une opration qui dpend de *. cela revient dire quil
applique une fonction f la valeur *, cette fonction f est appele fonction
dactivation %fonction de traitement des entres fournissant la sortie du neurone&.





)ynapses
Les rseaux de neurone RBF

Page 3











#igure $.2 % Un neurone (or&el

*ntr+es ,"1, "2, "- .poids ,/1, /2, /-
*0/11"1 . /21"2 . /1"

)ortie ) 0 ( ,*-

3e fa0on gnrale, on dfinit un neurone formel par les cinq paramtres suivants
"'La nature des entres %boolenne ou relle&
$'La fonction dentre totale, dfinissant le prtraitement effectu sur les entres
4' La fonction dactivation du neurone dfinissant son tat interne en fonction de la
somme pondre de ses entres.
5'La fonction de sortie calculant la sortie du neurone en fonction de son tat
dactivation
6' La nature des sorties du neurone.


21
22
2
S
*ntr+es 3oids
#onction
d!acti4ation
)orties
f
W1
W2
W3

Les rseaux de neurone RBF

Page 4

$. '+(inition d!un r+seau de neurone
-n rseau de neurone est un assemblage de neurone formel associ en couches
fonctionnant en parallle.
3ans un rseau, chaque sous'groupe fait un traitement indpendant des autres et
transmet le rsultat de son analyse au sous'groupe suivant. Linformation donne au
rseau va donc se propager couche par couche, de la couche dentre la couche de
sortie, en passant soit par aucune, une ou plusieurs couches intermdiaires %couches
caches&. *xcepter par les couches dentres et les couches de sorties, chaque neurone
de la dans une couche est connect tous les neurones de la couche suivante et de la
couche prcdente.
2ontrairement chacune des fonctions dactivation f, la fonction g qui transforme les
valeurs dentre en valeurs de sortie lchelle du rseau ne peut pas 7tre explicite
facilement. *lle est en effet beaucoup plus complique puisquelle est constitue de la
superposition de toutes les fonctions f de chaque neurone.
-n rseau de neurones peut donc 7tre reprsent par les poids 8 des diffrents
neurones.
2es poids peuvent varier au cours du temps, en fonction des entres prsentes *. ce
qui reprsente un vrai problme cest comment modifier la valeurs de ces poids % la
phase dapprentissage&.








Les rseaux de neurone RBF

Page 5

5. Les r+seau" de neurones 6 base radiale
Les rseaux de neurones base radiale sont une classe particulire des rseaux de
neurones multicouches. [#.7ang, 8.3ainda4oine, 2005]
5.1. 3r+sentation des r+seau" 9:#
Lide gnrale des rseaux 9:; drive de la thorie dapproximation des fonctions,
ces rseaux sont une architecture ;eedfor8ard puissante. 2e type de rseaux a t
introduit pour la premire fois par <ardy, et la thorie correspondante a t
dveloppe par Po8ell, ensuite, ces rseaux ont pris le terme de rseaux de neurones
gr=ce a :roomhead et Lo8e. /ans oublier les >uvres de ?@@3Aet 3.9B*C %"DED&
dune part, et de P@@FF,@ et F,9@/, %"DD#& dautre part. La raison de son
application vient du fait que le rseau utilise des fonctions gaussiennes standard qui
sont symtrie radiale. /on apprentissage est bas sur lalgorithme B'means et
lalgorithme des moindres carres. [1]
Les rseaux de neurones 9:;s, sont principalement utiliss pour rsoudre des
problmes dapproximation de fonctions dans des espaces de grandes dimensions.
,ls sont lus adapts, en raison dapprentissage local. 2e type dapprentissage peut
rendre le processus dentrainement bien plus rapide que dans le cas dun ?LP, qui
apprend de fa0on globale.
5.2. Arc;itecture g+n+rale d!un r+seau 9:#%
Pour des raisons de simplicit, on a dcid de faire une petite dualit entre le rseau
9:; et le P?2, en prcisant les ressemblances et les diffrences entre les deux types
des rseaux. 2e choix est Gustifi par la popularit des P?2s et leur vaste utilisation
dans les applications industrielles. -n rseau de neurone de type 9:; est un P?2
spciale, son architecture est identique a celle dun P?2 a une seule couche cache
donc on peut dire quil prend toutes les caractristiques dun P?2 simple sauf quil
diffrent en quelques points nous citons quelques uns

Les rseaux de neurone RBF

Page 6


Le no&bre des couc;es cac;+es %
-n rseau 9:; ne peut contenir quune seule couche cache, son architecture est
fixe pour tous les problmes tudier.
La (onction d!acti4ation %
Le rseau 9:; utilise touGours une fonction dite a base radiale centre dun point et
munie dun rayon.
Les poids synaptiques %
Les poids entre la couche dentre et la couche cache dans les modles neuronaux
de type 9:; sont touGours dune valeur dunit, cest''dire que linformation inscrite
sur la couche dentre sera retransmise sans distorsion vers les neurones de la couche
cache.
*n ce qui concerne les ressemblances entre un rseau 9:; et un P?2, on peut
mentionner quelques points
La (onction de sortie %
Fnralement une simple fonction linaire qui renvoie une sommation pondre des
valeurs calcules par les neurones de la couche cache. :ien sur, ce nest pas touGours
le cas, parfois lutilisation dautres fonctions pourrait 7tre plus adquate dans un
problme donn.
Le sens des conne"ions %
Les connexions entre les couches suivent le m7me sens, on peut dire quelles ne sont
pas rcurrentes, et chaque neurone est entirement connect vers les neurones de la
couche suivante.
L!apprentissage %
Pour calculer les poids de la couche de sortie, on utilise un apprentissage supervis
pour les deux types de rseaux.
Les rseaux de neurone RBF

Page 7


#igure $.<. % Arc;itecture d!un 9+seau de =eurone 9:#
5.. La (onction 6 base radiale
Les fonctions base radiale %ou 9:;&, sont apparus la fin des annes E# comme de
nouvelles variantes des rseaux de neurones. 3ivers types de fonctions peuvent 7tre
utilises comme noyau ou fonction de base, la fonction gaussienne reste cependant la
plus utilise. [A.)eg;ouane, >.#leury, 200],[2].
La fonction gaussienne ne rpond qu une petite rgion de lespace dentre, rgion
sur laquelle elle est centre. /a forme gnrale est donne par
?,y-0e"p ,@Ay@cABC2DB-
.vec y est une entre scalaire, et DE0.
Les paramtres de cette fonction sont le centre 2 et le rayon not par D. La raison
essentielle du choix de la gaussienne comme fonction de base des 9:;s est que cette
fonction est factorisable. *n effet, on peut facilement dmontrer que parmi toutes les
fonctions de base, la gaussienne est la seule fonction qui peut 7tre dcompose en
produit de fonctions gaussiennes unidimensionnelles.
?,y-0Fi e"p ,@Ay@cABC2DB-
.vec yH IyiJ et 2H I2iJ.2ette particularit devient intressante pour ladquation
biologique des rseaux de neurones artificiels.
Les rseaux de neurone RBF

Page 8


#igure $.G % Huelques (onctions radiales
5.$. La p;ase d!apprentissage %
Plusieurs mthodes dapprentissage ont t dveloppes pour ces types de rseaux,
on dit souvent que lapprentissage du rseau 9:; est hybride non supervis pour
ltape de construction du rseau, et supervis pour la dtermination des poids de la
couche de sortie. Lors de ltape de construction du rseau, il y a quatre paramtres
principaux rgler
Le no&bre de neurones 9:;.
La position des centres des gaussiennes de chacun des neurones.
La largeur de ces gaussiennes.
Le poids des connexions entre les neurones 9:; et le%s& neurone%s& de sortie.

5.$.1. L!+tape de construction du 9:# %, non super4is+-
1oute modification dun de ces paramtres entraKne directement un changement du
comportement du rseau.
Le no&bre de neurones 9:; %C& et la position des gaussiennes sont deux paramtres
intimement lis.
=o&bre et position avec =II
C le nombre de neurone.
, le nombre dexemple soumis au rseau.
Les rseaux de neurone RBF

Page 9

3ans ce cas'ci, le nombre de neurones 9:; devient un vritable paramtre. ,l nexiste
pas de mthode pour le dterminer. ,l sagit donc de trouver le nombre
de centroLdes adquat li au problme donn. -ne fois le nombre de centroLdes
choisi, il faut dterminer leur position. Pour ce faire, il existe aussi plusieurs
techniques parmi ces techniques on utilise la mthode M'means.
-ne fois tous les centres CJ choisis, il faut dterminer la largeur %N& des gaussiennes.
-ne rgle empirique consiste prendre
K 0 avec ? H nombre des centroLdes et d 0 &a" AAci @ cJAA, 1L i, J L 8
/i on choisit un K gal pour toutes les gaussiennes.
?ais rien nimpose de prendre la m7me valeur de K pour chaque centroLde. 3ans ce
cas, une autre rgle nous dit KJ 0 AA"i @ cJAA
5.$.2. L!+tape de d+ter&ination des poids du 9:#%, super4is+-
-ne fois le nombre et la position des centroLdes et la largeur des gaussiennes fixs,
les poids de chacune des connexions %9:;'output& peuvent 7tre calcul par
lquation matricielle suivante [1], [2]



.vec (,"- 0 *23,"B C ,21 KB--, la gaussienne.
La matrice colonne A, les outputs attendus
?, le nombre de centroLdes.
C, le nombre dexemples dans la base dapprentissage .
Lquation prcdente est de la forme AM07 avec A est une matrice 81=.
Pour une premire opration, on peut simplifier cette quation par
M
d

=
N
i
N
1
8
1

N M M N N
M
M
y
y
y
w
w
w
c x f c x f
c x f c x f
c x f c x f
... ...
||) (|| ... ||) (||
... ... ...
||) (|| ... ||) (||
||) (|| ... ||) (||
2
1
2
1
1
2 1 2
1 1 1
Les rseaux de neurone RBF

Page 10


@n est oblig de calculer linverse de la matrice . par la mthode classique.
?ais la plupart des cas rencontrs, cette matrice est inversable on recherche donc a
minimiser AAAM@7AA
@n na en gnral aucune certitude sur le conditionnement de la matrice ., et il vaut
donc mieux employer une mthode robuste destimation. La mthode la plus utilis
est le calcul de la matrice pseudo inverse de a la mthode nomme /O3 est
typiquement une bonne mthode pour ce genre de calcul.
@n cherche la matrice la pseudo inverse de la matrice .I?PCJ.
/i . est une matrice ? fois C, alors il existe deux matrices orthogonales - et O
-H Qu", u$,u4,RR.unS, vHQv",v$,v4,RRRvnS
1el que
.vec diag matrice diagonale et MHmin %?, C&.
Le pseudo inverse de . est alors donne par

L!algorit;&e de r+tro@propagation du gradient
Lalgorithme de rtro'propagation a t dvelopp pour entrainer des perceptrons
multicouches. Lide est dentrainer un rseau en propageant les erreurs de sortis en
sens inverse du rseau a travers les couches. 2es erreurs servent alors valuer les
drivs de la fonction derreur en fonction des poids qui peuvent ainsi 7tre aGusts.
Le but de lalgorithme est de minimiser la fonction de cout suivante

.vec les yn sont les sorties dsires pour chaque exemple dapprentissage xi, et les Tn
Les rseaux de neurone RBF

Page 11

sont les sorties relles obtenues par le rseau, et /# est lensemble des sorties.
La modification des poids de la connexion reliant le G
me
neurone de la couche cache
et le i eme neurone de la couche de sortie est donne par

C reprsente un petit nombre positif nomm le pas dapprentissage .@n calcule la
quantit suivante [?.9obaye, 2006], [1]

@n calcule le terme suivant a part

1el que f%ai& reprsente la drive de la fonction dactivation au point ai,
*t .@n dfinit la quantit suivante

*t on crit la variation du poids qui dfinit la rgle dapprentissage

/ignalons enfin que le processus sera termin lorsque le taux derreur est acceptable
%infrieur a un seuil dfinit pralablement& aprs un nombre fini ditrations.[2]


Les rseaux de neurone RBF

Page 12

5.5. La p;ase de test %
*nfin, une fois lapprentissage effectu, la partie test peut commencer. *lle se rsume
aussi en une quation matricielle


.vec (,"- 0 *23,"B C ,21 K B--, la gaussienne.
La matrice colonne U, les poids des connexions %9:;'output&, ?, le nombre des
centroLdes. ti, le i
me
lment de la V base de test .
6. A4antages et incon4+nients des r+seau" 9:#
.lors que lWon pouvait redouter dWavoir invent un modle aux belles proprits
thoriques, mais inutilisable en raison de dures dWapprentissage prohibitives, cWest
tout le contraire qui se produit la construction dWun rseau 9:; est rapide et facile,
et cWest l le principal avantage de la technique [1],[2].
?ais cet avantage se paye par des performances qui ne peuvent 7tre aussi bonnes
que celles de techniques plus sophistiques %comme le Perceptron ?ulticouches&. *n
particulier, les rseaux 9:; sont peu performants
/ur les donnes dans des espaces de grande dimension %beaucoup de
variables dWentre&. 2ette faiblesse est propre toutes les techniques locales.
/ur des donnes trs bruites. La reconstruction locale de la fonction emp7che
le rseau de XmoyennerX le bruit sur tout lWespace %compareY avec
la 9gression Linaire, dont lWobGectif est Gustement de moyenner le bruit sur
les donnes&.





[ ] t Output_tes ... ||) (|| ... ||) (||
1
1
=

M
M i i
w
w
c t f c t f
Les rseaux de neurone RBF

Page 13

N. Conclusion
Cous venons de voir dans ce chapitre des diffrents modles de rseaux de neurones,
cWest''dire une vue globale sur les rseaux de neurones.
Cous nous sommes intresss ensuite la description des rseaux de neurones base
radiale 9:;.
2ontrairement aux mthodes classiques qui ont montr leurs limites, les rseaux de
neurones ont montr leurs tendances sadapter des problmes complexes gr=ce
leur grande capacit de calcul et dapprentissage. ,ls sont lobGet dutilisation dans les
diffrents domaines tels que La reconnaissance des formes et le traitement des
images.
Le grand avantage caractris dans les rseaux de neurones base radiale est que ces
derniers nont quune seule couche cache, ce qui les rend les plus simples utiliser
et les plus rapides.

Les rseaux de neurone RBF

Page 14

:ibliographie

'I#"Jrseaux de neurones gif'$""5# et gif'Z54$ par ?arc PariYeau $##5 universit
laval
'I#$J:orgi, .., .pprentissage supervise par gnration de rglesle systme
/-29.F*, 1hse de lWuniversit de Paris Z ,"DDD.
'I#4J Aohann :[C[3,2 .PP9@2<* .C.LA1,\-* P@-9 L@P1,?,/.1,@C 3*
9[/*.-]
3* C*-9@C*/ .91,;,2,*L/, 1hseprsente pour lWobtention du 3octorat de
lW-niversit de <aute'.lsace%3iscipline gnie informatique&
'I#5J :ishop 2.?., Ceural Cet8orMs for Pattern 9ecognition, 2larendon Press
@];@93 "DD6.
'I#6J http^^eric.univ'lyon$.fr^_oteytaud^2@CC*]^connex.html
'I#ZJ http^^888.scico.u'
bordeaux$.fr^_corsini^Pedagogie^.CC^main^nodeD.html
'I#`J http^^888.cogs.susx.ac.uM^users^Gianfeng^9:;.ppt
'I#EJ http^^888.8eb'datamining.net^publications^dossiers^neural^histor.asp
'I#DJ http^^home.alex.tuxfamily.org^neuro^neurones.html