PSIHOLOGIE COGNITIV

PARADIGMA REELELOR NEURONALE

ISTORIA PARADIGMEI

Spre deosebire de paradigma clasic simbolic, paradigma reelelor neuronale a aprut mult mai trziu i pornete de la principii fundamental diferite. Cteva tentative de introducere a reelelor neuronale au fost nregistrate n anii 60 ai secolului 20 (de ex. Modelul perceptronului, 1958, Rosenblatt; Pitts i McCullogh, 1943). Criticile aduse de Minsky (1961) i Minsky i Selfridge (1961) au fcut ca majoritatea fondurilor de cercetare ce fuseser alocate iniial n aceast direcie s fie redirecionate n domenii mai promitoare.

ISTORIA PARADIGMEI (cont.)

n 1981, o echip de cercettori de la Universitatea San Diego California, condus de McClelland i Rumelhart au elaborat un model de recunoatere a paternurilor - IAM (Interactive Activation Model), bazat pe o reea neuronal trinivelar.

n 1986 acetia au publicat o carte de foarte mare importan Parallel Distributed Processing devenit pentru muli cercettori Biblia

MIEZUL PARADIGMEI

Activitatea cognitiv poate fi cunoscut i explicat prin intermediul unor modele de inspiraie neuronal. Informaia este reprezentat de sistemul cognitiv uman prin valori i patternuri de activare ale unor uniti simple, numite neuromimi. Toate aceste uniti formeaz reelele neuromimetice. Regulile de baz din reele sunt de modificare sau propagare a valorilor de activare. Aceste reguli nu sunt formal-logice, ca n cazul paradigmei clasice, ci constau n ajustarea reciproc a patternurilor de activare dintre unitile reelei.

ELEMENTELE REELEI NEURONALE

unitile starea de activare regula de activare funcia output / ieire patternul de conexiuni dintre uniti regulile de nvare mediul sau ambiana reelei

UNITILE

Se mai numesc neuromimi (n sensul n care ele mimeaz doar funcionarea neuronilor, nu i structura lor), uniti cognitive, noduri. Ele preiau partea funcional (adic salvele activatoare sau inhibitoare de impulsuri i ideea de sinapse) a neuronilor. Valoarea de activare este cuprins ntre [-1, +1]. Sunt dou tipuri de uniti: unitile vizibile (input i output) i unitile ascunse (hidden)

UNITI (cont.)
Sunt semantic opace, adic nu simbolizeaz stri de lucruri cunoscute (spre deosebire de modelele clasic-simbolice, care sunt semantic transparente) iar nodurile nu au o semnificaie n sine. Exist totui i cteva excepii reelele localizaioniste (unde un nod al reelei este, n fapt, un concept).

STAREA DE ACTIVARE
Sunt cuprinse, de regul, ntre [-1, +1]. Valoarea strilor de activare crete sau scade n timp, funcie de stimularea primit de nodul respectiv. Dispune de o proprietate important: rata degradrii (decay rate), adic, dac nodul nu este stimulat o perioad mai lung de timp, valoarea sa de activare scade progresiv, spontan.

REGULA DE ACTIVARE
Este o funcie ce modific valoarea de activare a unitilor ntr-o reea. Aceast regul permite calculul netinputului. Netinputul este suma ponderat a triilor sinapselor, nmulit cu valoarea strii de activare a unitilor cu care este conectat unitatea respectiv, la care se adaug restul de activare al neuromimului.

REGULA DE ACTIVARE (cont.)

Netinput= wij*ua+ra, Unde: wij este tria sinapsei (ponderea legturii) dintre dou noduri (i i j) ua este valoarea de activare a nodurilor cu care este conectat nodul a ra este restul de activare (valoarea iniial de activare) al nodului a

FUNCIA OUTPUT (IEIRE)

Stabilete relaia dintre valoarea de activare a unitii i output-ul pe care ea l transmite celorlalte uniti. Pot aprea dou situaii: - cea n care funcia output este egal cu valoarea de activare a unitii respective i - cea n care funcia este determinat de un nivel prag (peste nivelul prag se emite funcia output, iar sub nivelul prag unitatea respectiv nu descarc

PATTERNUL DE CONEXIUNI NTRE UNITI

Reprezint legturile dintre neuromimi. n limba englez, termenul folosit este de weight(pondere sau conexiune, n limba romn) iar notaia standard este wij, care se citete ponderea legturii dintre unitatea i i unitatea j. Reelele pot fi: unidirecionale (conexiunile funcioneaz doar dinspre input spre output) i bidirecionale (sau interactive; n acest caz, nu este obligatoriu ca wij s fie egal cu wji).

PATTERNUL DE CONEXIUNI NTRE UNITI (cont.)

Legturile pot fi, de asemenea: stimulatoare sau pozitive cu valori cuprinse ntre (0, +1], inhibitoare sau negative cu valori cuprinse ntre [-1, 0). n afar de aceste legturi, care se stabilesc ntre neuroni aflai la nivele diferite ale reelei, n reelele neuronale apare i fenomenul de inhibiie lateral, ntre uniti aflate la acelai nivel (acest fenomen st la baza nvrii competitive).

REGULILE DE NVARE
Sunt algoritmi sau ecuaii care guverneaz schimbarea ponderilor conexiunilor dintr-o reea, echivaleni regulilor de manipulare simbolic din paradigma clasic-simbolic. Sunt mai multe reguli de nvare: Hebb, delta, delta generalizat etc. Regula lui Hebb Spune c ponderea conexiunii dintre doi neuroni, i i j, se modific n funcie de produsul valorilor lor de activare. Astfel, tria sinapsei dintre doi neuroni crete dac n momentul stimulrii ei se afl n aceeai stare de activare (pozitiv sau negativ), i scade dac se afl n stri diametral opuse. Wij= lr*ai*aj,

Unde: lr = learning rate sau rata nvrii (este stabilit de constructorul reelei) ai, aj = valorile de activare ale nodurilor i (input) i j (output)

REGULILE DE NVARE (cont.)

Regula delta (Widrow-Hoff)

Wij= lr*(du-au)*aj,
Unde: lr = learning rate sau rata nvrii (este stabilit de constructorul reelei) du = nivelul de activare dorit pentru nodul i au = nivelul de activare actual al nodului i aj = nivelul de activare actual al nodului j n momentul n care du = au, atunci Wij devine 0 iar reeaua a nvat ceea ce avea de nvat.

MEDIUL/AMBIANA REELEI
Este mediul n care se scald reeaua. Se prezint sub forma unor biai care pot influena desfurarea activitii reelelor.