Miháltz Márton - Gépi tanulás a nyelvtechnológiában

 e-magyar elemzőlánc
 mély tanulás -> megfelelő algoritmus kitalálása a feladat, a feladatot már a gép fogalmazza
meg
 autoML -> a gép már a megfelelő algoritmust is megtalálja

 gépi tanulás
o felügyelt
 kérdés-válasz párok
 címkézett tanító adatok
 szekvenciális címkézés
 osztályozás
o nem felügyelt gépi tanulás
 sok, címkézetlen adat
 nyelvmodellek
o távolról/félig felügyelt
o szekvenciális címkézés
 szófaji
 tulajdonnév felismerés
o osztályozási feladat
 ismeretlen példához címkét szeretnénk adni
 natural language inference
o címkézett példák gyűjtése -> ebből alkot modellt
 diszkriminatív <-> generatív
 diszkriminatív: mi az információ, ami alapján a kettő elkülöníthető
 generatív: olyan modell, amivel rekonstruálni is tudja
 amit csak lehet, számszerűsítünk
 lineáris regresszió
o logisztikus regresszió (maximum entrópia)
 bináris osztályozás: 2 osztály/ címke van
 szigmoid görbe széthúzza az értékeket 1 és 0 felé
 valószínűség predikáció ->küszöbérték
 súly és eltolás érték
 mesterséges neuronhálók alapegysége
o osztályozók kiértékelése
 teszthalmaz: címkézett példák amiket tanuláskor nem láthatott a modell
 pontosság: hány példán volt helyes a modell
 fedés:
 F1-mérték
 rejtett Markov-modell
o szófaji címkézés
 szekvenciális
 kontextus alapján a legvalószínűbb szófaji-morfológiai címke
o Markov-lánc
 eseménysorozat jóslására
 Markov-feltételezés: csak a jelen számít, a múlt nem

az a csodálatos ebben az egészben… (mindezt a legfáradtabb hangon possible)

  súlyozás előzetes mérések alapján
o rejtett Markov-modell
 események sorozata
 megfigyelhető esemény: valós input
 rejtett esemény: szófaji címkék
 szófaji címke előállításához mi a legvalószínűbb szó
 címke meghatározásához az aktuális és az azt megelőző 1-3 szó kell
 viterbi-algritmus: rejtett állapotok között vezető legvalószínűbb útvonal
megkeresése
 HMM szófajcímkéző tanítása
 tanítókorpusz kézzel megadott szófajcímke minden szóhoz
 rejtett állapotok átmeneti valószínűségei
o x szófajcímke valószínűsége y címke után
 emissziós valószínűség
o hányszor van adott szóhoz adott címke
 költséges, lassú
 szélesebb kontextus használata
o bigram, trigram gyakoriságok
o hiányzó bi-, trigrammok
 morfilógiai címkézés a magyarban
 EmTag/PurePos
 tanítókorpuszban ismeretlen címkék kezelése
o visszavezetés hasonló, ismert címkére
 w lehetséges címkéi: morfológiai elemző
 maximum entrópia Markov-modell
o több jellemző használata
o logisztikai regresszió szekvenciális inputon
o minden szóhoz a LR modell predikcióját kérjük a jellemzők alapján
o emNER/Hun Tag
 BIOE címkék
 tulajdonnevek felismerése
 maximális NP felismerés
 szóvektorok (szóbeágyazások)
o szójelentések reprezentációja
 N-dimenziós valós vektorok
o hasonló jelentések – hasonló vektorok a vektortérben (cos-távolság)
o szemantikai hasonlóság – hasonló előfordulási kontextus
 disztribúciós hasonlóság
o dokumentum-vektor: benne szereplő szóvektorok összege v. átlaga
o alkalmazások
 dokumentumkeresés
 szavak reprezentációja további NLP algoritmusok számára (főleg mesterséges
neuronhálóban)
o analógiák vektorműveletekkel
 király –férfi +nő = királynő
o történeti szószemantika szóbeágyazásokkal
o szóbeágyazások tanulása
  nem felügyelt tanulás
 Word2vec
 pozitív tanítópéldák: x szó előfordulási környezetei
 negatív tanító példák: véletlen minta más szavak előfordulásaiból
 logisztikus regressziós bináris osztályozót a két eset elkülönítésére
 megtalált súlyok
 feed-forward neutális hálózatok
o mesterséges neuron (perceptron)
 vektorok és mátrixok közötti számolási műveletek
o aktivációs függvény
 sigmoid
 tanh
 ReLU
 Leaky ReLU
 stb…
o x1 AND X2 (1-1
o x1 OR x2 (1-0,1-1,0-1)
o x1 XOR x2 (1-0,0-1)
 többrétegű háló létrehozása -> mindegyik élhez súly is kapcsolódik
 input
 rejtett1
 rejtett 2
 output
o tanítás
 forward pass (predikció)
 hibafüggvény
 backpropagation of error
o Stochastic Grade Descent
 a görbe legmélyebb pontját keresi
 lokális – globális minimum
o momentum optimalizáció
 korábbi haladási irányok átlagolása
 rekurrens neurális hálózatok
o NLP szekvenciális
o távoli függések problémája
o context -> lookup->….->transform->***->predict ->label
o ***: belső réteg aktivációja visszavzetődik a transformhoz
 az előzőeket is vizsgálja, nem csak az aktuálisat
o mondatosztályozás
o kontextus a mondaton belül
o information retrieval
o kétirányú RNN
 két független RNN kombinációja
 jobb oldali kontextust is figyelembe tudja venni
o többrétegű RNN
 egymásra pakolt hálózatok
 belső, absztraktabb reprezentációk kialakulása

az a csodálatos ebben az egészben… (mindezt a legfáradtabb hangon possible)

 o problémák a sima RNN-nel
 egyszerre 2 feladatra optimalizálhazó
 exponenciálisan nő vagy csökken a ………
o megoldás: long short-term memory
 memóriacella
 előző és következő állapoti kimenethez is kötve van
 szúlyozott kapuk szabályozzák az információár
o karakterszintű információ
 input: szóbeágyazás + BIRNN output a szó karakterein
o egyszerre használható karakter és szószintű információ

Python
pytorch
TensorFlow