Trkenin Ballk Ayrtrmas

Glen Cebirolu Eryiit

Ballk Ayrtrmas

Doal Dil leme ve Blmleri

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

2/45

Ballk Ayrtrmas
Szckler arasndaki ikili ballk ilikilerinin
ayrtrma baarmndaki nemli etkisinin
anlalmas,
Ballk Ayrtrmas ynteminin, tmce ii szck
dizilileri serbest diller zerindeki yetenekleri,
st dzey uygulamalar iin anlaml bilgi retmesi,
bu yntemin son yllarda ska kullanlr hale
gelmesini salamtr.
Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

3/45

Ballk Ayrtrmas
Gncel ballk grameri kuramnn, Tesnire'in
1959'daki almasna dayand sylenebilir.
Tesnire'e gre ``Tmce, kendisini oluturan eleri
szckler olan dzenli bir topluluktur'
``Zihin, tmceyi oluturan szckler ve komular
arasnda ilikileri bulur ve bu ilikilerin btn
tmcenin iskeletini oluturur. Her bir iliki bir alt
terimi bir st terime balamaktadr.''
Gnmzde DDA alannda kullanlan ballk
gramerlerinde bu iliki uydu (alt terim) - iye (st
terim) ilikisi olarak tanmlanmaktadr. Ballk
grameri tabanl metin ayrtrmasnn amac metin
ierisinde geen her tmce iin tmceyi oluturan
szckler arasndaki uydu-iye ilikilerini bulmaktr.
Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

4/45

Ballk Ayrtrmas

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

5/45

Ballk Ayrtrmas

Uydu

ye

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

6/45

Trke
Tmce ii e dizilileri serbest
Genelde NY veya NY kalplar

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

7/45

Trke
ok zengin bitiken biimbirimsel yap
Eklerin sona eklenmesiyle yzlerce farkl
yeni szck
gidiyorum
gidiyorsun
gideceim
gideceksin
gidebilirim
gitmekteyim
..........
Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

8/45

Trke
ok zengin bitiken biimbirimsel yap
Eklerin sona eklenmesiyle yzlerce farkl
yeni szck
Szck eitliliindeki zenginlik
Szck etiketlerinin durum, kii, say,
cinsiyet gibi birok bilgiyi tamalar ve bu
nedenle ok sayda etiket olumas

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

9/45

Trke
Zengin tretim yaps

Veda la ma
Oku t ul an

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

10/45

Trke

ekim Kmeleri
salamlatrdmzdaki

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

11/45

Trke - ekim Kmeleri

salamlatrdmzdaki

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

12/45

Trke - ekim Kmeleri

salamlatrdmzdaki

Szck bana ortalama 1.26 K

ekim Kmesi
Tretim Snr
Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

13/45

Trke
ounlukla saa baml trde ballklar

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

14/45

Trke

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

15/45

Trke - Ballk Yaps

Ballklar Kler arasnda kurulur
kk odadaym

sim + 3.tekil kii eki + yelik ekiEylem

yok + +ismin
imdiki
de zaman
hali eki + 1. tekil kii eki

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

16/45

Trke - Ballk Yaps

Ballklar Kler arasnda kurulur

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

17/45

Trke Aa Yapl Derlem

ODT-Sabanc Trke Aa Yapl Derlem

5635 tmce
yetkin biimbirimsel etiketler
etiketli ballklar
ballklarn %95i saa baml ballklar
XML biiminde
Kler aras ballklar

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

18/45

Derlem

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

19/45

Derlem

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

20/45

Derlem

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

21/45

Derlem

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

22/45

Snflandrc Tabanl Ayrtrc

Ballk grafiini oluturmak iin kullanlan
gerekirci bir ayrtrma algoritmas,

(Kudo ve Matsumoto, 2002; Yamada ve Matsumoto, 2003; Nivre,2003 )

Ayrtrcnn bir sonraki hareketini belirlemek

zere kullanlan gemie dayal ayrtrma modeli
(Black ve di., 1992; Magerman, 1995; Collins, 1999)

Gemite olan olaylar ayrtrcnn hareketleri ile

ilikilendirmek zere kullanlan ayrdedici
snflandrc (Veenstra ve Daelemans, 2000; Kudo ve Matsumoto,2002;
Nivre ve di., 2004) (KDM: karar destek makineleri)

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

23/45

Gemie dayal zellik modeli

Hedef birimler ve bunlarla ilikili birimler iin
zellik vektrnde kullanlabilecek zellikler:
Grnm bilgisi (tm veya gvdesi)
Szck snf (ana snf veya alt snf)
Biimbirimsel zellikler
Ballk tr (Eer balanmsa)

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

24/45

Tasarm Modelleri
Birim Seim Modelleri
Szck Tabanl Model
K Tabanl Model
K Tabanl Belirlenimci Model

Biimbirimsel zelliklerin Kullanm ile

ilgili Modeller
K tabanl (INF birleik) model
K tabanl (INF paral) model
Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

25/45

Birim Seim Modelleri

Szck Tabanl Model

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

26/45

Birim Seim Modelleri

Szck Tabanl Model

+Noun +P2pl +Loc +Verb

(Eryiit and Oflazer (2006)e benzer ekilde)

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

27/45

Birim Seim Modelleri

Szck Tabanl Model

+Noun +P2pl +Loc +Verb

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

28/45

Birim Seim Modelleri

Szck Tabanl Model

araba
LEX

+Noun +P2pl +Loc +Verb

POS

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

29/45

Birim Seim Modelleri

K Tabanl Model

Ayrtrma Birimi : Kler

Szck i ballklar, gerek ballklar gibi
KDM tarafndan belirlenirler.

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

30/45

Birim Seim Modelleri

K Tabanl Model

Ayrtrma Birimi : Kler

Szck i ballklar, gerek ballklar gibi
KDM tarafndan belirlenirler.

K Tabanl Belirlenimci Model

Szck i ballklar, KDMye bavurulmadan
belirlenimci bir ekilde ilenirler.
Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

31/45

Birim Seim Modelleri

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

32/45

Biimbirimsel zelliklerin Kullanm

K tabanl (INF birleik) model

Biimbirimsel zellikler zerinde indirgeme

yok
Tm biimbirimsel zellikler kullanmda
Ana szck snfna ek olarak ve
zellik modelinde ayr bir zellik olarak

Noun
POS

+A3sg+P2pl+Loc
INF

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

33/45

Biimbirimsel zelliklerin Kullanm

K tabanl (INF birleik)
+A3sg+P2pl+Loc
K tabanl (INF paral): her bir parack
ayr bir zellik olarak kullanlr.

+A3sg

+P2pl

+Loc

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

34/45

Snflandrc Tabanl Ayrtrc

Deney Sonular Tm Derlem

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

35/45

zellik Kalb
En yksek baarmlarn elde edildii zellik kalb:
Aday uydu

Aday ye

Yn1

Uydunun Uydunun
Uydunun
en sa
en sol
yenin
sandaki
uydusu uydusu
en sol
birim Kuyruk
1
uydusu

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

36/45

Ayrtrc Baarmlar

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

37/45

SB TB

CoNLL-X Ortak almas

CoNLL-X (Conference on Natural Language Learning)
Shared Task on Multi-lingual Dependency
Parsing, Haziran 2006, New York
17 aratrma grubu
14 farkl dil
Arapa, ince, eke, Danca, Macarca, Felemenke, Almanca, Japonca,
Portekizce, Slovaka, spanyolca, svee, Trke, Bulgarca

CoNLL-X veri biimi, derlem dnmleri

Baarm lt KBE
Trke iin en yksek baarm
Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

38/45

CoNLL-X Ortak almas

Trke derlem, ortak almann en zor
derlemi olarak gsterilmitir. (Buchholz ve Marsi,
2006)

Sekiz farkl trden metin, 25 farkl ballk

tr
Snama verisinde yeni szck grlme oran en
yksek dil
Baarmlar %37.8 - %65.7 arasnda

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

39/45

CoNLL-X Ortak almas

Trke Blm

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

40/45

Sonular
Trkenin ballk ayrtrmas konusunda
literatrdeki en yksek sonular elde edilmitir.
Ayrtrmada ana birim olarak szckler yerine
Klerin kullanlmasnn baarm arttrd,
Biimbirimsel zelliklerin kullanlmasnn
Trkenin ayrtrmasnda vazgeilemez bir yere
sahip olduu gsterilmitir.
Grnm bilgisi zelliklerini kullanmann,
Trke'nin ballk ayrtrmas baarmnda
nemli arta neden olduu gsterilmitir.
Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

41/45

Aralar

Trke Derlem, Kemal Oflazer, Bilge Say, Nart Atalay

Biimbirimsel zmleyici, Kemal Oflazer
Szck Etiketleyici, Deniz Yret
Maltparser snflandrc tabanl ayrtrc platformu,

Joakim Nivre ve ekibi

LibSVM, C.W. Hsu, C.C. Chang, C.J. Lin

Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

42/45

Referanslar

Nivre, J., Hall, J., Nilsson, J., Chanev, A., Eryiit, G., Kbler, S.,
Marinov, S., and Marsi, E., 2007. MaltParser: A LanguageIndependent System for Data-Driven Dependency Parsing, Natural
Language Engineering Journal 13(1), 1-41 Cambridge Press.

Eryiit, G., and Oflazer, K., 2006. Statistical dependency parsing of

Turkish. In Proceedings of the 11th Conference of the European
Chapter of the Association for Computational Linguistics, Trento, Italy,
April.
Nivre, J., Hall, J., Nilsson, J., Eryiit, G. and Marinov, S., 2006.

Labeled Pseudo-Projective Dependency Parsing with Support Vector

Machines. Proceedings of the Tenth Conference on Computational

Natural Language Learning, New York, USA, June.

Eryiit, G., Adal, E. and Oflazer, K., 2006. Trke Cmlelerin Kural
Tabanl Ballk Analizi. In Proceedings of the 15th Turkish Symposium
on Artificial Intelligence and Neural Networks, Mula, Turkey, June.
Eryiit, G., Nivre, J. and Oflazer, K., 2006. The incremental use of

morphological information and lexicalization in data-driven

dependency parsing, Proceedings of the 21st International Conference

on the Computer Processing of Oriental Languages, Sentosa, Singapore,

December.
Trke'nin Ballk Ayrtrmas @ 2007 Glen Cebirolu Eryiit

43/45