1.

1 SEJARAH PCA
Metode Principal Component Analysis (PCA) dibuat pertama kali oleh para ahli statistik
dan ditemukan oleh Karl Pearson pada tahun 1901 yang memakainya pada bidang biologi.
Pada tahun 1947 teori ini ditemukan kembali oleh Karhunen, dan kemudian dikembangkan
oleh Loeve pada tahun l963, sehingga teori ini juga dinamakan Karhunen-Loeve transform
pada bidang ilmu telekomunikasi. [1]
1.2 DEFINISI PCA
Ada beberapa definisi yang menjelaskan PCA, Principal Component Analysis (PCA)
merupakan suatu metode yang melibatkan prosedur matematika yang mengubah dan
mentransformasikan sejumlah besar variabel yang berkorelasi menjadi sejumlah kecil
variabel yang tidak berkorelasi, tanpa menghilangkan informasi penting di dalamnya [2] .
Selain itu PCA juga disebut sebagai Teknik Statistik yang dapat digunakan untuk
menjelaskan struktur variansi-kovariansi dari sekumpulan variabel melalui variabel baru
dimana variabel baru ini saling bebas, dan merupakan kombinasi linier dari variabel asal [3]
Sebagai contoh kasus Sebuah analis keuangan ingin menentukan sehat tidaknya sebuah
departemen keuangan pada sebuah industri. Dalam penelitian awal telah diidentifikasi
terdapat sejumlah rasio keuangan sekitar 120 variabel yang dapat digunakan untuk analisa di
atas. Tentu saja, tidaklah mudah untuk menginterpretasikan 120 buah informasi untuk
menentukan apakah departemen keuangan tersebut dalam keadaan sehat atau tidak. Maka
tugas pertama dari analis tersebut adalah menyederhanakan/ mereduksi ke-120 rasio menjadi
beberapa index saja (misalnya 3), yang mana index tersebut merupakan kombinasi linnier
dari seluruh rasio awal sedemikian hingga rasio baru tersebut tidak saling berkorelasi.
1.3 PENGENALAN WAJAH
Setiap wajah terlihat mirip satu dengan yang lain. Semua memiliki dua mata, satu hidung,
satu mulut dan lain-lain, yang berada pada tempat yang sama, sehingga semua vektor wajah
terletak pada kumpulan yang sempit pada ruang gambar. Sebuah wajah dalam bentuk gambar
dua dimensi dapat dilihat sebagai vektor satu dimensi. Jika panjang gambar adalah w dan
lebar gambar adalah h, maka jumlah komponen dari vektor 1 dimensinya adalah w x h .
Vektor wajah tersebut berada dalam suatu ruang, yaitu ruang wajah yang merupakan
ruang dari semua gambar yang memiliki ukuran w x h pixel. Tetapi keseluruhan ruang
gambar bukanlah ruang yang optimal untuk menggambarkan wajah. Dimensi dari ruang
gambar adalah w * h, dimana semua pixel dari sebuah wajah tidak berhubungan, dan setiap
pixel bergantung pada pixel lain didekatnya. Jadi, dimensi dari ruang wajah lebih kecil
daripada dimensi ruang gambar. Sehingga dibentuk sebuah ruang wajah yang dapat
menggambarkan wajah dengan lebih baik. Vektor basis dari ruang wajah ini disebut principal
components.
2. Mampu menjelaskan algoritma PCA
Langkah umum penyelesaian PCA dapat dilihat pada diagram berikut :
1. Input Data

Data awal dipersiapkan dalam sebuah matriks ukuran mxn. Nantinya jumlah variable n akan
berkurang menjadi k jumlah principal component yang dipertahankan. Misal terdapat matrik
dengan ukuran 6x6 sebagai berikut :
186
198
190
202
186
[188

194
192
188
190
201
187

206
204
202
195
195
197

171
159
188
194
193
199

125
121
139
175
214
200

148
174
140
173
173
198]

2. Mean Centering
Mean Centering adalah mencari nilai rata-rata masing-masing dimensi (kolom) dan
mengurangkan setiap nilai data sampel dengan nilai rata0rata sesuai dengan kolomnya,
, dimana i = 1, 2, ..., m . Pada matriks sebelumnya maka diperoleh

186
198
190
202
186
[188

Mean = 191.67

194
192
188
190
201
187

206
204
202
195
195
197

171
159
188
194
193
199

125
121
139
175
214
200

148
174
140
173
173
198]

192 199.83 182.33 162.33 167.66

Kurangi nilai setiap kolom dengan mean

5.67
6.33
1.67
10.33
5.67
[3.67

2
0
4
2
9
5

6.17 11.33 37.33 19.66

4.17 23.33 41.33
6.34
2.17
5.67 23.33 27.66
5.34
4.83 11.67 12.67
4.83 10.67
51.67 5.34
2.83 16.67
37.67 30.34 ]

3. Hitung Matriks Covarian

Persamaan mencari covarian adalah :
(, ) =

=1( )( )
( 1)

Sedangkan bentuk Matriks Covarian adalah

(. ) (, ) (, )
= ((, ) (, ) (, ))
(, ) (, ) (, )
Sehingga dari matriks mean centering diperoleh matriks covarian :
45.46
11.6
4.866
=
6.33
62.26
( 433.8

11.6 4.866 6.33 62.26 433.8

26
3.2 15.6
8.6
54
3.2 22.96 75.56 174.1 58.46
15.6 75.66 320.5
598.5 151.8
174.1 598.5
54
1579 520.7
8.6 58.46 151.8
520.7 433.8 )

4. Proses PCA
Proses PCA terdapat 2 macam cara, yaitu EVD (Eigen Value Decomposition) dan SVD
(Singular Value Decomposition).
4.1 EVD (Eigen Value Decomposition)
Proses PCA dengan cara EVD menggunakan eigen function dari covarian-nya, sehingga
setelah didapat matriks covarian maka langkah selanjutnya adalah dengan mencari Nilai
Eigen dan Vektor Eigen dari Matriks Covarian
Determinant ( I) = 0
Sehingga diperoleh Nilai Eigen sebagai berikut :
1 = 202.81
2 = 589.2
3 = 302.1
4 = 101.3
5 = 9.1
6 = 2.1
Jika adalah nilai eigen maka vektor eigen yang bersesuaian dengan dapat dicari dengan
persamaan :
( ) = 0
Dan didapat vektor eigen sebagai berikut
44.5
19.4
98.4
1 = 2028.1, dengan V1=
339.5
872.8
[ 333 ]
614.5
43.4
16.2
2 = 589.2, dengan V2= =
154.5
247.5
[731.5]
776.3
24
4.2
3 = 302.1 dengan V3=
44.9
205.4
[ 593.7 ]

95.7
412.2
4 = 101.3 dengan V4 = 69.1
844.4
319.4
[ 33 ]
88.8
876.8
5 = 9.1 dengan V5= 291.5
325.3
180.2
[ 8.4 ]

25.5
246.4
6 = 2.1 dengan V = 947.2
5
202
14
[
19.6
Lalu tahapan selanjutnya adalah dengan mengurutkan vektor eigen] berdasarkan nilai eigen

terbesar ke nilai eigen terkecil, sehingga membentuk Matriks Ciri :

88.8
44.5 614.5 95.7
25.5 776.3
19.4
43.4
24
412.2 876.8 246.4
291.5
98.4
16.2
4.2
69.1
947.2
=
44.9
339.5 154.5 844.4 325.3 202
205.4
319.4
180.2
14
872.8 247.5
[ 333 731.5
593.7 ]
33
8.4
19.6

Dari hasil EVD, vektor eigen dengan nilai eigen tertinggi meng-capture variasi data tertinggi,
sehingga dipilih nilai principal component dengan k % dari jumlah nilai eigen. Misal dalam
kasus ini dipilih 1 principal component dengan 1 nilai eigen tertinggi yang meng-capture
83.5 % dari nilai keseluruhan , maka dipilih
44.5
19.4
98.4
=
339.5
872.8
[ 333 ]

Dan selanjutnya hasil matriks di atas diproyeksikan ke data yang telah dinormalkan (mean
centering) dengan mengalikan X dengan matriks mean centering sebelumnya .Sehingga
ukuran data yang awalnya 6 x 6 direduksi menjadi 1 x 6 saja.
4.2 SVD (Singular Value Decomposition)
Singular Value Decomposition adalah seuatu teknik untuk mendekomposisi matriks
berukuran apa saja (biasanya diaplikasikan untuk matriks dengan ukuran sangat besar), untuk
mempermudah pengolahan data. Hasil dari SVD ini adalah singular value yang disimpan
dalam sebuah matriks diagonal, D, dalam urutan yang sesuai dengan koresponding singular
vector-ya. Dimana, nilai singular value menyimpan informasi yang sangat penting tentang
data, yaitu data yang berkontribusi paling besar terhadap variasi data secara keseluruhan,
yang disimpan pada singular value yang pertama.
Pada EVD, data awal berupa matriks bujur sangkar (n x n), sehingga untuk data dengan
matriks berukuran m x n (tidak memiliki nilai eigen) digunakan metode SVD. Contoh kasus
matriks berukuran 4 x 5
8
7 20 71 12
A = [11 27
3
1
52 19

4
22
15

5
5
4

121]
6
17

Langkah pertama dalam SVD adalah mencari Ku dan Kv dimana

dan

Sehingga diperoleh Ku dan Kv dari matriks A

5698 2164 898 1337
= [2164 15532 899 3222]
899
555 627
898
1337 3222 627 3595

2898 1344 1050 846

2329
1344 1140 555
713
3680
= 1050 555 1125 1610 1111
846
713 1610 5107 1555
[2329 3680 1111 1555 15110]

Selanjutnya dicari masing-masing Nilai Eigen dan Vektor Eigen dari Ku dan Kv

Nilai Eigen dari Ku

1 = 346
2 = 2578
3 = 5494
4 = 1696.2

0
0
0
346
0
0
2578
= ( 0
)
0
0
0
5494
1696.2
0
0
0

Du sendiri adalah matriks diagonal yang diperoleh dari akar Nilai Eigen Ku
Vektor Eigen dari Ku
0.1287
0.2913 0.9229
0.0137
0.1891
0.2821
=(
0.9839 0.0764 0.1442
0.1233 0.9346 0.2188

Nilai Eigen dari Kv

2 = 0
2 = 346
3 = 2578
4 = 5494
5 = 1696.2

0.2164
0.9405)
0.0730
0.2518

0
0 0
0
0
0
0 0
0 346
0
0
= 0
0
2578
0
0
0
5494
0
1696.2
0
0
0
0
(
)

Vektor Eigen dari Kv

0.2954 0.2493 0.8749 0.2171 0.1949
0.1414 0.2106 0.0424 0.2439
0.9351
= 0.0575 0.9224 0.1796 0.3209 0.1034
0.3448 0.8866 0.1646
0.0444 0.2570
0.2492 0.9299)
(0.1819 0.0322 0.1976

Terlihat bahwa Du dan Dv mempunyai nilai yang sama, sehingga kita bisa membuat matriks
D dari Du dan Dv dengan ukuran 4 x 5 dan urutkan dari yang terbesar ke yang terkecil . Pada
matriks D di bawah ini , masing2 elemen telah diakar dan diurutkan
0
0
0
74.1215
50.774
0
0
0
=(
0
41.1849
0
0
0
0
18.6011
0

0
0)
0
0

Langkah terakhir yaitu dengan mengalikan Matriks U (Vektor Eigen dari Ku) , Matriks D
dan Matriks V (Vektor Eigen dari Kv) yang telah ditranspose, sehingga diperoleh Matriks
SVD
=
33.2506 18.8459
11.8696
0.8786
= (
25.4768 67.5491
7.6632
3.5353

7.5602 13.2977
16.4975 9.0805
0.0166
1.0136
44.4123 19.8597

8.7177
6.1608 )
12.5533
0.7458

Dan untuk memproyeksikan ke data awal maka caranya sama dengan EVD sebelumnya yaitu
dengan mengalikan k % dari D dengan Matriks Mean Centering.
3. Mampu menjelaskan perbedaan PCA dan Transformasi Wavelet
PCA

Wavelet

Hubungan antar pola dalam satu kelas ada

Tidak ada hubungan antar pola dalam satu

yaitu untuk menghasilkan nilai principal

component

kelas

Fitur yang disimpan dalam database adalah

nilai principal component

Fitur yang disimpan dalam database adalah

koefisien approksimasi hasil dekomposisi
wavelet

Transformasi yang dilakukan adalah dengan

menghitung matriks kovarian untuk
menghasilkan nilai eigen dan principal
component

Transformasi yang dilakukan ke dalam

domain sekaligus frekuensi pada tingkat
resolusi yang berbeda

Bersifat Lossy (jika dikembalikan maka akan

ada data yang hilang)

Bersifat Lossless (Jika dikembalikan maka

data kembali seperti semula, tidak ada yang
hilang)

Daftar Pustaka :
[1]

Wikipedia, Analisis Komponen Utama https://id.wikipedia.org/wiki/Analisis_komponen_

utama diakses pada tanggal Juli 2015

[2]

Wibowo, Bangun Budi. 2011. Pengenalan Wajah Menggunakan Analisis Komponen

Utama. Skripsi, Program Sarjana Universitas Diponegoro, Semarang.

[3]

Principal-component-analysispca----konsep-dan-aplikasi-dalam-teknik-industri.pdf

Rencana Pertemuan Mendatang :

Melakukan Percobaan Implementasi PCA pada Matlab dan Melengkapi Definisi dan
Algoritma dari Transformasi Wavelet