IEEE TRANSACTIONS ON COMPUTERS, JANUARY 1974

If o n l y t h e L v a l u e s Ro t h r o u g h RL_1 a r e r e q u i r e d , t h e n i t c a n b e
s e e n b y c o m p a r i n g ( 15 ) a n d ( 11) t h a t t h e n e w a l g o r i t h m wi l l r e q u i r e
f e we r m u l t i p l i c a t i o n s t h a n t h e FFT m e t h o d i f
L < 11. 2 ( 1 + l o g 2 N) ( 16 a )
a n d wi l l r e q u i r e f e we r a d d i t i o n s i f
L < 5 . 6 ( 1 + l o g 2 N) . ( 16 b )
Th e r e f o r e , we c o n c l u d e t h a t t h e n e w a l g o r i t h m wi l l g e n e r a l l y b e m o r e
e f f i c i e n t t h a n t h e FFT m e t h o d i f
N < 12 8 ( 17a )
o r
L < 10 ( 1 + l o g 2 N) . ( 17b )
CONCLUSION
A n e w a l g o r i t h m f o r c o m p u t i n g t h e c o r r e l a t i o n o f a b l o c k o f s a m p l e d
d a t a h a s b e e n p r e s e n t e d . It i s a d i r e c t m e t h o d wh i c h t r a d e s a n i n -
c r e a s e d n u m b e r o f a d d i t i o n s f o r a d e c r e a s e d n u m b e r o f m u l t i p l i c a t i o n s .
Fo r a p p l i c a t i o n s wh e r e t h e " c o s t " ( e . g . , t h e t i m e ) o f a m u l t i p l i c a t i o n i s
g r e a t e r t h a n t h a t o f a n a d d i t i o n , t h e n e w a l g o r i t h m i s a l wa y s m o r e c o m -
p u t a t i o n a l l y e f f i c i e n t t h a n d i r e c t e v a l u a t i o n o f t h e c o r r e l a t i o n , a n d i t i s
g e n e r a l l y m o r e e f f i c i e n t t h a n FFT m e t h o d s f o r p r o c e s s i n g 12 8 o r f e we r
d a t a p o i n t s , o r f o r c a l c u l a t i n g o n l y t h e f i r s t L " l a g s " f o r L < 10 l o g 2 2 N.
REFERENCES
[ 1] S. W i n o g r a d , " A n e w a l g o r i t h m f o r i n n e r p r o d u c t ," IEEE Tr a n s .
Co m p u t . ( Co r r e s p . ) , v o l . C- 1 7, p p . 6 93 - 6 94, Ju l y 196 8 .
In d i s c r e t e W i e n e r f i l t e r i n g a p p l i c a t i o n s , t h e f i l t e r i s r e p r e s e n t e d b y a n
( M X M) m a t r i x G . Th e e s t i m a t e X o f d a t a v e c t o r X i s g i v e n b y G Z ,
wh e r e Z = X + N a n d N i s t h e n o i s e v e c t o r . Th i s i m p l i e s t h a t a p p r o x i -
2 A
m a t e l y
2 M a r i t h m e t i c
o p e r a t i o n s
a r e r e q u i r e d
t o
c o m p u t e
X . Us e o f
o r t h o g o n a l t r a n s f o r m s y i e l d s a G i n wh i c h a s u b s t a n t i a l n u m b e r o f
e l e m e n t s a r e r e l a t i v e l y s m a l l i n m a g n i t u d e , a n d h e n c e c a n b e s e t e q u a l
t o z e r o . Th u s a s i g n i f i c a n t r e d u c t i o n i n c o m p u t a t i o n l o a d i s r e a l i z e d a t
t h e e x p e n s e o f a s m a l l i n c r e a s e i n t h e m e a n - s q u a r e e s t i m a t i o n e r r o r .
Th e W a l s h - H a d a m a r d t r a n s f o r m ( W H T) , d i s c r e t e Fo u r i e r t r a n s f o r m
( D FT) , t h e H a a r t r a n s f o r m ( H T) , a n d t h e s l a n t t r a n s f o r m ( ST) , h a v e
b e e n c o n s i d e r e d f o r v a r i o u s a p p l i c a t i o n s [ 1 ] , [ 2 ] , [ 4] - [ 9 s i n c e t h e s e
a r e o r t h o g o n a l t r a n s f o r m s t h a t c a n b e c o m p u t e d u s i n g f a s t a l g o r i t h m s .
Th e p e r f o r m a n c e o f t h e s e t r a n s f o r m s i s g e n e r a l l y c o m p a r e d wi t h t h a t
o f t h e K a r h u n e n - Lo e v e t r a n s f o r m ( K LT) wh i c h i s k n o wn t o b e o p t i m a l
wi t h r e s p e c t t o t h e f o l l o wi n g p e r f o r m a n c e m e a s u r e s : v a r i a n c e d i s t r i b u -
t i o n [ 1
]
, e s t i m a t i o n u s i n g t h e m e a n - s q u a r e e r r o r c r i t e r i o n [ 2 ] , [ 4] , a n d
t h e r a t e - d i s t o r t i o n f u n c t i o n [ 5 ] . Al t h o u g h t h e K LT i s o p t i m a l , t h e r e i s
n o g e n e r a l a l g o r i t h m t h a t e n a b l e s i t s f a s t c o m p u t a t i o n [ 1]
In t h i s c o r r e s p o n d e n c e , a d i s c r e t e c o s i n e t r a n s f o r m ( D CT) i s i n t r o -
d u c e d a l o n g wi t h a n a l g o r i t h m t h a t e n a b l e s i t s f a s t c o m p u t a t i o n . It i s
s h o wn t h a t t h e p e r f o r m a n c e o f t h e D CT c o m p a r e s m o r e c l o s e l y t o t h a t
o f t h e K LT r e l a t i v e t o t h e p e r f o r m a n c e s o f t h e D FT, W H T, a n d H T.
D ISCRETE COSINE TRANSFORM
Th e D CT o f a d a t a s e q u e n c e X ( m ) , m
=
0 , 1, * * , ( M
-
1) i s d e f m e d
a s
/ 2 M- i
G x ( O) " Z X ( m )
m =o
2
M- i
( 2 m + 1) k n
G x ( k ) =-
X ( m ) Co s
M
m 0 2 M
D i s c r e t e Co s i n e Tr a n s f o n n
N. AH MED , T. NATARAJAN, AND K . R. RAO
Ab s t r a c t - A d i s c r e t e c o s i n e t r a n s f o r m ( D CT) i s d e f i n e d a n d a n a l g o -
r i t h m t o c o m p u t e i t u s i n g t h e f a s t Fo u r i e r t r a n s f o r m i s d e v e l o p e d . It i s
s h o wn t h a t t h e d i s c r e t e c o s i n e t r a n s f o r m c a n b e u s e d i n t h e a r e a o f
d i g i t a l p r o c e s s i n g f o r t h e p u r p o s e s o f p a t t e r n r e c o g n i t i o n a n d W i e n e r
f i l t e r i n g . It s p e r f o r m a n c e i s c o m p a r e d wi t h t h a t o f a c l a s s o f o r t h o g o n a l
t r a n s f o r m s a n d i s f o u n d t o c o m p a r e c l o s e l y t o t h a t o f t h e K a r h u n e n -
Lo ' e v e t r a n s f o r m , wh i c h i s k n o wn t o b e o p t i m a l . Th e p e r f o r m a n c e s o f
t h e K a r h u n e n - Lo ' e v e a n d d i s c r e t e c o s i n e t r a n s f o r m s a r e a l s o f o u n d t o
c o m p a r e c l o s e l y wi t h r e s p e c t t o t h e r a t e - d i s t o r t i o n c r i t e r i o n .
In d e x Te r m s - D i s c r e t e c o s i n e t r a n s f o r m , d i s c r e t e Fo u r i e r t r a n s f o r m ,
f e a t u r e s e l e c t i o n , H a a r t r a n s f o r m , K a r h u n e n - Lo e v e t r a n s f o r m , r a t e d i s -
t o r t i o n , W a l s h - H a d a m a r d t r a n s f o r m , W i e n e r v e c t o r a n d s c a l a r f i l t e r i n g .
INTROD UCTION
In r e c e n t y e a r s t h e r e h a s b e e n a n i n c r e a s i n g i n t e r e s t wi t h r e s p e c t t o
u s i n g a c l a s s o f o r t h o g o n a l t r a n s f o r m s i n t h e g e n e r a l a r e a o f d i g i t a l
s i g n a l p r o c e s s i n g . Th i s c o r r e s p o n d e n c e a d d r e s s e s i t s e l f t o wa r d s t wo
p r o b l e m s a s s o c i a t e d wi t h i m a g e p r o c e s s i n g , n a m e l y , p a t t e m r e c o g n i -
t i o n [ 1
]
a n d W i e n e r f i l t e r i n g [ 2 ] .
In p a t t e r n r e c o g n i t i o n , o r t h o g o n a l t r a n s f o r m s e n a b l e a n o n i n v e r t i b l e
t r a n s f o r m a t i o n f r o m t h e p a t t e r n s p a c e t o a r e d u c e d d i m e n s i o n a l i t y
f e a t u r e s p a c e . Th i s a l l o ws a c l a s s i f i c a t i o n s c h e m e t o b e i m p l e m e n t e d
wi t h s u b s t a n t i a l l y l e s s f e a t u r e s , wi t h o n l y a s m a l l i n c r e a s e i n c l a s s i f i c a -
t i o n e r r o r .
Ma n u s c r i p t r e c e i v e d Ja n u a r y 2 9, 1973 ; r e v i s e d Ju n e 7, 1973 .
N. Ah m e d i s wi t h t h e D e p a r t m e n t s o f El e c t r i c a l En g i n e e r i n g a n d
Co m p u t e r Sc i e n c e , K a n s a s St a t e Un i v e r s i t y , Ma n h a t t a n , K a n s .
T. Na t a r a j a n i s wi t h t h e D e p a r t m e n t o f El e c t r i c a l En g i n e e r i n g , K a n s a s
St a t e Un i v e r s i t y , Ma n h a t t a n , K a n s .
K . R. Ra o i s wi t h t h e D e p a r t m e n t o f El e c t r i c a l En g i n e e r i n g , Un i -
v e r s i t y o f Te x a s a t Ar l i n g t o n , Ar l i n g t o n , Te x . 76 0 10 .
wh e r e
G x ( k )
i s t h e k t h D CT c o e f f i c i e n t . It i s wo r t h wh i l e n o t i n g t h a t
t h e s e t o f b a s i s v e c t o r s { 1/ 12 , c o s ( ( 2 m
+ 1) k f l ) I( 2 AM) } i s a c t u a l l y a
c l a s s o f d i s c r e t e Ch e b y s h e v p o l y n o m i a l s . Th i s c a n b e s e e n b y r e c a l l i n g
t h a t Ch e b y s h e v p o l y n o m i a l s c a n b e d e f i n e d a s [ 3 ]
1
To ( Q p )
=-
Tk Q p )
= c o s ( k c o s - 1
p ) ,
k , p
=
1, 2 , ,M ( 2 )
wh e r e
Tk ( Q p )
i s t h e k t h Ch e b y s h e v p o l y n o m i a l .
No w, i n ( 2 ) ,
t p
i s c h o s e n t o b e t h e p t h z e r o o f TM( t ) , wh i c h i s g i v e n
b y [ 3 1
( 3 )
Su b s t i t u t i n g ( 3 ) i n ( 2 ) , o n e o b t a i n s t h e s e t o f Ch e b y s h e v p o l y n o m i a l s
A 1
To ( P)
=
_
A
( 2 p - l ) k FI
Tk ( p )
=
c o s k ,p = 1, 2 ," * ,M. ( 4)
Fr o m ( 4) i t f o l l o ws t h a t t h e Tk ( p ) c a n e q u i v a l e n t l y b e d e f m e d a s
1
( 2 m
+ l ) k r I
Tk ( m )
= c o s
2 M
k =
1, 2 , *
-
* , ( M- 1) ,
m =0 ,1,- - 1,M- l . ( 5 )
Co m p a r i n g ( 5 ) wi t h ( 1) we c o n c l u d e t h a t t h e b a s i s m e m b e r c o s ( ( 2 m +
90
k
=
1, 2 ,
- -
, ( M- 1) ( 1)
t p
=
Co s
( 2 p Ol l
= 13 2 1 . . . M.
2 M
I t ,
Authorized licensed use limited to: IEEE Xplore. Downloaded on January 19, 2009 at 14:27 from IEEE Xplore. Restrictions apply.
CORRESPOND ENCE
1) k l l ) / ( 2 M) i s t h e k t h Ch e b y s h e v p o l y n o m i a l Tk ( ) e v a l u a t e d a t t h e
m t h z e r o o f TM{ t ) .
Ag a i n , t h e i n v e r s e c o s i n e d i s c r e t e t r a n s f o r m ( ICD T) i s d e f i n e d a s
1 M- 1 ( 2 m + 1) k f l
X ( m )
=
>2 G x ( )
+
G x ( k )
c o s
2
k =1
2 M
m =0 ,1,* * ,( M- 1) . ( 6 )
W e n o t e t h a t a p p l y i n g t h e o r t h o g o n a l p r o p e r t y [ 3 ]
k =l = M- 1 M/ 2 , k =I= O
2 2 Tk ( m ) Tj
( m )
= ^ M/ 2 , k
=
I O
0
m =o
0 , k M* I
( 7)
t o ( 6 ) y i e l d s t h e D CT i n ( 1) .
If ( 6 ) i s wr i t t e n i n m a t r i x f o r n a n d A i s t h e ( M X M) m a t r i x t h a t d e -
n o t e s t h e c o s i n e t r a n s f o r m a t i o n , t h e n t h e o r t h o g o n a l p r o p e r t y c a n b e
e x p r e s s e d a s
Fi g . 1. Ei g e n v e c t o r s o f ( 8 X 8 ) To e p l i t z m a t r i x ( p = 0 . 9) a n d b a s i s
v e c t o r s o f t h e D CT.
T M
A A= 2 [ I] ( 8 )
wh e r e AT i s t h e t r a n s p o s e o f A a n d [ I] i s t h e ( M X Al ) i d e n t i t y m a t r i x .
MOTIV ATION
Th e m o t i v a t i o n f o r d e f i n i n g t h e D CT i s t h a t i t c a n b e d e m o n s t r a t e d
t h a t i t s b a s i s s e t p r o v i d e s a g o o d a p p r o x i m a t i o n t o t h e e i g e n v e c t o r s
o f t h e c l a s s o f To e p l i t z m a t r i c e s d e f i n e d a s
[ 1 p
p 1
' p
=
IM- 1i -
p
2
p
p
M- i
p
M- 2
* *
p
. .
J
O<p <1. ( 9)
Fo r t h e p u r p o s e s o f i l l u s t r a t i o n , t h e e i g e n v e c t o r s o f ' p f o r M = 8 a n d
p = 0 . 9 a r e p l o t t e d ( s e e Fi g . 1) a g a i n s t
,c o s ( 2 m + 1) k , k = 1,2 ,- - ,7,m =0 , 1 7 ( 10 )
wh i c h c o n s t i t u t e t h e b a s i s s e t f o r t h e D CT. Th e c l o s e r e s e m b l a n c e
( a s i d e f r o m t h e 18 0 0 p h a s e s h i f t ) b e t we e n t h e e i g e n v e c t o r s a n d t h e s e t
d e f i n e d i n ( 10 ) i s a p p a r e n t .
ALG ORITH MS
It c a n b e s h o wn t h a t ( 1) c a n b e e x p r e s s e d a s
G x ( O)
= 2
X ( m )
m =o
2
[ ( q - k n l ) / 2 Mn
2 M- 1
k
G x ( k )
=- Re j e ' " ) ' 2E X ( m ) wk m }
k =1, 2 , ,( M - l ) ( 1 1)
wh e r e
W =e - e 2 1/ 2 M i =j i / j
X ( m )
=
0 , m =M, ( M+ 1) , ,( 2 M
-
1)
a n d Re { - } i m p l i e s t h e r e a l p a r t o f t h e t e r m e n c l o s e d . Fr o m ( 11) i t
f o l l o ws t h a t a l l t h e M D CT c o e f f i c i e n t s c a n b e c o m p u t e d u s i n g a 2 M-
p o i n t f a s t Fo u r i e r t r a n s f o r m ( FFT) . Si n c e ( 1) a n d ( 6 ) a r e o f t h e s a m e
f o r m , FFT c a n a l s o b e u s e d t o c o m p u t e t h e ID CT. Si m i l a r l y , i f a d i s -
c r e t e s i n e t r a n s f o r m we r e d e f i n e d , t h e n t h e Re { - I i n ( 1 1) wo u l d b e r e -
IOD "
) X D ISCRETE COSINE
1. 0 - W I_
- 0 2 4 6 8 10 12 14 16
TRANSFORM COMPONENT #
Fi g . 2 . Tr a n s f o r m d o m a i n v a r i a n c e ; M = 16 , p = 0 . 95 .
p l a c e d b y Im { * } , wh i c h d e n o t e s t h e i m a g i n a r y p a r t o f t h e t e r m
e n c l o s e d .
COMPUTATIONAL RESULTS
In i m a g e p r o c e s s i n g a p p l i c a t i o n s , ' i n ( 9) p r o v i d e s a u s e f u l m o d e l f o r
t h e d a t a c o v a r i a n c e m a t r i x c o r r e s p o n d i n g t o t h e r o ws a n d c o l u m n s o f
a n i m a g e m a t r i x [ 6 1, [ 7] . Th e c o v a r i a n c e m a t r i x i n t h e t r a n s f o r m
d o m a i n i s d e n o t e d b y I a n d i s g i v e n b y
T=A' p A* T ( 12 )
wh e r e A i s t h e m a t r i x r e p r e s e n t a t i o n o f a n o r t h o g o n a l t r a n s f o r m a t i o n
a n d A* i s t h e c o m p l e x c o n j u g a t e o f A. Fr o m ( 12 ) i t f o l l o ws t h a t T
c a n b e c o m p u t e d a s a t wo - d i m e n s i o n a l t r a n s f o r m o f ' p .
Fe a t u r e Se l e c t i o n
A c r i t e r i o n f o r e l i m i n a t i n g f e a t u r e s ( i . e . , c o m p o n e n t s o f a t r a n s f o r m
v e c t o r ) , wh i c h a r e l e a s t u s e f u l f o r c l a s s i f i c a t i o n p u r p o s e s , wa s d e v e l o p e d
b y An d r e ws [ 1] . It s t a t e s t h a t f e a t u r e s wh o s e v a r i a n c e s ( i . e . , m a i n
d i a g o n a l e l e m e n t s o f I) a r e r e l a t i v e l y l a r g e s h o u l d b e r e t a i n e d . ( Fi g . 2
s h o u l d b e r e t a i n e d . ) Fi g . 2 s h o ws t h e v a r i o u s v a r i a n c e s r a n k e d i n d e -
c r e a s i n g o r d e r o f m a g n i t u d e . Fr o m t h e i n f o r m a t i o n i n Fi g . 2 i t i s
a p p a r e n t t h a t r e l a t i v e t o t h e s e t o f o r t h o g o n a l t r a n s f o r m s s h o wn , t h e
D CT c o m p a r e s m o s t c l o s e l y t o t h e K LT.
W i e n e r Fi l t e r i n g
Th e r o l e o f o r t h o g o n a l t r a n s f o r m s p l a y e d i n f i l t e r i n g a p p l i c a t i o n s i s
i l l u s t r a t e d i n Fi g . 3 [ 2 ] . Z i s a n ( M X 1) v e c t o r wh i c h i s t h e s u m o f a
91
1. %. f
1.
\
H AAR
FOURIER
. 1
- 1 W ALSH - H AD AMARD
\
K ARH LINEN- LOe V E
0 . 1
\ N- 40
" ,
Authorized licensed use limited to: IEEE Xplore. Downloaded on January 19, 2009 at 14:27 from IEEE Xplore. Restrictions apply.
IEEE TRANSACTIONS ON COMPUTERS, JANUARY 1974
Fi g . 3 . W i e n e r f i l t e r i n g m o d e l .
TABLE I
MEAN- SQ UARE ERROR PEFORMANCE OF V ARIOUS TRANSFORMS FOR SCALAR W IENER FILTERING ; P = 0 . 9
M
Tr a n s f o r m 2 4 8 16 3 2 6 4
K a r h u n e n - Lo e v e 0 . 3 73 0 0 . 2 915 0 . 2 5 3 3 0 . 2 3 5 6 0 . 2 2 6 8 0 . 2 2 2 4
D i s c r e t e c o s i n e 0 . 3 73 0 0 . 2 92 0 0 . 2 5 46 0 . 2 3 74 0 . 2 2 8 2 0 . 2 2 3 2
D i s c r e t e Fo u r i e r 0 . 3 73 0 0 . 2 96 4 0 . 2 70 6 0 . 2 5 92 0 . 2 441 0 . 2 3 2 0
W a l s h - H a d a m a r d 0 . 3 73 0 0 . 2 942 0 . 2 6 49 0 . 2 5 8 2 0 . 2 5 8 2 0 . 2 5 5 9
H a a r 0 . 3 73 0 0 . 2 942 0 . 2 6 5 0 0 . 2 5 8 9 0 . 2 5 8 2 0 . 2 5 8 1
0 a
:
c r
c E
: D
z
4L h i
SIZ E OF 0 f
Fi g . 4. Me a n - s q u a r e e r r o r p e r f o r m a n c e o f v a r i o u s t r a n s f o r m s f o r s c a l a r W i e n e r f i l t e r i n g ; p = 0 . 9.
v e c t o r X a n d a n o i s e v e c t o r N. X i s c o n s i d e r e d t o b e l o n g t o a r a n d o m
p r o c e s s wh o s e c o v a r i a n c e m a t r i x i s g i v e n b y i ) wh i c h i s d e f i n e d i n ( 9) .
Th e W i e n e r f i l t e r G i s i n t h e f o r m o f a n ( M X M) m a t r i x . A a n d A- '
r e p r e s e n t a n o r t h o n o r m a l t r a n s f o r m a n d i t s i n v e r s e , r e s p e c t i v e l y , wh i l e
X d e n o t e s t h e e s t i m a t e o f X , u s i n g t h e m e a n - s q u a r e e r r o r c r i t e r i o n .
W e r e s t r i c t o u r a t t e n t i o n t o t h e c a s e wh e n G i s c o n s t r a i n e d t o b e a
d i a g o n a l m a t r i x Q . Th i s c l a s s o f W i e n e r f i l t e r s i s r e f e r r e d t o a s s c a l a r
f i l t e r s wh i l e t h e m o r e g e n e r a l c l a s s ( d e n o t e d b y G ) i s r e f e r r e d t o a s
v e c t o r f i l t e r s . Th e a d d i t i v e n o i s e ( s e e Fi g . 3 ) i s c o n s i d e r e d t o b e wh i t e ,
z e r o m e a n , a n d u n c o r r e l a t e d wi t h t h e d a t a . If t h e m e a n - s q u a r e e s t i m a -
t i o n e r r o r d u e t o s c a l a r f i l t e r i n g i s d e n o t e d b y e Q , t h e n
e (
c a n b e
e x p r e s s e d a s [ 4]
1
M
' Ix ( s ,
s )
e =
1E x ( s , S) +
In ( s , s ) ( 13 )
wh e r e
' V x
a n d
Tn d e n o t e t h e t r a n s f o r m d o m a i n c o v a r i a n c e m a t r i c e s o f
t h e d a t a a n d n o i s e , r e s p e c t i v e l y . Ta b l e I l i s t s t h e v a l u e s o f
e Q
f o r d i f f e r -
e n t v a l u e s o f M f o r t h e c a s e p = 0 . 9 a n d a s i g n a l - t o - n o i s e r a t i o o f u n i t y .
Fr o m Ta b l e I i t i s e v i d e n t t h a t t h e D CT c o m e s c l o s e s t t o t h e K LT
wh i c h i s o p t i m a l . Th i s i n f o r m a t i o n i s p r e s e n t e d i n t e r m s o f a s e t o f
p e r f o r m a n c e c u r v e s i n Fi g . 4.
AD D ITIONAL CONSID ERATIONS
In c o n c l u s i o n , we c o m p a r e t h e p e r f o r m a n c e o f t h e D CT wi t h K LT,
D FT, a n d t h e i d e n t i t y t r a n s f o r m s , u s i n g t h e r a t e - d i s t o r t i o n c r i t e r i o n
[ 5 1. Th i s p e r f o r m a n c e c r i t e r i o n p r o v i d e s a m e a s u r e o f t h e i n f o r m a t i o n
r a t e R t h a t c a n b e a c h i e v e d wh i l e s t i l l m a i n t a i n i n g a f i x e d d i s t o r t i o n D ,
f o r e n c o d i n g p u r p o s e s . Co n s i d e r i n g G a u s s i a n s o u r c e s a l o n g wi t h t h e
m e a n - s q u a r e e r r o r c r i t e r i o n , t h e r a t e - d i s t o r t i o n p e r f o r m a n c e m e a s u r e
i s g i v e n b y [ 5 ]
1 MD ( / { I l
2 M
i =1
( 14a )
92
Authorized licensed use limited to: IEEE Xplore. Downloaded on January 19, 2009 at 14:27 from IEEE Xplore. Restrictions apply.
CORRESPOND ENCE
4
a ]
Fi g . 5 . Ra t e v e r s u s d i s t o r t i o n f o r M = 16 a n d p = 0 . 9.
1
M
D
= -
m i n ( 0 ,
a i )
m j =
)
( 14b )
wh e r e A d e n o t e s t h e o r t h o g o n a l t r a n s f o r m a t i o n a n d t h e a j a r e t h e
m a i n d i a g o n a l t e r m s o f t h e t r a n s f o r m d o m a i n c o v a r i a n c e m a t r i x ' 1
i n ( 12 ) .
Th e r a t e - d i s t o r t i o n p e r t a i n i n g t o M = 16 a n d p = 0 . 9 i s s h o wn i n
Fi g . 5 , f r o m wh i c h i t i s e v i d e n t t h a t t h e K LT a n d D CT c o m p a r e m o r e
c l o s e l y t h a n t h e K LT a n d D FT.
SUMMARY
It h a s b e e n s h o wn t h a t t h e D CT c a n b e u s e d i n t h e a r e a o f i m a g e
p r o c e s s i n g f o r t h e p u r p o s e s o f f e a t u r e s e l e c t i o n i n p a t t e r n r e c o g n i t i o n ;
a n d s c a l a r - t y p e W i e n e r f i l t e r i n g . It s p e r f o r m a n c e c o m p a r e s c l o s e l y wi t h
t h a t o f t h e K LT, wh i c h i s c o n s i d e r e d t o b e o p t i m a l . Th e p e r f o r m a n c e s
o f t h e K LT a n d D CT a r e a l s o f o u n d t o c o m p a r e c l o s e l y , wi t h r e s p e c t
t o t h e r a t e - d i s t o r t i o n c r i t e r i o n .
ACK NOW LED G MENT
Th e a u t h o r s wi s h t o t h a n k D r . H . C. An d r e ws , Un i v e r s i t y o f So u t h e r n
Ca l i f o r n i a , f o r h i s v a l u a b l e s u g g e s t i o n s p e r t a i n i n g t o t h e r a t e - d i s t o r t i o n
c o m p u t a t i o n .
REFERENCES
l 1l H . C. An d r e ws , " Mu l t i d i m e n s i o n a l r o t a t i o n s i n f e a t u r e s e l e c t i o n ,"
IEEE Tr a n s . Co m p u t . , v o l . C- 2 0 , p p . 10 45 - 10 5 1, Se p t . 1971.
[ 2 1 W . K . Pr a t t , " G e n e r a l i z e d W i e n e r f i l t e r i n g c o m p u t a t i o n t e c h -
n i q u e s ," IEEE Tr a n s . Co m p u t . , v o l . C- 2 1, p p . 6 3 6 - 6 41, Ju l y 1972 .
[ 3 ] C. T. Fi k e , Co m p u t e r Ev a l u a t i o n o f Ma t h e m a t i c a l Fu n c t i o n s .
En g l e wo o d Cl i f f s , N. J. : Pr e n t i c e - H a l l , 196 8 , c h . 6 a n d 7.
141 J. Pe a r l , " W a l s h p r o c e s s i n g o f r a n d o m s i g n a l s ," IEEE Tr a n s . El e c -
t r o m a g . Co m p a t . , v o l . EMC- 13 , p p . 13 7- 141, Au g . 1971.
15 1 J. Pe a r l , H . C. An d r e ws , a n d W . K . Pr a t t , " Pe r f o r m a n c e m e a s u r e s
f o r t r a n s f o r m d a t a c o d i n g ," IEEE Tr a n s . Co m m u n . Te c h n o l . ,
v o l . COM- 2 0 , p p . 411- 415 , Ju n e 1972 .
[ 6 1 W . K . Pr a t t , " W a l s h f u n c t i o n s i n i m a g e p r o c e s s i n g a n d t wo -
d i m e n s i o n a l f i l t e r i n g ," i n 1972 Pr o c . Sy m p . Ap p l i c a t i o n s o f W a l s h
Fu n c t i o n s , AD - 744 6 5 0 , p p . 14- 2 2 .
171 W . K . Pr a t t , L. R. W e l c h , a n d W . Ch e n , " Sl a n t t r a n s f o r m s i n i m a g e
c o d i n g ," i n 1972 Pr o c . Sy m p . Ap p l i c a t i o n s o f W a l s h Fu n c t i o n s ,
p p . 2 2 9- 2 3 4.
18 1 W . H . Ch e n a n d W . K . Pr a t t , " Co l o r i m a g e c o d i n g wi t h t h e s l a n t
t r a n s f o r m ," i n 1973 Pr o c . Sy m p . Ap p l i c a t i o n s o f W a l s h Fu n c t i o n s ,
AD - 76 3 0 0 0 , p p . 15 5 - 16 1.
[ 91 W . K . Pr a t t , " Sp a t i a l t r a n s f o r m c o d i n g o f c o l o r i m a g e s ," IEEE
Tr a n s . Co m m u n . Te c h n o l . , v o l . COM- 19, p p . 98 0 - 992 , D e c . 1971.
Mi n i m i z a t i o n o f Li n e a r Se q u e n t i a l Ma c h i n e s
CH I- TSONG CH EN
Ab s t r a c t - An a l g o r i t h m i s p r e s e n t e d t o m i n i m i z e l i n e a r s e q u e n t i a l
m a c h i n e s t o r e d u c e d f o r m .
In d e x Te r m s - Al g o r i t h m , l i n e a r m a c h i n e , m i n i m i z a t i o n , r e d u c e d m a -
c h i n e , r e d u c t i o n , s e q u e n t i a l m a c h i n e .
I. INTROD UCTION
Th e m i n i m i z a t i o n o f a l i n e a r s e q u e n t i a l m a c h i n e t o a r e d u c e d f o r m i s
a n i m p o r t a n t t o p i c a n d i s d i s c u s s e d i n m a n y t e x t s [ 1 - [ 4] . Th e m i n i -
m i z a t i o n p r o c e d u r e p r e s e n t e d i n [ 1] - [ 4] i s a s f o l l o ws . Le t { A, B, C, D }
b e a n n - d i m e n s i o n a l l i n e a r m a c h i n e o v e r G F( p ) , a n d l e t r , wi t h r < n ,
b e t h e r a n k o f t h e d i a g n o s t i c m a t r i x K A [ C' A' C' * * * ( A' ) 1n - C' T,
wh e r e t h e p r i m e s t a n d s f o r t h e t r a n s p o s e . D e f i n e a n r X n m a t r i x T
c o n s i s t i n g o f t h e f i r s t r l i n e a r l y i n d e p e n d e n t r o ws o f K , a n d a n n X r
m a t r i x R d e n o t i n g t h e r i g h t i n v e r s e o f T s o t h a t TR = L Th e n t h e l i n e a r
m a c h i n e { TAR, TB, CR, D } i s a r e d u c e d f o r m o f { A, B, C, D } . In t h i s
c o r r e s p o n d e n c e , a n a l g o r i t h m wi l l b e i n t r o d u c e d t o f i n d a s p e c i a l s e t o f
r l i n e a r l y i n d e p e n d e n t r o ws i n K . A r e d u c e d m a c h i n e c a n t h e n b e r e a d
o u t f r o m t h i s a l g o r i t h m wi t h o u t t h e n e e d o f i n v e r t i n g a n y m a t r i x .
Fu r t h e r m o r e , t h e r e d u c e d m a c h i n e wi l l b e i n a c a n o n i c a l f o r m .
II. ALG ORITH M
Le t C b e a q X n m a t r i x , a n d l e t
c i
b e t h e i t h r o w o f C. Th e d i a g n o s t i c
m a t r i x o f { A, B, C, D } wi l l b e a r r a n g e d i n t h e f o l l o wi n g o r d e r :
An - 1
Cq
c q A
c q
An - 1
( 1)
No w a n a l g o r i t h m wi l l b e i n t r o d u c e d t o f i n d t h e f i r s t r l i n e a r l y i n d e p e n -
d e n t r o ws i n P. Th i s i s a c h i e v e d b y a s e r i e s o f e l e m e n t a r y t r a n s f o r m a -
t i o n s . Le t
K r K r l
.
. .
K 2 K 1PA K P
( 2 )
wh e r e
K i a r e l o we r t r i a n g u l a r m a t r i c e s wi t h a l l d i a g o n a l e l e m e n t s u n i t y ,
a n d a r e o b t a i n e d i n t h e f o l l o wi n g m a n n e r . Le t p i ( j ) b e t h e f i r s t n o n -
z e r o e l e m e n t f r o m t h e l e f t i n t h e f i r s t r o w o f P, wh e r e / d e n o t e s t h e
p o s i t i o n . Th e n K 1 i s c h o s e n s o t h a t a l l , e x c e p t t h e f i r s t , e l e m e n t s o f t h e
j t h c o l u m n o f K 1P a r e z e r o . Le t p 2 ( 1) b e t h e f i r s t n o n z e r o e l e m e n t
f r o m t h e l e f t o f t h e s e c o n d r o w o f
K IP. Th e n K 2 i s c h o s e n s o t h a t a l l ,
e x c e p t t h e f i r s t t wo , e l e m e n t s o f t h e It h c o l u m n o f K 2 K 1P a r e z e r o .
Pr o c e e d i n t h i s m a n n e r u n t i l a l l l i n e a r l y i n d e p e n d e n t r o ws o f P a r e
f o u n d . No t e t h a t i n t h i s p r o c e s s , i f o n e r o w i s i d e n t i c a l l y z e r o , t h e n
p r o c e e d t o t h e n e x t n o n z e r o r o w. By m u l t i p l y i n g t h e s e
K i ,
we o b t a i n
K =
K r K r i l
. . .
K 2 K A.
No t e t h a t K P wi l l b e f i n a l l y o f f o r m
Ma n u s c r i p t r e c e i v e d Fe b r u a r y 2 1, 1973 ; r e v i s e d Ma y 2 1, 1973 .
Th e a u t h o r i s wi t h t h e D e p a r t m e n t o f El e c t r i c a l Sc i e n c e s , St a t e Un i -
v e r s i t y o f Ne w Yo r k , St o n y Br o o k , N. Y. 11790 .
93
Authorized licensed use limited to: IEEE Xplore. Downloaded on January 19, 2009 at 14:27 from IEEE Xplore. Restrictions apply.