You are on page 1of 25

Reconocimiento de caras con

caractersticas locales
Proyecto Final Reconocimiento de Patrones
Cecilia Aguerrebere y Germ
an Capdehourat
8 de marzo de 2006

Instituto de Ingeniera Electrica


Universidad de la Rep
ublica

Indice
1. Introducci
on

2. Selecci
on de conjuntos de trabajo

3. Preprocesado de la informaci
on
3.1. Normalizacion . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2. Marcado manual de puntos principales . . . . . . . . . . . . .

3
3
4

4. Extracci
on de caractersticas
4.1. Wavelets de Gabor . . . . .
4.1.1. Introduccion . . . .
4.1.2. Aplicacion a caras .
4.2. Local Binary Pattern (LBP)
4.2.1. Introduccion . . . .
4.2.2. Aplicacion a caras .
4.2.3. Nuestro enfoque . .

.
.
.
.
.
.
.

5
5
5
6
8
8
8
9

.
.
.
.
.

10
10
10
11
12
13

.
.
.
.

15
15
17
18
20

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.

5. Clasificaci
on
5.1. Clasificacion de patrones de Gabor
5.1.1. Similitud de Jets . . . . . .
5.1.2. Distancia entre patrones . .
5.2. Clasificacion de patrones de LBP .
5.3. Propuesta de Edicion... . . . . . .
6. Ensayos y Resultados
6.1. Con wavelets de Gabor... . . . . .
6.1.1. Primeras conclusiones sobre
6.2. Con LBP... . . . . . . . . . . . . .
6.2.1. Concluyendo sobre LBP . .

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

. . . . .
wavelets
. . . . .
. . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

7. Agrupamiento
21
7.1. Algoritmo basado en la matriz de similaridad . . . . . . . . . 21
7.2. Ensayos y resultados . . . . . . . . . . . . . . . . . . . . . . . 21
7.3. Sobre agrupamiento de patrones... . . . . . . . . . . . . . . . 23
8. Conclusiones Finales

23

1.

Introducci
on

Este trabajo se enmarca en un proyecto de reconocimiento de individuos por identificacion de rostro. En dicho proyecto se utiliza Elastic Bunch
Graph Matching (EBGM) como tecnica de reconocimiento.
Es objetivo de este analisis investigar aspectos basicos del funcionamiento de dicho algoritmo as como el potencial discriminador de los descriptores
por este utilizados.
As se pretende confirmar la eleccion de dicho algoritmo y encontrar una
cota superior de performance en lo que refiere al poder discriminativo de los
descriptores elegidos.
La tecnica de EBGM tiene basicamente dos etapas: la primera consiste
en ajustar un grafo de puntos principales a la cara del individuo, utilizando
para ello un modelo estadstico de dicho grafo; la segunda etapa extrae caractersticas locales en dichos puntos y halla la distancia del grafo obtenido
y sus descriptores al grafo almacenado de la persona a identificar. Dependiendo de la distancia encontrada se ratifica o no la identidad del individuo.
En este trabajo los puntos principales se marcan en forma manual, con
lo cual se suprimen los errores asociados al incorrecto ajuste del grafo. Esto
posibilita evaluar directamente el poder discriminativo de los descriptores,
dado que se esta en el caso optimo de ajuste de grafo.
En el proyecto mencionado se utiliza la implementacion del algoritmo
brindada por la CSU, Colorado State University [1], con lo cual se utilizara aqu dicha implementacion en todas las pruebas realizadas.
En el marco del proyecto de reconocimiento se creo una base de imagenes
de caras; es tambien objeto de este trabajo la evaluacion de dicha base.
Por u
ltimo cabe comentar el interes en evaluar la performance del operador Local Binary Patterns (LBP) como posible descriptor de caractersticas.

Este
es un descriptor con uso relativamente reciente en esta aplicacion y con
resultados prometedores.

2.

Selecci
on de conjuntos de trabajo

Se utiliza la base de datos de imagenes de caras del Instituto de Ingeniera Electrica [4]. De dicha base se seleccionan las cuatro imagenes frontales
obtenidas en la primera toma de cada individuo como conjunto de referencia.
Como patrones a clasificar se eligen las dos imagenes frontales de la segunda toma, la toma de perfil derecho, las tomas mirando hacia arriba y
hacia abajo y por u
ltimo la toma con iluminacion lateral.
Se seleccionan 47 individuos de la base de imagenes. Esto hace un total
de 188 prototipos en el conjunto de referencia (4 muestras de cada uno) y
conjuntos a clasificar de 94 muestras para el caso de frente (2 muestras de
cada uno) y 47 para el resto (1 muestra de cada uno).

3.

Preprocesado de la informaci
on

3.1.

Normalizaci
on

El primer paso en la generacion de los patrones es la normalizacion de


las imagenes. En este proceso se reduce el tama
no de las imagenes y se realizan transformaciones geometricas que ubican las coordenadas de los ojos
del individuo en posiciones predeterminadas.
Para ello se utiliza el ejecutable csuPreprocessNormalize de [1] que implementa los siguientes pasos:
1.

Se centran los valores de los pxeles en la media de la imagen original


de forma de obtener una se
nal de media nula.

2.

Suavizado de bordes en un margen de 20 pxeles.

3.

Normalizacion geometrica de la imagen de manera que las coordenadas


de los ojos pasan a tener un valor predeterminado ((40,85);(120,85)),
as como el tama
no de la misma (175x250).

4.

Se centran los valores de los pxeles en la media de la nueva imagen y se


realiza un escalado de los valores hasta obtener desviacion estandard
igual a uno.

5.

Suavizado de bordes en un margen de 30 pxeles. Esto se aplica nuevamente para evitar efectos de borde introducidos durante la normalizacion geometrica o de contraste.
El proceso antes descrito es aplicado a todas las imagenes utilizadas.

3.2.

Marcado manual de puntos principales

Tomando como referencia el algoritmo EBGM del CSU [2] decidimos


marcar de forma manual 15 puntos en la cara de cada individuo. Los puntos
elegidos se listan a continuacion y se pueden ver en la figura 1.
Ojo izquierdo:
1 izquierda (LEyeOutside)
2 arriba (LEyeBrowPeak)
3 centro (LEye)
4 derecha (LEyeInside)
Ojo derecho:
5 izquierda (REyeInside)
6 arriba (REyeBrowPeak)
7 centro (REye)
8 derecha (REyeOutside)
Nariz:
9 izquierda (LNoseBottom)
10 abajo (CNoseTip)
11 derecha (RNoseBottom)
Boca:
12 izquierda (LMouthCorner)
13 arriba (CMouthTop)
14 derecha (RMouthCorner)
15 abajo (CMouthBottom)

Figura 1: Marcado de puntos manual

4.

Extracci
on de caractersticas

Luego del preprocesado, pasamos a la etapa de extraccion de caractersticas. Basados en los puntos particulares de la cara marcados manualmente,
se extraen caractersticas locales que describen el entorno cercano a dichos
puntos. Como descriptores locales se utilizan dos opciones

Wavelets de Gabor
Local Binary Pattern

4.1.
4.1.1.

Wavelets de Gabor
Introducci
on

Wavelets y analisis de Fourier son ambas herramientas para analizar


una imagen en el dominio de la frecuencia. La diferencia entre ellas es que
mientras los wavelets operan en un sector localizado de la imagen, la transformada de Fourier opera sobre la imagen completa. Por lo tanto lo que
cambia es el n
ucleo con el que se convoluciona la imagen. En este caso se
trabaja con n
ucleos gaussianos cuya expresion es:
W (x, y, , f, , , ) = e

x02 + 2 y 02
2 2

cos(2f x0 + )

con
x0 = xcos + ysen
y 0 = xsen + ycos
5

x - Coordenada horizontal
y - Coordenada vertical
f - Frecuencia
- Fase
- Varianza de la gaussiana
- Relacion de aspecto
- Orientacion
En la figura 2 se muestran 3 ejemplos para entender la influencia de los
distintos parametros.
Ejemplo 1 : f= 81 , = 0o , = 0 y 2 = 1
1
Ejemplo 2 : f= 16
, = 45o , =

y 2 = 1

1
Ejemplo 3 : f= 16
, = 90o , = 0 y 2 = 2

En todos los casos se toma =


la onda se mantenga constante.

1
f

de forma que la cantidad de perodos de

Figura 2: Ejemplos de wavelets de Gabor

4.1.2.

Aplicaci
on a caras

Los elementos descriptores son aqu los denominados jets, resultado de


aplicar un banco de filtros de Gabor a la imagen normalizada y evaluar el
resultado en el punto principal deseado.
Para definir el banco de filtros, es necesario elegir un cierto juego de
parametros para generar los wavelets de Gabor explicados anteriormente.
Para las pruebas realizadas se utilizan dos conjuntos de parametros.
La primer configuracion sera referida como set de Wiskott y comprende:
6

Ocho valores de orientacion () en el intervalo 0 a , estos son:


3 4 5 6 7
{0, 8 , 2
8 , 8 , 8 , 8 , 8 , 8 }
Cinco valores de longitud de onda (), comenzando en 4 pxeles y
continuando

con:
{4, 4 2, 8, 8 2, 16}.
Dos valores de fase (), 0 y

2.

El radio () es proporcional a la longitud de onda.


La relacion de aspecto de la Gaussiana () es fija en el valor 1.
La segunda configuracion utilizada se denomina set de Nestares y se
diferencia de la anterior en los siguientes puntos:
Cuatro valores de orientacion () en el intervalo 0 a , estos son:
4 6
{0, 2
8 , 8 , 8 }
Cuatro valores de longitud de onda (), comenzando en 4 pxeles y
continuando con: {4, 8, 16, 32}.
Utilizando la herramienta csuEBGMFaceGraph [1] se extraen los descriptores en cada punto principal marcado. Este ejecutable simplemente calcula
el valor de los jets en cada punto principal se
nalado en la imagen de entrada.
Con esto tenemos que, para la configuracion de Wiskott, cada jet consta
de 40 n
umeros complejos (80 coeficientes = 8 orientaciones x 5 longitudes
de onda x 2 fases), resultado de la convolucion de la imagen normalizada
con cada filtro de Gabor correspondiente. Por lo cual una imagen queda representada por 600 n
umeros complejos (1200 coeficientes), resultado de 15
puntos principales por imagen y 40 n
umeros complejos por punto principal
marcado.
Jet: J = {j 1 , . . . , j 40 } donde los j i son n
umeros complejos.
1 , . . . , J 40 , . . . , . . . , J 1 , . . . J 40 }
Patr
on: P = {Jp1 , . . . , Jp15 } = {Jp1
p1
p15
p15

Mientras tanto, para la configuracion de Nestares, tenemos 16 n


umeros
complejos (32 coeficientes = 4 orientaciones x 4 longitudes de onda x 2 fases)
por cada jet. Con lo que, una imagen queda representada por 240 n
umeros
complejos (480 coeficientes), resultado de 15 puntos principales por imagen
y 16 n
umeros complejos por punto principal marcado.
Jet: J = {j 1 , . . . , j 16 } donde los j i son n
umeros complejos.
1 , . . . , J 16 , . . . , . . . , J 1 , . . . J 16 }
Patr
on: P = {Jp1 , . . . , Jp15 } = {Jp1
p15
p15
p1

4.2.
4.2.1.

Local Binary Pattern (LBP)


Introducci
on

El operador original LBP es una herramienta interesante como descriptor


de textura. Este operador etiqueta los pxeles de una imagen umbralizando una vecindad de 3x3 respecto al valor del pxel central y considerando
el resultado como un n
umero binario. Luego el histograma de las etiquetas
puede utilizarse como descriptor de textura. En la figura 3 se ilustra el funcionamiento del operador LBP basico.

Figura 3: Ejemplo del operador LBP


Algunas variantes al operador basico fueron introducidas mas adelante.
Una de ellas es el hecho de trabajar con entornos de tama
no variable. Usando vecindades circulares e interpolando los valores de los pxeles, cualquier
radio es valido.
Otra extension es el hecho de tomar en cuenta solamente los patrones
uniformes, siendo estos los que tienen al menos 2 transiciones 0-1 o 1-0.
Esto se apoya en el hecho de que la mayor parte de los patrones en una imagen son patrones uniformes. En [3] se puede ver mas en detalle este operador.

4.2.2.

Aplicaci
on a caras

El histograma obtenido mediante el procedimiento descrito contiene informacion acerca de la distribucion local de los micropatrones, como bordes,
puntos y otros, sobre la imagen completa. Para tener una representacion
eficiente de la cara es necesario ademas almacenar informacion espacial.
En [3] la imagen se divide en regiones uniformes mediante una grilla cuadricular (bloques 7x7). Luego se calculan los histogramas para cada bloque
y se concatenan todos para obtener el patron de la cara.
De esta forma se logra efectivamente una descripcion de la cara en 3
niveles diferentes de ubicacion: las etiquetas contienen informacion de los

patrones a nivel de los pxeles, los histogramas en una peque


na region producen informacion a nivel regional y los histogramas regionales son concatenados para crear una descripcion global de la cara.

4.2.3.

Nuestro enfoque

Para poder utilizar este descriptor aprovechando los puntos marcados,


se realizo una modificacion a lo hecho en [3].
En vez de usar todos los bloques de la imagen, se opto por usar solamente cuatro, pero definidos por los puntos obtenidos para los ojos, la nariz y
la boca. De esta manera los histogramas se calculan siempre en zonas relevantes de la cara.
Se puede ver un ejemplo de los bloques que se obtienen en la figura 4.
Vale aclarar que estos bloques son de tama
no variable porque dependen de
los puntos marcados manualmente, pero los histogramas obtenidos son de
tama
no fijo.

Figura 4: Ejemplo de los bloques utilizados para LBP


Como tama
no de las vecindades se trabaja con 3 radios diferentes: 1, 2
y 3. El largo de cada histograma es de 10, 18 y 26 respectivamente. Concatenando los 4 histogramas se obtiene el patron correspondiente a la cara.
Histogramas:
Hk = {h1 , . . . , hk+2 }
9

con k=8, 16 y 24.


Patrones:
H total = {H ojoi , H ojod , H nariz , H boca }
oi
od
od
n
n
b
b
Hktot = {hoi
1 , . . . , hk+2 , h1 , . . . , hk+2 , h1 , . . . , hk+2 , h1 , . . . , hk+2 }

1, . . . , h
4(k+2) }
Hktot = {h
con k=8, 16 y 24.

5.

Clasificaci
on

Se utilizan metodos de clasificacion de vecino mas cercano, especficamente las reglas 1-NN y 3-NN. Las distancias consideradas varan seg
un los
descriptores utilizados y seran detalladas en las secciones siguientes.

5.1.
5.1.1.

Clasificaci
on de patrones de Gabor
Similitud de Jets

La similitud de jets es utilizada para determinar la distancia entre los


diferentes patrones. Las medidas de similitud que se consideran son S , Sa
y SD .
La primer medida de similitud se define como
0

S (J, J ) =

PN

0
j=1 aj aj cos(j

qP

N
2
j=1 aj

0j )

02
j=1 aj

PN

donde J y J 0 son los jets a comparar, a, a0 , y 0 corresponden a modulo y fase de los n


umeros complejos de dichos jets, siendo N la cantidad de
n
umeros complejos en cada jet.
Esta medida se conoce como similitud de fase. Se basa en la magnitud
de la respuesta frecuencial, sin embargo, estos valores son pesados por la
similitud en la fase. Es as que se alcanzan altos scores solamente en el caso
en que ambos, magnitud y fase, sean similares.
La segunda medida se conoce como similitud de magnitud. Esta medida
considera u
nicamente la magnitud de la respuesta frecuencial. La informacion de fase no es utilizada.
10

PN

Sa (J, J ) = qP
N

0
j=1 aj aj

2
j=1 aj

02
j=1 aj

PN

Cada una de las anteriores medidas tiene ventajas y desventajas. S respondera correctamente a la informacion de fase de la imagen. Dado que la
informacion de fase cambia rapidamente con el desplazamiento, la medida
S tendra un valor bajo si los jets comparados provienen del mismo punto
principal pero estan desplazados una peque
na distancia. En dicho caso, la
medida Sa tendra un valor alto por no considerar la informacion de fase,
pero producira, por la misma razon, falsos positivos en otras oportunidades.
La u
ltima medida considerada, SD , pretende corregir peque
nos desplazamientos en la medida de similitud de fase. S D estima la similitud entre J
y J 0 como si J 0 fuese extrado de un punto a una distancia d~ de su ubicacion
actual.
~ =
SD (J, J , d)
0

PN

0
j=0 aj aj cos(j

qP

N
2
j=1 aj

~ k~j ))
(0j + d.
02
j=1 aj

PN

Esta medida de similitud se basa en ambos, magnitud y fase, y puede


compensar diferencias en fase debidas a peque
nos desplazamientos. Dado
que el vector d~ es desconocido, se plantean distintos metodos para determinar su valor.
El metodo utilizado toma una aproximacion de la funcion S D , mas precisamente una expansion de Taylor de dos terminos, y maximiza dicha funcion
para encontrar el desplazamiento optimo. Ver en [2] por mas informacion.

5.1.2.

Distancia entre patrones

Luego de definida la similitud de jets, definimos la similitud de patrones


como el valor medio de la similitud de todos los jets que los definen.
L(G, G0 ) =

n
1X
Sx (Ji , Ji0 )
n i=1

donde n es la cantidad de puntos principales por grafo, S x es un metodo


especfico de medida de similitud de jets, J i y Ji0 son jets del i-esimo punto
principal, perteneciente a los grafos G y G 0 .
Las medidas de similitud utilizadas durante las pruebas realizadas fueron
versiones de la similitud L(G, G0 ), donde Sx puede ser S , Sa y SD .

11

Dado que la clasificacion se realizara con tecnicas de vecino mas cercano


se necesita una medida de distancia. Como medida de distancia entre patrones se considera el negado de la similitud de los mismos.
Ademas de las tres distancias antes mencionadas se considero una cuarta
distancia que refleja la similitud geometrica de los grafos. Siendo los nodos de
dichos grafos los puntos principales marcados manualmente, esta distancia
geometrica mide la similitud de dos patrones basandose en las coordenadas
de dichos nodos.
En primer lugar se estima la transformacion lineal optima que lleva un
grafo en el otro, utilizando mnimos cuadrados. Se transforma el grafo original para acercarlo, a traves de dicha transformacion, al otro grafo y se
calcula la distancia entre ambos como la suma de la distancia Euclideana
entre nodos correspondientes.
Esta medida no hace uso de la informacion de los descriptores aqu considerados, los wavelets de Gabor, pero se hace un ajuste de posiciones previo
que s la utiliza.
Dicho ajuste consiste en desplazar los nodos de uno de los grafos seg
un
~
un vector de desplazamiento d, estimado utilizando las tecnicas detalladas
anteriormente. Como fuese mencionado, estas tecnicas estiman el desplazamiento en base a similitud de jets.
La herramienta utilizada para calcular dichas distancias es el ejecutable
csuEBGMMesure [1].

5.2.

Clasificaci
on de patrones de LBP

Para el caso de los patrones obtenidos mediante LBP la medida de similitud utilizada es una de las que se definen en [3], basada en la estadstica
2 . Para dos vectores A y B esta medida es:
2 (A, B) =

X (Ai Bi )2
i

Ai + B i

Si consideramos que cada region genera un vector y los patrones son la


concatenacion de los vectores generados, la distancia entre patrones queda:
2 (A, B) =

X (Aij Bij )2
i,j

Aij + Bij

donde j es el ndice en las regiones e i el ndice en cada vector.

12

Esto permite dar un peso distinto a cada region seg


un la relevancia que
se le quiera dar. La expresion de la distancia con pesos queda:
2wj (A, B) =

wj

i,j

5.3.

(Aij Bij )2
Aij + Bij

Propuesta de Edici
on...

Con el objetivo de mejorar la performance de la clasificacion, en terminos de tasa de acierto, se considera la idea de utilizar tecnicas de edicion del
conjunto de referencia.
Se hacen entonces algunos ensayos para verificar la utilidad de dicha herramienta en el conjunto de trabajo antes de proceder a utilizarla.
El conjunto de referencia consta de 4 muestras por clase (4 tomas de
frente por individuo). Se encuentran las tres muestras mas cercanas a cada
elemento del conjunto, utilizando distintas distancias. Los resultados obtenidos muestran que en la mayora de los casos las tres muestras mas cercanas a
la de prueba pertenecen a su misma clase. Los casos en que esto no ocurre son
utilizando la distancia que considera u
nicamente el modulo...
Muestra
19a
20a
31a
46a
07d
53d
20g
31g
46g
20j
31j

Mas cercano
28a
20j
31d
46g
07a
53j
20d
31j
46a
20d
31g

Segundo mas cercano


28d
20d
28j
46d
07j
53g
06g
31d
46d
20a
31d

13

Tercero mas cercano


28j
06d
43a
42g
12j
42j
20j
16a
42g
06j
16a

utilizando la distancia que agrega la fase...


Muestra
19a
20a
46a
54a
23d
41d
46d
53d
20g
46g
53g
59j

Mas cercano
19g
20j
46g
54d
23j
41a
46g
53j
20j
46a
53j
59d

Segundo mas cercano


19d
20d
46d
52d
23a
41g
46a
53a
20d
46d
53a
59a

Tercero mas cercano


28d
27a
16j
52g
27a
27a
02d
06j
51g
02d
59g
02d

utilizando la distancia que combina modulo y fase con estimacion de


desplazamiento...
Muestra
19a
20a
46a
53d
20g
46g

Mas cercano
19g
20j
46g
53g
20j
46a

Segundo mas cercano


19d
20d
46d
53j
20d
46d

Tercero mas cercano


28a
06j
06j
42j
02d
29d

El n
umero representa la clase y la letra la toma correspondiente, es decir
01a, 01 d, 01g y 01j son las cuatro tomas de frente del sujeto 01 que forman
la clase 01.
Se trabaja con un total de 188 prototipos, con lo cual en el peor caso, no
se cumple que los tres vecinos mas cercanos pertenezcan a la misma clase
en un 6.38 % (12 casos) del total de muestras. Esto se da para la segunda
distancia considerada, la que toma en cuenta la fase.
Las tecnicas de edicion utilizan clasificacion por reglas de k-NN, con
lo cual cabe se
nalar que si se utiliza la regla 1-NN, solo un patron resulta
mal clasificado para una de las distancias (la que considera u
nicamente el
modulo). Para las otras distancias todos los patrones resultan clasificados
correctamente.
Si se utiliza la regla de 3-NN, entonces resulta un patron mal clasificado
para las medidas que consideran modulo y fase, y todos los patrones correctamente clasificados para la medida combinada.
14

Concluimos entonces que no es de utilidad aplicar tecnicas de edicion


sobre el conjunto de referencia.
Para el caso de LBP no se considero hacer edicion.

6.

Ensayos y Resultados

Como fuese detallado anteriormente, el set de imagenes utilizado consta


de 6 imagenes frontales (4 de una primer toma y dos de una segunda toma),
1 de perfil derecho, 1 mirando hacia arriba, 1 mirando hacia abajo y 1 variando iluminacion, para cada individuo considerado.
Los ensayos realizados toman como conjunto de referencia las 4 imagenes frontales de la primer toma y como patrones a clasificar el resto de las
imagenes.
Se describen a continuacion las pruebas realizadas utilizando los distintos
descriptores.

6.1.

Con wavelets de Gabor...

Las pruebas realizadas a partir de los patrones descritos mediante wavelets de Gabor son:
Prueba 1
Parametros de filtos de Gabor seteados seg
un configuracion de Wiskott.
Se utilizan distancias de fase, magnitud y combinada con estimacion
de desplazamiento.
Se clasifica utilizando tecnicas de 1-NN y 3-NN.
Prueba 2
Parametros de filtos de Gabor seteados seg
un configuracion de Nestares.
Se utilizan distancias de fase, magnitud y combinada con estimacion
de desplazamiento.
Se clasifica utilizando tecnicas de 1-NN y 3-NN.

15

Los resultados obtenidos para la prueba 1, utilizando clasificacion 1NN, fueron:

Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas

Modulo
98.8 %
91.3 %
93.5 %
65.2 %
76.1 %
87.1 %

Distancias
Fase
Combinada
100 %
100 %
91.3 %
97.8 %
89.1 %
95.6 %
72 %
76.1 %
80.4 %
93.5 %
88.5 %
93.7 %

Geometrica
93.0 %
60.1 %
54.3 %
73.9 %
78.3 %
74.8 %

Los resultados obtenidos para la prueba 1, utilizando clasificacion 3NN, fueron:

Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas

Modulo
98.8 %
91.3 %
93.5 %
67.4 %
76.1 %
87.4 %

Distancias
Fase
Combinada
100 %
100 %
91.3 %
93.5 %
91.3 %
95.7 %
73.9 %
73.9 %
82.6 %
89.1 %
89.6 %
91.9 %

Geometrica
91.8 %
63.0 %
54.3 %
71.7 %
78.3 %
74.8 %

Los resultados obtenidos para la prueba 2, utilizando clasificacion 1NN, fueron:

Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas

Modulo
96.5 %
73.9 %
97.8 %
50 %
26.1 %
72.9 %

Distancias
Fase
Combinada
97.7 %
97.7 %
91.3 %
91.3 %
97.8 %
97.8 %
78.3 %
76.1 %
60.9 %
47.8 %
87.0 %
84.4 %

Geometrica
95.3 %
47.8 %
56.5 %
63.0 %
56.5 %
68.5 %

Los resultados obtenidos para la prueba 2, utilizando clasificacion 3NN, fueron:

16

Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas
6.1.1.

Modulo
96.5 %
76.1 %
95.6 %
47.8 %
28.3 %
72.9 %

Distancias
Fase
Combinada
98.8 %
97.7 %
89.1 %
91.3 %
97.8 %
97.8 %
78.3 %
69.5 %
56.5 %
50.0 %
86.3 %
83.7 %

Geometrica
96.5 %
50.0 %
56.5 %
60.9 %
52.1 %
68.1 %

Primeras conclusiones sobre wavelets

Comenzamos analizando como influye la dimension de los patrones, dada por las distintas configuraciones utilizadas (Wiskott y Nestares), en la
performance de los descriptores.
La configuracion de Wiskott genera patrones de dimension 1200, mientras que Nestares utiliza 480 coeficientes. Observando las tablas de resultados vemos que este incremento de informacion implica distintas mejoras,
dependiendo de la toma y medida consideradas.
Por ejemplo, para las imagenes de frente, con la mayor dimension el
reconocimiento se incrementa en aproximadamente un 2 % para todas las
medidas. Mientras que para los casos de perfil el incremento mas marcado
se da para las distancias que consideran el modulo y la geometra.
Por otro lado, para la toma mirando hacia arriba se observa un leve incremento en la performance al utilizar los patrones de menor dimension. No
ocurre lo mismo con la toma mirando hacia abajo, donde aumenta el porcentaje de reconocimiento al aumentar la dimension, principalmente para
las medidas que consideran el modulo y la geometra.
Por u
ltimo observamos la relacion dimensionalidad - iluminacion. Se puede verificar una importante mejora en la performance al incrementar la dimension para todas las medidas consideradas.
Concluimos entonces que para los casos mas sencillos, tomas de frente y
mirando hacia arriba, el incremento en la dimension no trae consigo grandes
beneficios; mientras que para los demas casos el incremento en la dimension
tiene un rol clave en la performance, principalmente para las medidas menos
complejas.
Comparando los resultados obtenidos con los distintos metodos de clasificacion, 1-NN y 3-NN, vemos que no hay grandes diferencias. La performance

17

de reconocimiento no se ve muy afectada por el cambio de clasificador de


1-NN a 3-NN.
Con respecto a las distancias utilizadas, como era de esperarse los mejores resultados se dan para las distancias que consideran fase y combinacion

de fase y magnitud con estimacion de desplazamiento. Estas


distancias son
las mas complejas y las que contemplan mas informacion.
Si comparamos dichas distancias con las que consideran el modulo y la
geometra observamos un notorio incremento en los porcentajes de reconocimiento.
Cabe aclarar que la distancia que considera u
nicamente el modulo tiene
la ventaja de requerir menos calculo con lo que es preferible en tema de
tiempos. De todas maneras el incremento de tiempo que implican las distancias de fase y combinada no opaca su beneficio en performance.
Con respecto a la distancia con caractersticas geometricas, dado que
realiza un ajuste de posicion con estimacion de desplazamiento, no tiene
ventajas respecto a tiempos.

6.2.

Con LBP...

Las pruebas realizadas a partir de los patrones descritos mediante LBP


son:
Prueba 1
Descriptores LBP de radios 1, 2 y 3.
Se utiliza la distancia sin pesos.
Se clasifica utilizando tecnicas de 1-NN y 3-NN.
Prueba 2
Descriptores LBP de radios 1, 2 y 3.
Se utiliza la distancia con pesos.
Se clasifica utilizando tecnicas de 1-NN y 3-NN.

18

Los resultados obtenidos para la prueba 1 utilizando clasificacion 1NN, fueron:

Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas

LBP 8
46.8 %
38.3 %
21.3 %
25.5 %
21.3 %
33.3 %

Descriptor
LBP 16 LBP 24
52.1 %
63.8 %
34.0 %
44.7 %
31.9 %
46.8 %
27.7 %
31.9 %
27.7 %
25.5 %
37.6 %
46.1 %

Los resultados obtenidos para la prueba 1 utilizando clasificacion 3NN, fueron:

Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas

LBP 8
47.9 %
40.4 %
38.3 %
27.7 %
36.2 %
39.7 %

Descriptor
LBP 16 LBP 24
73.4 %
81.9 %
53.2 %
63.8 %
51.1 %
51.1 %
40.4 %
48.9 %
31.9 %
40.4 %
53.9 %
61.3 %

Los resultados obtenidos para la prueba 2 utilizando clasificacion 1NN, fueron:

Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas

LBP 8
50.0 %
40.4 %
19.1 %
17.0 %
36.2 %
35.5 %

Descriptor
LBP 16 LBP 24
58.5 %
64.9 %
40.4 %
53.2 %
44.7 %
44.7 %
23.4 %
29.8 %
29.8 %
40.4 %
42.6 %
49.6 %

Los resultados obtenidos para la prueba 2 utilizando clasificacion 3NN, fueron:

19

Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas
6.2.1.

LBP 8
41.5 %
38.3 %
40.4 %
27.7 %
42.6 %
38.7 %

Descriptor
LBP 16 LBP 24
69.1 %
84.0 %
55.3 %
61.7 %
46.8 %
53.2 %
36.2 %
38.3 %
38.3 %
46.8 %
52.5 %
61.3 %

Concluyendo sobre LBP

Como mencionamos anteriormente la idea era tener un primer acercamiento con este descriptor de textura, por lo que los resultados obtenidos,
no siendo muy prometedores, nos sirven para sacar algunas conclusiones.
Cabe aclarar ademas que la dimension de los vectores de caractersticas
utilizados con LBP son mucho menores que los utilizados con los descriptores de Gabor.
El LBP24 es el que arroja los mejores resultados, lo cual era esperable
por tratarse del vector de caractersticas de mayor dimension y el mas acorde al tama
no de los bloques elegidos. Si bien es el que toma mas tiempo, la
diferencia es despreciable.
En cuanto a la regla de clasificacion, los mejores resultados fueron con
3-NN lo que se explica por el hecho de que los datos estan mezclados entre
s por lo que al tomar mas vecinos la clasificacion mejora.
El hecho de utilizar la medida de distancia con pesos no mejora mucho
los resultados pero se gana un 2 % para el caso de frente con 3-NN (mejor
de todos).
No se obtienen buenos resultados con las diferentes poses ni con la iluminacion lateral, siendo el mejor caso el de perfil.
Si bien los resultados obtenidos no alcanzan para sacar conclusiones rotundas acerca de este descriptor, los mejores resultados para el caso de frente
junto con el hecho de que se trabaja con muy baja dimension, hacen de LBP
un promisorio descriptor para la clasificacion de caras.

20

7.

Agrupamiento

Para complementar el trabajo final del curso, trabajamos con un algoritmo de agrupamiento basado en la matriz de similaridad, como forma de
estudiar la base del IIE y las medidas de distancia utilizadas. Para esta parte
solo consideramos los patrones obtenidos con los wavelets de Gabor.

7.1.

Algoritmo basado en la matriz de similaridad

La matriz de similaridad es una matriz cuadrada que se emplea para


expresar el grado de similaridad entre cualquier pareja de patrones.
Si N es el n
umero de patrones, la matriz de similaridad S, es una matriz
N x N:
Si,j =

1 si (Xi , Xj )
0 si (Xi , Xj ) >

Considerando esta matriz como la matriz de adyacencias de un grafo


donde cada nodo corresponde a un patron, es posible hallar distintos agrupamientos definidos por las componentes conexas de este grafo.
El parametro , que define la tolerancia para decir si dos nodos son
adyacentes o no, define la cantidad de conjuntos que se forman al obtener
los agrupamientos.

7.2.

Ensayos y resultados

Se realizan distintas pruebas, cambiando el conjunto de patrones seleccionado y la distancia elegida, de forma de ver si surgen agrupamientos
correspondientes con alguna caracterstica fsica (color de pelo, facciones,
etc.) o similares caractersticas de la toma (misma pose, ilumincacion, etc.).
El parametro se vara desde el punto en que todos los patrones quedan en
clases distintas hasta que todos se ubican en una u
nica clase.
En primer termino tomamos las 6 imagenes frontales de cada individuo.
Al mover el parametro pasamos por un punto donde se forma practicamente un agrupamiento por individuo, lo cual es razonable puesto que la
metrica es la misma que la utilizada en la clasificacion donde los resultados
fueron muy buenos.
Luego no se observa la creacion de agrupamientos bien diferenciados
que correspondan a caractersticas faciales comunes, sino que a partir de un
determinado valor del umbral, todos los patrones quedan en una u
nica clase.

21

Seguidamente se hacen distintas pruebas, por ejemplo considerando las


tomas mirando hacia arriba y hacia abajo, para verificar si se juntan las de
igual pose. Esto tampoco ocurre.
En este caso los agrupamientos por individuo son con mayor error (la
clasificacion en este caso resulto peor) pero luego nuevamente se llega a cierto umbral en el que la mayora de los patrones quedan en una u
nica clase
y solo tenemos pocos patrones aislados que no responden a agrupamientos
claros.
Estas pruebas se realizan para las distintas distancias (fase, magnitud y
combinada) y los resultados son similares para todas.
Para ilustrar graficamente los resultados obtenidos, en la figura 5 podemos ver los agrupamientos generados al variar para el caso de las imagenes
frontales utilizando la distancia combinada. Se puede apreciar claramente como en cierto punto pasamos de tener muchas clases con pocos patrones a
tener una clase dominante donde se agrupan la mayora de los mismos.

Figura 5: Ejemplo de agrupamiento por matriz de similaridad

22

7.3.

Sobre agrupamiento de patrones...

En las pruebas realizadas con las distintas distancias no se generan agrupamientos debido a rasgos similares o condiciones comunes. Esto es una gran
propiedad para el descriptor en cuestion a la hora de utilizarlo para reconocimiento de personas porque implica que el mismo tiene gran poder de
discriminacion.
Ademas revela que lo se guarda de cada individuo caracteriza solamente
a esa persona y no tienen tanto peso cuestiones como la pose y la iluminacion. Si bien esta claro que estas caractersticas pueden complicar el reconocimiento, la propiedad antes mencionada implica que no llevan a que la
descripcion sea similar a la de otra persona.

8.

Conclusiones Finales

Retomando los objetivos iniciales de este trabajo y observando los resultados obtenidos, cabe aclarar que se ratifica la eleccion del algoritmo Elastic
Bunch Graph Matching como tecnica de reconocimiento de individuos.
Los porcentajes de identificacion obtenidos constituyen una cota superior prometedora para la posterior implementacion del algoritmo en toda su
expresion.
El uso de los wavelets de Gabor como descriptor demostro propiedades
importantes para el reconocimiento de caras verificadas en las pruebas de
clustering.
El acercamiento al operador LBP, si bien fue primario, mostro la posibilidad de obtener buenos resultados.
Con respecto a la evaluacion de la base de imagenes, no se puede decir
de esta una evaluacion exhaustiva pero s una exitosa primera prueba donde
se verifico la utilidad de la base para la clasificacion de los individuos.

23

Referencias
[1] http : //www.cs.colostate.edu/evalf acerec/algorithms5.html D.S.
Bolme, J.R. Beveridge, M. Teixeira, B.A. Draper, Evaluation of fa
ce recognition algorithms. Ultima
actualizacion Martes 20 de Abril de
2004.
[2] http : //www.cs.colostate.edu/evalf acerec/papers/EBGM T hesis F inal.pdf
Elastic Bunch Graph Matching, David Bolme, Masters Thesis, CSU
Computer Science Department Junio de 2003.
[3] T. Ahonen, A. Hadid, M. Pietikainen, Face recognition with local binary patterns,Machine Vision Group, Infotech Oulu, University of Oulu, Finland, in the 8th European Conference on Computer Vision, Mayo
2004, vol. 1 : 469-481.
[4] Base de caras del IIE. Documentacion del 1er entregable del proyecto
de fin de carrera.
[5] Notas del curso Introduccion al reconocimiento de formas, Francisco
Jose Cortijo Bon, Octubre de 2001.

24

You might also like