Professional Documents
Culture Documents
caractersticas locales
Proyecto Final Reconocimiento de Patrones
Cecilia Aguerrebere y Germ
an Capdehourat
8 de marzo de 2006
Indice
1. Introducci
on
2. Selecci
on de conjuntos de trabajo
3. Preprocesado de la informaci
on
3.1. Normalizacion . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2. Marcado manual de puntos principales . . . . . . . . . . . . .
3
3
4
4. Extracci
on de caractersticas
4.1. Wavelets de Gabor . . . . .
4.1.1. Introduccion . . . .
4.1.2. Aplicacion a caras .
4.2. Local Binary Pattern (LBP)
4.2.1. Introduccion . . . .
4.2.2. Aplicacion a caras .
4.2.3. Nuestro enfoque . .
.
.
.
.
.
.
.
5
5
5
6
8
8
8
9
.
.
.
.
.
10
10
10
11
12
13
.
.
.
.
15
15
17
18
20
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5. Clasificaci
on
5.1. Clasificacion de patrones de Gabor
5.1.1. Similitud de Jets . . . . . .
5.1.2. Distancia entre patrones . .
5.2. Clasificacion de patrones de LBP .
5.3. Propuesta de Edicion... . . . . . .
6. Ensayos y Resultados
6.1. Con wavelets de Gabor... . . . . .
6.1.1. Primeras conclusiones sobre
6.2. Con LBP... . . . . . . . . . . . . .
6.2.1. Concluyendo sobre LBP . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. . . . .
wavelets
. . . . .
. . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7. Agrupamiento
21
7.1. Algoritmo basado en la matriz de similaridad . . . . . . . . . 21
7.2. Ensayos y resultados . . . . . . . . . . . . . . . . . . . . . . . 21
7.3. Sobre agrupamiento de patrones... . . . . . . . . . . . . . . . 23
8. Conclusiones Finales
23
1.
Introducci
on
Este trabajo se enmarca en un proyecto de reconocimiento de individuos por identificacion de rostro. En dicho proyecto se utiliza Elastic Bunch
Graph Matching (EBGM) como tecnica de reconocimiento.
Es objetivo de este analisis investigar aspectos basicos del funcionamiento de dicho algoritmo as como el potencial discriminador de los descriptores
por este utilizados.
As se pretende confirmar la eleccion de dicho algoritmo y encontrar una
cota superior de performance en lo que refiere al poder discriminativo de los
descriptores elegidos.
La tecnica de EBGM tiene basicamente dos etapas: la primera consiste
en ajustar un grafo de puntos principales a la cara del individuo, utilizando
para ello un modelo estadstico de dicho grafo; la segunda etapa extrae caractersticas locales en dichos puntos y halla la distancia del grafo obtenido
y sus descriptores al grafo almacenado de la persona a identificar. Dependiendo de la distancia encontrada se ratifica o no la identidad del individuo.
En este trabajo los puntos principales se marcan en forma manual, con
lo cual se suprimen los errores asociados al incorrecto ajuste del grafo. Esto
posibilita evaluar directamente el poder discriminativo de los descriptores,
dado que se esta en el caso optimo de ajuste de grafo.
En el proyecto mencionado se utiliza la implementacion del algoritmo
brindada por la CSU, Colorado State University [1], con lo cual se utilizara aqu dicha implementacion en todas las pruebas realizadas.
En el marco del proyecto de reconocimiento se creo una base de imagenes
de caras; es tambien objeto de este trabajo la evaluacion de dicha base.
Por u
ltimo cabe comentar el interes en evaluar la performance del operador Local Binary Patterns (LBP) como posible descriptor de caractersticas.
Este
es un descriptor con uso relativamente reciente en esta aplicacion y con
resultados prometedores.
2.
Selecci
on de conjuntos de trabajo
Se utiliza la base de datos de imagenes de caras del Instituto de Ingeniera Electrica [4]. De dicha base se seleccionan las cuatro imagenes frontales
obtenidas en la primera toma de cada individuo como conjunto de referencia.
Como patrones a clasificar se eligen las dos imagenes frontales de la segunda toma, la toma de perfil derecho, las tomas mirando hacia arriba y
hacia abajo y por u
ltimo la toma con iluminacion lateral.
Se seleccionan 47 individuos de la base de imagenes. Esto hace un total
de 188 prototipos en el conjunto de referencia (4 muestras de cada uno) y
conjuntos a clasificar de 94 muestras para el caso de frente (2 muestras de
cada uno) y 47 para el resto (1 muestra de cada uno).
3.
Preprocesado de la informaci
on
3.1.
Normalizaci
on
2.
3.
4.
5.
Suavizado de bordes en un margen de 30 pxeles. Esto se aplica nuevamente para evitar efectos de borde introducidos durante la normalizacion geometrica o de contraste.
El proceso antes descrito es aplicado a todas las imagenes utilizadas.
3.2.
4.
Extracci
on de caractersticas
Luego del preprocesado, pasamos a la etapa de extraccion de caractersticas. Basados en los puntos particulares de la cara marcados manualmente,
se extraen caractersticas locales que describen el entorno cercano a dichos
puntos. Como descriptores locales se utilizan dos opciones
Wavelets de Gabor
Local Binary Pattern
4.1.
4.1.1.
Wavelets de Gabor
Introducci
on
x02 + 2 y 02
2 2
cos(2f x0 + )
con
x0 = xcos + ysen
y 0 = xsen + ycos
5
x - Coordenada horizontal
y - Coordenada vertical
f - Frecuencia
- Fase
- Varianza de la gaussiana
- Relacion de aspecto
- Orientacion
En la figura 2 se muestran 3 ejemplos para entender la influencia de los
distintos parametros.
Ejemplo 1 : f= 81 , = 0o , = 0 y 2 = 1
1
Ejemplo 2 : f= 16
, = 45o , =
y 2 = 1
1
Ejemplo 3 : f= 16
, = 90o , = 0 y 2 = 2
1
f
4.1.2.
Aplicaci
on a caras
con:
{4, 4 2, 8, 8 2, 16}.
Dos valores de fase (), 0 y
2.
4.2.
4.2.1.
4.2.2.
Aplicaci
on a caras
El histograma obtenido mediante el procedimiento descrito contiene informacion acerca de la distribucion local de los micropatrones, como bordes,
puntos y otros, sobre la imagen completa. Para tener una representacion
eficiente de la cara es necesario ademas almacenar informacion espacial.
En [3] la imagen se divide en regiones uniformes mediante una grilla cuadricular (bloques 7x7). Luego se calculan los histogramas para cada bloque
y se concatenan todos para obtener el patron de la cara.
De esta forma se logra efectivamente una descripcion de la cara en 3
niveles diferentes de ubicacion: las etiquetas contienen informacion de los
4.2.3.
Nuestro enfoque
1, . . . , h
4(k+2) }
Hktot = {h
con k=8, 16 y 24.
5.
Clasificaci
on
Se utilizan metodos de clasificacion de vecino mas cercano, especficamente las reglas 1-NN y 3-NN. Las distancias consideradas varan seg
un los
descriptores utilizados y seran detalladas en las secciones siguientes.
5.1.
5.1.1.
Clasificaci
on de patrones de Gabor
Similitud de Jets
S (J, J ) =
PN
0
j=1 aj aj cos(j
qP
N
2
j=1 aj
0j )
02
j=1 aj
PN
PN
Sa (J, J ) = qP
N
0
j=1 aj aj
2
j=1 aj
02
j=1 aj
PN
Cada una de las anteriores medidas tiene ventajas y desventajas. S respondera correctamente a la informacion de fase de la imagen. Dado que la
informacion de fase cambia rapidamente con el desplazamiento, la medida
S tendra un valor bajo si los jets comparados provienen del mismo punto
principal pero estan desplazados una peque
na distancia. En dicho caso, la
medida Sa tendra un valor alto por no considerar la informacion de fase,
pero producira, por la misma razon, falsos positivos en otras oportunidades.
La u
ltima medida considerada, SD , pretende corregir peque
nos desplazamientos en la medida de similitud de fase. S D estima la similitud entre J
y J 0 como si J 0 fuese extrado de un punto a una distancia d~ de su ubicacion
actual.
~ =
SD (J, J , d)
0
PN
0
j=0 aj aj cos(j
qP
N
2
j=1 aj
~ k~j ))
(0j + d.
02
j=1 aj
PN
5.1.2.
n
1X
Sx (Ji , Ji0 )
n i=1
11
5.2.
Clasificaci
on de patrones de LBP
Para el caso de los patrones obtenidos mediante LBP la medida de similitud utilizada es una de las que se definen en [3], basada en la estadstica
2 . Para dos vectores A y B esta medida es:
2 (A, B) =
X (Ai Bi )2
i
Ai + B i
X (Aij Bij )2
i,j
Aij + Bij
12
wj
i,j
5.3.
(Aij Bij )2
Aij + Bij
Propuesta de Edici
on...
Con el objetivo de mejorar la performance de la clasificacion, en terminos de tasa de acierto, se considera la idea de utilizar tecnicas de edicion del
conjunto de referencia.
Se hacen entonces algunos ensayos para verificar la utilidad de dicha herramienta en el conjunto de trabajo antes de proceder a utilizarla.
El conjunto de referencia consta de 4 muestras por clase (4 tomas de
frente por individuo). Se encuentran las tres muestras mas cercanas a cada
elemento del conjunto, utilizando distintas distancias. Los resultados obtenidos muestran que en la mayora de los casos las tres muestras mas cercanas a
la de prueba pertenecen a su misma clase. Los casos en que esto no ocurre son
utilizando la distancia que considera u
nicamente el modulo...
Muestra
19a
20a
31a
46a
07d
53d
20g
31g
46g
20j
31j
Mas cercano
28a
20j
31d
46g
07a
53j
20d
31j
46a
20d
31g
13
Mas cercano
19g
20j
46g
54d
23j
41a
46g
53j
20j
46a
53j
59d
Mas cercano
19g
20j
46g
53g
20j
46a
El n
umero representa la clase y la letra la toma correspondiente, es decir
01a, 01 d, 01g y 01j son las cuatro tomas de frente del sujeto 01 que forman
la clase 01.
Se trabaja con un total de 188 prototipos, con lo cual en el peor caso, no
se cumple que los tres vecinos mas cercanos pertenezcan a la misma clase
en un 6.38 % (12 casos) del total de muestras. Esto se da para la segunda
distancia considerada, la que toma en cuenta la fase.
Las tecnicas de edicion utilizan clasificacion por reglas de k-NN, con
lo cual cabe se
nalar que si se utiliza la regla 1-NN, solo un patron resulta
mal clasificado para una de las distancias (la que considera u
nicamente el
modulo). Para las otras distancias todos los patrones resultan clasificados
correctamente.
Si se utiliza la regla de 3-NN, entonces resulta un patron mal clasificado
para las medidas que consideran modulo y fase, y todos los patrones correctamente clasificados para la medida combinada.
14
6.
Ensayos y Resultados
6.1.
Las pruebas realizadas a partir de los patrones descritos mediante wavelets de Gabor son:
Prueba 1
Parametros de filtos de Gabor seteados seg
un configuracion de Wiskott.
Se utilizan distancias de fase, magnitud y combinada con estimacion
de desplazamiento.
Se clasifica utilizando tecnicas de 1-NN y 3-NN.
Prueba 2
Parametros de filtos de Gabor seteados seg
un configuracion de Nestares.
Se utilizan distancias de fase, magnitud y combinada con estimacion
de desplazamiento.
Se clasifica utilizando tecnicas de 1-NN y 3-NN.
15
Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas
Modulo
98.8 %
91.3 %
93.5 %
65.2 %
76.1 %
87.1 %
Distancias
Fase
Combinada
100 %
100 %
91.3 %
97.8 %
89.1 %
95.6 %
72 %
76.1 %
80.4 %
93.5 %
88.5 %
93.7 %
Geometrica
93.0 %
60.1 %
54.3 %
73.9 %
78.3 %
74.8 %
Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas
Modulo
98.8 %
91.3 %
93.5 %
67.4 %
76.1 %
87.4 %
Distancias
Fase
Combinada
100 %
100 %
91.3 %
93.5 %
91.3 %
95.7 %
73.9 %
73.9 %
82.6 %
89.1 %
89.6 %
91.9 %
Geometrica
91.8 %
63.0 %
54.3 %
71.7 %
78.3 %
74.8 %
Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas
Modulo
96.5 %
73.9 %
97.8 %
50 %
26.1 %
72.9 %
Distancias
Fase
Combinada
97.7 %
97.7 %
91.3 %
91.3 %
97.8 %
97.8 %
78.3 %
76.1 %
60.9 %
47.8 %
87.0 %
84.4 %
Geometrica
95.3 %
47.8 %
56.5 %
63.0 %
56.5 %
68.5 %
16
Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas
6.1.1.
Modulo
96.5 %
76.1 %
95.6 %
47.8 %
28.3 %
72.9 %
Distancias
Fase
Combinada
98.8 %
97.7 %
89.1 %
91.3 %
97.8 %
97.8 %
78.3 %
69.5 %
56.5 %
50.0 %
86.3 %
83.7 %
Geometrica
96.5 %
50.0 %
56.5 %
60.9 %
52.1 %
68.1 %
Comenzamos analizando como influye la dimension de los patrones, dada por las distintas configuraciones utilizadas (Wiskott y Nestares), en la
performance de los descriptores.
La configuracion de Wiskott genera patrones de dimension 1200, mientras que Nestares utiliza 480 coeficientes. Observando las tablas de resultados vemos que este incremento de informacion implica distintas mejoras,
dependiendo de la toma y medida consideradas.
Por ejemplo, para las imagenes de frente, con la mayor dimension el
reconocimiento se incrementa en aproximadamente un 2 % para todas las
medidas. Mientras que para los casos de perfil el incremento mas marcado
se da para las distancias que consideran el modulo y la geometra.
Por otro lado, para la toma mirando hacia arriba se observa un leve incremento en la performance al utilizar los patrones de menor dimension. No
ocurre lo mismo con la toma mirando hacia abajo, donde aumenta el porcentaje de reconocimiento al aumentar la dimension, principalmente para
las medidas que consideran el modulo y la geometra.
Por u
ltimo observamos la relacion dimensionalidad - iluminacion. Se puede verificar una importante mejora en la performance al incrementar la dimension para todas las medidas consideradas.
Concluimos entonces que para los casos mas sencillos, tomas de frente y
mirando hacia arriba, el incremento en la dimension no trae consigo grandes
beneficios; mientras que para los demas casos el incremento en la dimension
tiene un rol clave en la performance, principalmente para las medidas menos
complejas.
Comparando los resultados obtenidos con los distintos metodos de clasificacion, 1-NN y 3-NN, vemos que no hay grandes diferencias. La performance
17
6.2.
Con LBP...
18
Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas
LBP 8
46.8 %
38.3 %
21.3 %
25.5 %
21.3 %
33.3 %
Descriptor
LBP 16 LBP 24
52.1 %
63.8 %
34.0 %
44.7 %
31.9 %
46.8 %
27.7 %
31.9 %
27.7 %
25.5 %
37.6 %
46.1 %
Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas
LBP 8
47.9 %
40.4 %
38.3 %
27.7 %
36.2 %
39.7 %
Descriptor
LBP 16 LBP 24
73.4 %
81.9 %
53.2 %
63.8 %
51.1 %
51.1 %
40.4 %
48.9 %
31.9 %
40.4 %
53.9 %
61.3 %
Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas
LBP 8
50.0 %
40.4 %
19.1 %
17.0 %
36.2 %
35.5 %
Descriptor
LBP 16 LBP 24
58.5 %
64.9 %
40.4 %
53.2 %
44.7 %
44.7 %
23.4 %
29.8 %
29.8 %
40.4 %
42.6 %
49.6 %
19
Tomas
Frente
Perfil derecho
Mirando arriba
Mirando abajo
Iluminacion
Todas
6.2.1.
LBP 8
41.5 %
38.3 %
40.4 %
27.7 %
42.6 %
38.7 %
Descriptor
LBP 16 LBP 24
69.1 %
84.0 %
55.3 %
61.7 %
46.8 %
53.2 %
36.2 %
38.3 %
38.3 %
46.8 %
52.5 %
61.3 %
Como mencionamos anteriormente la idea era tener un primer acercamiento con este descriptor de textura, por lo que los resultados obtenidos,
no siendo muy prometedores, nos sirven para sacar algunas conclusiones.
Cabe aclarar ademas que la dimension de los vectores de caractersticas
utilizados con LBP son mucho menores que los utilizados con los descriptores de Gabor.
El LBP24 es el que arroja los mejores resultados, lo cual era esperable
por tratarse del vector de caractersticas de mayor dimension y el mas acorde al tama
no de los bloques elegidos. Si bien es el que toma mas tiempo, la
diferencia es despreciable.
En cuanto a la regla de clasificacion, los mejores resultados fueron con
3-NN lo que se explica por el hecho de que los datos estan mezclados entre
s por lo que al tomar mas vecinos la clasificacion mejora.
El hecho de utilizar la medida de distancia con pesos no mejora mucho
los resultados pero se gana un 2 % para el caso de frente con 3-NN (mejor
de todos).
No se obtienen buenos resultados con las diferentes poses ni con la iluminacion lateral, siendo el mejor caso el de perfil.
Si bien los resultados obtenidos no alcanzan para sacar conclusiones rotundas acerca de este descriptor, los mejores resultados para el caso de frente
junto con el hecho de que se trabaja con muy baja dimension, hacen de LBP
un promisorio descriptor para la clasificacion de caras.
20
7.
Agrupamiento
Para complementar el trabajo final del curso, trabajamos con un algoritmo de agrupamiento basado en la matriz de similaridad, como forma de
estudiar la base del IIE y las medidas de distancia utilizadas. Para esta parte
solo consideramos los patrones obtenidos con los wavelets de Gabor.
7.1.
1 si (Xi , Xj )
0 si (Xi , Xj ) >
7.2.
Ensayos y resultados
Se realizan distintas pruebas, cambiando el conjunto de patrones seleccionado y la distancia elegida, de forma de ver si surgen agrupamientos
correspondientes con alguna caracterstica fsica (color de pelo, facciones,
etc.) o similares caractersticas de la toma (misma pose, ilumincacion, etc.).
El parametro se vara desde el punto en que todos los patrones quedan en
clases distintas hasta que todos se ubican en una u
nica clase.
En primer termino tomamos las 6 imagenes frontales de cada individuo.
Al mover el parametro pasamos por un punto donde se forma practicamente un agrupamiento por individuo, lo cual es razonable puesto que la
metrica es la misma que la utilizada en la clasificacion donde los resultados
fueron muy buenos.
Luego no se observa la creacion de agrupamientos bien diferenciados
que correspondan a caractersticas faciales comunes, sino que a partir de un
determinado valor del umbral, todos los patrones quedan en una u
nica clase.
21
22
7.3.
En las pruebas realizadas con las distintas distancias no se generan agrupamientos debido a rasgos similares o condiciones comunes. Esto es una gran
propiedad para el descriptor en cuestion a la hora de utilizarlo para reconocimiento de personas porque implica que el mismo tiene gran poder de
discriminacion.
Ademas revela que lo se guarda de cada individuo caracteriza solamente
a esa persona y no tienen tanto peso cuestiones como la pose y la iluminacion. Si bien esta claro que estas caractersticas pueden complicar el reconocimiento, la propiedad antes mencionada implica que no llevan a que la
descripcion sea similar a la de otra persona.
8.
Conclusiones Finales
Retomando los objetivos iniciales de este trabajo y observando los resultados obtenidos, cabe aclarar que se ratifica la eleccion del algoritmo Elastic
Bunch Graph Matching como tecnica de reconocimiento de individuos.
Los porcentajes de identificacion obtenidos constituyen una cota superior prometedora para la posterior implementacion del algoritmo en toda su
expresion.
El uso de los wavelets de Gabor como descriptor demostro propiedades
importantes para el reconocimiento de caras verificadas en las pruebas de
clustering.
El acercamiento al operador LBP, si bien fue primario, mostro la posibilidad de obtener buenos resultados.
Con respecto a la evaluacion de la base de imagenes, no se puede decir
de esta una evaluacion exhaustiva pero s una exitosa primera prueba donde
se verifico la utilidad de la base para la clasificacion de los individuos.
23
Referencias
[1] http : //www.cs.colostate.edu/evalf acerec/algorithms5.html D.S.
Bolme, J.R. Beveridge, M. Teixeira, B.A. Draper, Evaluation of fa
ce recognition algorithms. Ultima
actualizacion Martes 20 de Abril de
2004.
[2] http : //www.cs.colostate.edu/evalf acerec/papers/EBGM T hesis F inal.pdf
Elastic Bunch Graph Matching, David Bolme, Masters Thesis, CSU
Computer Science Department Junio de 2003.
[3] T. Ahonen, A. Hadid, M. Pietikainen, Face recognition with local binary patterns,Machine Vision Group, Infotech Oulu, University of Oulu, Finland, in the 8th European Conference on Computer Vision, Mayo
2004, vol. 1 : 469-481.
[4] Base de caras del IIE. Documentacion del 1er entregable del proyecto
de fin de carrera.
[5] Notas del curso Introduccion al reconocimiento de formas, Francisco
Jose Cortijo Bon, Octubre de 2001.
24