Slides

La matriz fundamental y la matriz esencial. Conceptos y aplicaciones.
La matriz fundamental y la matriz esencial. Conceptos y aplicaciones. David Santo Orcero irbis@orcero.org http://www.orcero.org/irbis Mayo de 2002
. p.1/136
La matriz fundamental y la matriz esencial. Conceptos y aplicaciones.
Qu veremos: Base matemtica para entender la exposicin. Qu es una matriz fundamental. Formulacin de la matriz fundamental. Deduccin de la matriz fundamental. Clculo de la matriz fundamental. Qu es una matriz esencial. Clculo de la matriz esencial. Aplicaciones matrices fundamentales y esenciales.

. p.2/136
La matriz fundamental y la matriz esencial. Base matemtica.
La matriz pseudoinversa Denimos como pseudoinversa por la derecha de una matriz , que denotamos como , a una matriz que multiplicada por la derecha por da la matriz diagonal con todos los elementos diagonales iguales a -matriz -; es decir:

(1)
. p.3/136
Calculamos la pseudoinversa de

con la ecuacin:
(2)
como la matriz es cuadrada, suponiendo que sea una matriz regular, es una matriz que puede ser invertida, y su inversa es nica; por lo que el clculo de esta expresin no debe tener ningn problema adicional.
. p.4/136
La matriz antisimtrica Denimos matriz antisimtrica por la izquierda una matriz a aquella matriz tal que:
de
(3)
En las demostraciones que necesitaremos para llegar a una formulacin simple de la matriz epipolar, necesitaremos conocer la matriz antisimtrica por la izquierda de una matriz de 3x1 posiciones.
. p.5/136
Si tenemos la matriz:

(4)
Su antisimtrica
ser:
(5)
. p.6/136
La transformada SVD La transformada SVD -Singular Value Decompositiones: Una herramienta comn para resolver sistemas de ecuaciones. Una herramienta para diagonalizar matrices singulares o mal condicionadas.

. p.7/136
Denicin Cualquier matriz , sea singular o no, puede ser descompuesta en un producto de tres matrices, de la forma:

(6)
donde y son matrices ortogonales, por lo que sus inversas son iguales a sus transpuestas; y es una matriz diagonal.

. p.8/136
Aplicacin estrella La aplicacin ms comn de la SVD es el clculo rpido de la inversa de una matriz para resolver un sistema de ecuaciones. La inversa de la matriz , conocida su descomposicin SVD, es:
(7)
. p.9/136
Nuestro inters en la SVD SVD es interesante para nosotros porque: Dene un espacio ortogonal en cuyo nmero de vectores directores coincide con el rango de la matriz , y este espacio dene la parte no-singular de la matriz. Dene un espacio ortogonal en cuyo nmero de vectores directores coincide con la dimensin de la matriz menos su rango y este espacio dene la parte singular de la matriz.

. p.10/136
Matriz mal condicionada Sea una descomposicin SVD, el mayor elemento diagonal de y el menor elemento diagonal de . Llamamos grado de singularidad al cociente ; y si la inversa del grado de singularidad es del orden de magnitud que la precisin de la mquina, denominamos a la matriz mal condicionada, y la podemos considerar singular.

. p.11/136
Pseudoinversa de una matriz Sea una descomposicin SVD, y una matriz cuadrada singular. La pseudoinversa de ser:

(8)
donde es una matriz en la que sustituimos los elementos de la diagonal que valgan 0 por , lo que que es lo mismo que decir que los elementos de valgan los sustituiremos por 0.
. p.12/136
Propiedades de la SVD
Los autovalores no nulos de y de son los cuadrados de los valores singulares no nulos de .

Sea columnas de columnas de

una descomposicin SVD, las son los autovectores de y las son los autovectores de .

. p.13/136
Propiedades de la SVD Sea una descomposicin SVD, todo elemento de la diagonal cumple que:

(9)
y que:
(10)
siendo: la columna de la columna de
correspondiente a correspondiente a
. p.14/136
La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.
El modelo pin-hole El modelo de cmara pin-hole supone que para todo punto que impacta en la pelcula, el rayo de luz que sale rebotado de un cuerpo y llega a la cmara, atraviesa nico punto, independientemente del punto de origen y del punto de impacto en la pelcula. Es un modelo muy sencillo, y muy usado.
. p.15/136
El modelo pin-hole - modelo matemtico
(11)
. p.16/136
suponiendo que: Las cordenadas del punto en el espacio que se , donde el eje de la proyecta sern coordenada Z es la lnea que pasa por el centro ptico y es perpendicular al plano de proyeccin, y estn situadas en el las coordenadas centro ptico.
Las coordenadas del punto proyectado sern . es la distancia focal -es decir, la distancia que separa el centro ptico del plano de proyeccin-.
. p.17/136
El modelo pin-hole - modelo matricial
(12)
. p.18/136
sabiendo que hemos denido el punto proyectado como:
(13)
. p.19/136
el punto que se proyecta
como:
(14)
. p.20/136
y la matriz de proyeccin
como:
(15)
. p.21/136
la ecuacin ?? queda como:

(16)
Donde es una argucia matemtica, denominada factor de escalado, y que coincide con la coordenada del punto .
. p.22/136
Qu ganamos Aunque a simple vista no lo parezca, hemos ganado bastante con esta reformulacin: a pesar de la nomenclatura matricial, el hecho de operar con coordenadas homogeneas supone que tratamos siempre con un sistema lineal de ecuaciones, por lo que dispondremos de gran cantidad de tcnicas numricas sencillas, rpidas y precisas para resolver el problema en un ordenador.
. p.23/136
Calibracin de la cmara La formula matemtica de la matriz de proyeccin puede ser ms complicada, en caso que no empleemos el modelo pinhole al modelar la imagen. Tambin puede involucrar ms parmetros que apenas la distancia focal . Al proceso de clculo de estos parmetros, que nos permiten deducir la matriz de proyeccin, lo denominamos calibracin de la cmara.
. p.24/136
Clculo del centro ptico El centro ptico es el nico punto del espacio que no puede ser proyectado en el plano. Por ello, comprobamos que la ltima coordenada de su proyeccin sea , por lo que nos saldr el punto en la recta del innito. Podemos poner las otras dos coordenadas a para facilitar la formulacin matemtica, quedando esta como:

(17)
. p.25/136
Modelo de cmara CCD La cmara CCD charge-coupled-device es un tipo de cmara muy comn en aplicaciones informticas. Internamente est formada por una matriz de seminconductores fotosensibles. Para nuestro caso actual nos interesan porque los casos de estudio los hemos realizado con una Canon Ixus digital, con un CCD.
. p.26/136
Caractersticas cmara CCD Entre sus caractersticas, destacamos que la imagen ya est espacialmente discretizada, y que son cmaras que tienen una resolucin muy buena, operan en condiciones de poca luz, y presentan pocas aberraciones geomtricas, en relacin con las otras tecnologas existentes.
. p.27/136
Aspectos a modelar en CCD Translacin: El punto de nuestra imagen capturada puede no coincidir con el centro de coordenadas de nuestro sistema. Llamaremos a los parmetros de translacin y , y corresponde con la posicin del punto de la imagen de la cmara respecto al sistema global.
. p.28/136
Aspectos a modelar en CCD Escalado: Un punto de una imagen no tiene por que coincidir necesriamente con la unidad en la que estamos midiendo. El factor de escalado determina la proporcin entre la unidad del mundo real que empleamos y el punto en la cmara, y lo denotaremos por .
. p.29/136
Aspectos a modelar en CCD Rotacin: Una imagen puede estar rotada respecto al sistema de coordenadas. Esto supone tres parmetros, , , que corresponden, respectivamente, al ngulo del eje de la cmara con los ejes , y del sistema. Es comn poner arbitrariamente el eje perpendicular a la imagen de la cmara, ya que simplica los clculos -el angulo de la cmara respecto al sistema de coordenadas es igual al ngulo de giro en la imagen-.

. p.30/136
Aspectos a modelar en CCD Deformacin: los CCDs pueden provocar una deformacin en la imagen. Esta deformacin suele ser lineal, y corresponde a que los pixeles del CCD que captura la imagen pueden ser rectangulares -en lugar de cuadrados-, por lo que tendremos una deformacin homognea y lineal de ensanchamiento -o estiramiento- de la imagen. El factor de deformacin, llamado , es la razn entre la altura y la anchura de un pixel del CCD de la cmara, y puede ser calibrado con facilidad haciendo la operacin a mano sobre una foto de un cuadrado.
. p.31/136
Aspectos a modelar en CCD Nota: Observamos que podemos tener una variable de escalado y otra de deformacin, o una variable de escalado horizontal y otra variable de escalado vertical, y no sera necesario el factor de demostracin.
. p.32/136
Calibracin de la cmara La ecuacin matricial del modelo de cmara de una cmara CCD sin deformacin es:

(18)
. p.33/136
Calibracin de la cmara es decir, las ecuaciones en formato matricial son:
(19)
Donde K es la denominada matriz de calibracin.
. p.34/136
Calibracin de la cmara La relacin entre el punto real y el proyectado queda:

(20)
desarrollando las matrices, obtenemos:
(21)
. p.35/136
Calibracin de la cmara si hacemos las sustituciones:
(22)
. p.36/136
Calibracin de la cmara tenemos:
(23)
es decir, hemos prescindido de la longitud focal. En la prctica, signica que podemos trabajar con una longitud focal 1, y compensarlo al realizar la calibracin de la cmara.
. p.37/136
La matriz fundamental y la matriz esencial. Anlisis geomtrico de dos imagenes.
El hecho de disponer de dos imgenes del mismo entorno nos permite descubrir nuevas informaciones sobre el entorno.
M
C1
C2
e2 l2
m2 m1
. p.38/136
Supongamos que tenemos un punto del espacio, de la primera imagen, que se proyecta en el punto y el punto de la segunda imagen. Por aplicacin directa de la ecuacin ?? a este escenario, tenemos el sistema de ecuaciones matriciales:
(24)
. p.39/136
(25)
es la matriz de proyeccin de la primera imagen. es la matriz de proyeccin de la segunda imagen. son las coordenadas homogneas del punto en el espacio. es el factor de escalado para la primera imagen.
. p.40/136
(26)
es el factor de escalado para la segunda imagen. son las coordenadas homogneas en el plano de proyeccin de la primera imagen de la primera proyeccin del punto.
son las coordenadas homogneas en el plano de proyeccin de la segunda imagen de la segunda proyeccin del punto.
. p.41/136
Denimos visin estreo como aquella en la que empleamos ms de una imagen para obtener una idea de tridimensionalidad. Segn el nmero de imgenes que empleemos, hablaremos de visin bifocal -dos imgenes-, trifocal -tres imgenes-, quadrifocal -cuatro imgenes- o N-focal -N imgenes-. Para nuestro caso, estudiaremos los conceptos de un sistema bifocal; aunque lo estudiado es extrapolable a cualquier sistema N-focal.
. p.42/136
El primer concepto que necesitaremos es el de geometra epipolar. Denominamos geometra epipolar como a la geometra generada por dos vistas; y se basa en dos conceptos fundamentales, quue son la lnea epipolar y el epipolo.
. p.43/136
Dado un sistema bifocal, denimos como epipolo de una de las dos imgenes del sistema a la proyeccin del centro ptico de la otra imagen. Un sistema bifocal tiene exactamente dos epipolos, uno por cada imgen. Los dos epipolos pueden tener las mismas coordenadas, o coordenadas distintas.

. p.44/136
Denimos como lnea epipolar para uno de los dos planos de proyeccin a la linea que pasa por el epipolo contenido en el plano de proyeccin y la projeccin . Observamos que la linea epipolar es tambin la proyeccin de la lnea que pasa por el y la proyeccin sobre el plano de centro ptico proyeccin. Tenemos exactamente dos lineas epipolares, una por cada imagen. Las dos lineas epipolares pueden tener las mismas coordenadas, o coordenadas distintas.

. p.45/136
Denimos como plano epipolar al plano denido por los centros pticos de las dos imgenes, y el punto del espacio tridimensional. Tanto las dos proyecciones y del punto como sus epipolos y estn est fuera de los contenidos en el plano epipolar. si dos planos de proyeccin y los planos de proyeccin no son paralelos, existe un nico plano epipolar.

. p.46/136
La matriz fundamental y la matriz esencial. Deduccin de la matriz fundamental.
Para deducir la formulacin de la matriz fundamental tomaremos las ecuaciones ??, que son:

(27)
. p.47/136
El primer paso que tomaremos ser buscar la formulacin matemtica de la linea epipolar para la segunda proyeccin , que ser ; nos interesa que sea funcin de , y .Podramos usar como punto M si lo conocieramos, pero partimos de que es desconocido.
. p.48/136
Para encontrar el primer punto usaremos un punto arbitrario , cuya formulacin es:

(28)
Es decir, nuesto punto ser el producto de la pseudoinversa de la primera matriz de proyeccin por de 4x3 la primera proyeccin del punto. Siendo ser forzosamente de 3x4 elementos elementos, segn la denicin de pseudoinversa por la derecha estudiada en la primera seccin de estas transparencias. Dado que la matriz es de 3x1 elementos, la matriz resultante es de 4x1
. p.49/136
Este punto cuya ecuacin hemos denido tiene una propiedad importante. Si lo aplicamos a la primera de las ecuaciones ??, tendremos:

(29)
. p.50/136
Sustituyendo el valor de

, obtenemos:
(30)
. p.51/136
Aplicando la denicin de pseudoinversa, tenemos , por lo que tenemos que: que

(31)

Esto quiere decir que la proyeccin de este punto es igual a , por lo que el punto est en la lnea entre el centro ptico y la proyeccin en del punto . Ya tenemos uno de los dos puntos que . estamos buscando:

. p.52/136
Por lo tanto, hacemos:
(32)
. p.53/136
Aplicando la denicin de

de ??:
(33)
. p.54/136
Para el segundo punto, vamos a aplicar a la segunda ecuacion ??, el centro ptico de la primera imagen, con objeto de obtener el segundo epipolo. Tendremos:
(34)
. p.55/136
Conocidos estos dos puntos, el clculo de la lnea epipolar es trivial:
(35)
. p.56/136
Sustituyendo el clculo de de ?? y de tenemos:
de ??,
(36)
. p.57/136
Podemos an simplicar ms la formulacin de la lnea epipolar de la segunda proyeccin , sustituyendo la matriz resultado del producto de por su antisimtrica; y as tenemos que la nueva formulacin de la linea epipolar es:
(37)
. p.58/136
Denamos la matriz
como:
(38)
. p.59/136
La lnea epipolar

pasa a ser:
(39)
Y la llamaremos matriz fundamental. La matriz fundamental depende exclusvamente de la geometra bifocal, y es independiente de los puntos del sistema y de sus proyecciones -es decir, no depende de , ni de , ni de -.
. p.60/136
La forma de usar esta matriz es para relacionar las dos proyecciones y de un punto en el espacio. Para deducir la expresin que relaciona las dos proyecciones analizaremos la linea epipolar de pertenece a la lnea epipolar , nuevo. Como tendremos que:
(40)
. p.61/136
Aplicando la nueva denicin de lnea epipolar de ??, tenemos que:
(41)
Por lo que podremos usar la matriz fundamental para relacionar las dos proyecciones de un punto en el espacio.
. p.62/136
La matriz fundamental y la matriz esencial. Propiedades de la matriz fundamental.
La matriz fundamental tiene algunas propiedades importantes, que necesitaremos para calcularla y usarla. No vamos a demostrar las propiedades matemticamente -se puede encontrar en cualquier libro donde describa la matriz fundamental-, pero si vamos a especicar las propiedades ms importantes, que son: La matriz fundamental es homognea. En la prctica, signica que si la matriz sigue siendo matriz fundamental.

El determinante de la matriz fundamental cero.
es
. p.63/136
La matriz fundamental slo tiene siete grados de libertad, es decir, de los nueve componentes de la matriz, dos pueden ser calculados a partir de los otros siete. El rango de la matriz fundamental
es 2.
. p.64/136
Adems de estas propiedades algebraicas, que son tiles para calcular la matriz fundamental, tenemos un conjunto de propiedades geomtricas, que usaremos para operar con la matriz fundamental. Estas propiedades son:
. p.65/136
Dada una geometria bifocal, la matriz fundamental es funcin exclusiva de dicha geometra. Esto signica que es independiente de todos los puntos de la escena y de las proyecciones y de los puntos de la escena.

. p.66/136
La matriz fundamental dene las lineas epipolares. Podemos calcular las lineas epipolares a partir de la matriz fundamental con las ecuaciones:

(42) (43)
. p.67/136
La matriz fundamental dene los epipolos. Podemos calcular los epipolos a partir de la matiz fundamental con las ecuaciones:

(44)
(45)
. p.68/136
La matriz fundamental redene la restriccin epipolar -es decir, la relacin entre las dos proyecciones- como:
(46)
. p.69/136
La matriz fundamental y la matriz esencial. Clculo de la matriz fundamental.
Introduccin conceptual al clculo de la matriz fundamental Existen dos enfoques posibles al clculo de la matriz fundamental. El primer enfoque es emplear la frmula ??:
(47)
. p.70/136
Este planteamiento es rpido y muy eciente, involucrando apenas unas pocas operaciones algebraicas -principalmente, sumas y productos-. Sin embargo, necesita el conocimiento de las matrices de proyeccin y , y del centro ptico . El centro ptico podemos calcularlo directamente a partir de como ya hemos visto; sin embargo, y son matrices complicadas de descubrir, y esto ser posible apenas en entornos fuertemente controlados.

. p.71/136
El caso ms comn es que no conozcamos las matrices y , por lo que este planteamiento no nos vale. Sin embargo, conocidas las correspondencias entre puntos de la primera proyeccin con puntos de la segunda proyeccin , podemos usar la ecuacin:
para todos los pares de puntos de proyeccion
(48)
. p.72/136
Si desarrollamos las ecuaciones resultantes para puntos, tendremos un sistema de ecuaciones lineales con nueve incognitas. Tomemos, por ejemplo, ; el desarrollo un par de puntos arbitrarios completo de la ecuacin ?? para estos dos puntos ser:
(49)
donde son constantes , , e variables las distintas .

; y son las
. p.73/136
Estos sistemas, en principio, tienen una base matemtica muy simple, y pueden ser resueltos con las tcnicas de resolucin de cualquier sistema de ecuaciones, tanto algebricas -que cualquier alumno de bachillerato domina- como numricas -que se aprenden en cualquier curso de iniciacin a los mtodos numricos de una carrera-.
. p.74/136
Sin embargo, las propiedades de la matriz fundamental anteriormente comentadas permiten que no sean necesarios tantos pares de puntos, y que podramos incluir restricciones adicionales basadas en estas propiedades. Por ello, vamos a ver los distintos casos de resolucin que tenemos.
. p.75/136
Clculo de la matriz fundamental con ocho pares de puntos Podemos calcular la matriz fundamental con ocho pares de puntos. Para ello, desarrollamos la ecuacin ??. Con esto tendremos ocho ecuaciones con nueve incgnitas. De donde sacamos la ecuacin que falta?
. p.76/136
La novena ecuacin la obtenemos sabiendo que el rango de la matriz fundamental es dos. Por ello, una de las las debe ser linealmente dependiente de otra. Escogemos una la al azar, y decimos que es igual a otra la al azar multiplicada por la constante que queramos -salvo 0-. Esto nos dar una ecuacin ms. Esto signica que con ocho puntos tendremos exactamente nueve ecuaciones con nueve incognitas.
. p.77/136
Clculo de la matriz fundamental con ms de ocho pares de puntos Si tenemos ocho puntos o ms, siempre podemos emplear las restricciones del algoritmo de ocho puntos, que tiene como caracterstica que nos asegura que la matriz fundamental va a cumplir las propiedades matemticas de tal matriz; y aplicamos un procedimiento de optimizacin donde las ecuaciones son las del algoritmo de los ocho puntos; solo que ahora sern las restricciones del algoritmo de optimizacin, donde optimizamos el error cuadrtico medio de ocho variables respecto a las restricciones derivadas de las ecuaciones anteriormente citadas.
. p.78/136
Dentro de estos mtodos de minimizacin del error cuadrtico medio, podemos usar: Funcin de pseudogradiente -como hace el algoritmo de RANSAC-. Hacer un descenso de gradiente. Usar una red neuronal. Agregacin simulada

. p.79/136
...o un algoritmo gentico o un algoritmo mimtico o cualquier otro mtodo que queramos para minimizar el error cuadrtico medio.
. p.80/136
Optimizacin del algoritmo de clculo de la matriz fundamental An se puede optimizar ms el clculo de la matriz fundamental. Para ello, suponemos que el resultado de los algoritmos anteriores dar la matriz fundamental estimada, en lugar de la matriz fundamental.
. p.81/136
Hacemos: Determinamos la SVD de la matriz fundamental estimada .

Sea la descomposicin SVD de la matriz fundamental estimada , la matriz debe tener la forma:

(50)
. p.82/136
...si la matriz fundamental estimada fuese exactamente la matriz fundamental ; pero probablemente, debido a errores numricos en el calculo y a errores en la exactitud de los puntos, tendr la forma:
(51)
. p.83/136
Por ello, denimos
como:
(52)
Finalmente, estimamos la matriz fundamental denitiva como:

(53)
. p.84/136
Este algoritmo no es necesario si tenemos exactamente ocho puntos; pero si hemos resuelto el problema con ms de ocho puntos y en nuestro algoritmo s hemos tenido en cuenta nueve incgnitas -es decir, se ha relajado la condicin de dependencia lineal de una de las las-, es importante que apliquemos este algoritmo para mejorar el resultado, y que la matriz fundamental sea realmente la matriz fundamental.
. p.85/136
La matriz fundamental y la matriz esencial. La matriz esencial.
Qu es la matriz esencial En ?? hemos visto las ecuaciones de los puntos de la imagen despus de haber calibrado la cmara. Conocida la matriz de calibracin de la primera y de la segunda cmara , podemos cmara y , obteniendo: aplicarla sobre los puntos
(54)

. p.86/136
Si aplicamos estos puntos sobre la formulacin de la matriz fundamental, segn la vimos en ??, y operamos, obtenemos la expesin:
(55)
. p.87/136
(56)
donde: es el vector de translacin entre las dos imgenes.

es la matriz de rotacin entre las dos imgenes.
. p.88/136
Podemos denir la matriz esencial

como:
(57)
por lo que tendremos la expresin:
(58)
. p.89/136
Dicho de una forma verbal, al realizar la transformacin de calibracin para cada uno de los dos puntos, lo que relaciona el punto calibrado de una imagen con el punto calibrado de la otra imagen es la composicin de la translacin y la rotacin de las vistas. Por ello, podemos considerar a la matriz fundamental como la matriz que relaciona dos proyecciones, es decir, que relaciona las dos imgenes de una misma escena; mientras que la matriz esencial relaciona el movimiento relativo para llegar de una vista a la otra vista.

. p.90/136
La matriz fundamental y la matriz esencial. Propiedades de la matriz esencial.
Como ocurra en la matriz fundamental, la matriz esencial tienen un conjunto de propiedades, que son: El rango de la matriz esencial

es 2.
Siendo el vector de translacin entre las dos vistas, tenemos que:
(59)
Siendo el vector de translacin entre las dos vistas, y la matriz de rotacin, tenemos que:

(60)
. p.91/136
Siendo la descomposicin SVD de la matriz esencial:

(61)
la forma general de la matriz
ser:
(62)
. p.92/136

(63)
la matriz de rotacin
ser:
(64)
. p.93/136

(65)
el vector de translacin
ser:
(66)
. p.94/136
La matriz fundamental y la matriz esencial. Clculo de la matriz esencial.
El clculo de la matriz esencial sigue los siguientes pasos: Calculamos la matriz fundamental . Calculamos la matriz de calibracin de la primera cmara . Calculamos la matriz de calibracin de la segunda cmara . La matriz esencial expresin:
la obtendremos con la
(67)
. p.95/136
La matriz fundamental y la matriz esencial. Aplicaciones.
Existen muchas aplicaciones de las matrices fundamentales y esenciales. Vamos a hacer una revisin de las aplicaciones ms comunes de estos dos tipos de matrices; destacamos entre otras: Calibracin Egomotion Estreo

. p.96/136
La matriz fundamental y la matriz esencial. Calibracin de una cmara.
Es posible emplear la matriz fundamental para calibrar una cmara. Para ello empleamos las denominadas ecuaciones de Kruppa, que toman como parmetro la matriz fundamental, los epipolos y dichas matrices de calibracin.
. p.97/136
Las ecuaciones de Kruppa son la formulacin matemtica de un concepto matemtico denominado cnica absoluta. La cnica absoluta es una conica que tiene como caracterstica que est contenida en el plano del innito; y nos interesa porque su proyeccin depende exclusvamente de los parmetros intrnsecos de la cmara.
. p.98/136
Las ecuaciones de Kruppa se desarrollan a partir de la ecuacin:
(68)
donde
es un escalar desconocido, distinto de .
. p.99/136
Esta ecuacin matricial se puede desarrollar por cada elemento de la matriz de cualquiera de los dos lados, dando lugar a la formulacin matemtica de las ecuaciones de Kruppa:
(69)

. p.100/136
La matriz fundamental y la matriz esencial.
Calibracin de una cmara.
(70)
. p.101/136
Donde: es la variable usada para simplicar la formulacin de las ecuaciones, pero de ningn valor intrnseco para nuestro problema.

es la matriz fundamental de las dos imgenes.
es el elemento matriz fundamental .
de la transpuesta de la
. p.102/136
Donde: es la matriz de calibracin.

es la proyeccin en la segunda imagen del epipolo de la primera imagen. es el elemento de la matriz . resultado de realizar la operacin
. p.103/136
Estas ecuaciones hacen que est sobredeterminado en unos polinomios de segundo orden, y que, por lo tanto, no pueda ser resuelto de forma simple mediante las reglas de sistemas lineales. Sin embargo, puede ser resuelto numricamente como cualquier otro sistema no lineal sobredimensionado; o puede ser resuelto por algunas de las tcnicas desarrolladas especcamente para las ecuaciones de Kruppa.
. p.104/136
La matriz fundamental y la matriz esencial. Egomotion.
Denominamos un algoritmo de egomotion a aquel algoritmo que nos permite describir el movimiento de un sensor -en este caso, una cmara- a partir de la imagen generada por dicho sensor.
. p.105/136
La matriz esencial puede ser empleada directamente para el clculo de egomotion; para hacer esto, recordamos que entre las propiedades de la SVD estaba en que a partir de las matrices de la descomposicin podamos obtener la translacin y la rotacin entre una imagen y la otra.
. p.106/136
Denida una transformacin SVD con la ecuacin , sabemos que la rotacin viene formulada por la ecuacin:

(71)
. p.107/136
...y el vector de translacin viene denido por la ecuacin:
(72)
. p.108/136
Sin embargo, si hacemos esto tal y como hemos comentado, no funcionar; por: El error acumulado al escoger los pares de puntos. El error por la correspondencia de puntos. El error al calcular la matriz fundamental. El error en la matriz de calibracin...

. p.109/136
Y el error al calcular la matriz esencial, y el error del mtodo numrico de clculo de la SVD, y los errores por usar aritmtica nita en todos los calculos involucrados, y otras razones ms,
...que harn que se parezca muy poco el resultado al desplazamiento y la rotacin real de la segunda cmara respecto a la primera.
. p.110/136
Pero hay una solucin: a la hora de calcular la SVD, sabemos que existen un dos propiedades importantes que tiene la matriz esencial, y que se deben de cumplir: El rango de la matriz esencial debe ser dos. Sus dos autovalores distintos de cero deben ser iguales.

. p.111/136
En la prctica, signica que en la descomposicin SVD debemos tener dos elementos en la matriz diagonal distintos de cero, y los dos en la matriz diagonal. Por ello, igualando a cero el tercer elemento de la diagonal y calculando la media de los elementos que encontramos en la matriz diagonal nos encontramos con una nueva matriz diagonal, a la que si empleamos para montar de nuevo la matriz -realizando el producto con por la izquierda y el producto con la transpuesta de por la derecha-, obtendremos una mejor aproximacin de la matriz esencial.

. p.112/136
La transformada SVD de la nueva matriz esencial, si bien sigue sin ser exacta, tiene una precisin razonable, por lo que podemos aproximarla a la matriz esencial . El proceso lo podemos repetir iterattivamente, pero no lo haremos porque la mayor parte de las veces esto no ser necesario, y bastar con hacer la correccin una nica vez.
. p.113/136
Por tanto, el algoritmo de egomotion con la matriz esencial tiene como pasos: Encuentra la correspondencia entre puntos de la primera imagen y de la segunda imagen. Deben ser, al menos, 7 puntos. Normaliza los datos, para reducir el error numrico en los clculos. El objetivo de la normalizacin es que la media de los datos sea 0. Un ejemplo de matriz de normalizacin es:

(73)
. p.114/136
Calculamos la matriz fundamental , segn ya hemos visto.
Calculamos la matriz esencial estimada hemos visto.
, segn ya
Determinamos la SVD de la matriz esencial estimada .
. p.115/136
Sea la descomposicin SVD de la matriz esencial estimada , la matriz debe tener la forma:

(74)
. p.116/136
...si la matriz esencial estimada fuese exactamente la matriz esencial ; pero probablemente, debido a errores numricos en el calculo y a errores en la exactitud de los puntos, tendr la forma:

(75)
. p.117/136
Por ello, denimos
como:
(76)
Y estimamos la matriz esencial denitiva

como:
(77)
. p.118/136

(78)
La matriz de rotacin
ser:
(79)
. p.119/136

(80)
El vector de translacin
ser:
(81)
. p.120/136
La matriz fundamental y la matriz esencial. Estereo.
Conocidas las matrices de calibracin y la matriz esencial, es facil deducir para un punto cuales son sus proyecciones y .
Aqui hablaremos de una reconstruccin tridimensional rpida y eciente, basada en la similaridad y partiendo del supuesto de que la matriz de calibracin ha sio calculada por otro mtodo, por lo que es conocida.
. p.121/136
El algoritmo de la reconstruccin de estreo por similaridad es: Encuentra la correspondencia entre puntos de la primera imagen y de la segunda imagen. Deben ser, al menos, 7 puntos. Normaliza los datos, para reducir el error numrico en los clculos. El objetivo de la normalizacin es que la media de los datos sea 0. Un ejemplo de matriz de normalizacin es:

(82)
. p.122/136
Calculamos la matriz fundamental , segn ya hemos visto.
Calculamos la matriz esencial estimada hemos visto.
, segn ya
Determinamos la SVD de la matriz esencial estimada .
. p.123/136
Sea la descomposicin SVD de la matriz esencial estimada , la matriz debe tener la forma:

(83)
...si la matriz esencial estimada fuese exactamente la matriz esencial

. p.124/136
...pero probablemente, debido a errores numricos en el calculo y a errores en la exactitud de los puntos, tendr la forma:
(84)
. p.125/136
Por ello, denimos
como:
(85)
Estimamos la matriz esencial denitiva

como:
(86)
. p.126/136

(87)
la matriz de rotacin
ser:
(88)
. p.127/136

(89)
el vector de translacin
ser:
(90)
. p.128/136
Concidas las matrices de calibracin y , la matriz de rotacion entre las imgenes , y el vector de translacin , obtenemos el punto real del desarrollo de las ecuaciones:
(91)
Si incluimos todos los parmetros conocidos en estas ecuaciones, podremos despejar algebraicamente los cuatro parmetros de .
. p.129/136
La matriz fundamental y la matriz esencial. Conclusin.
Concluyendo En este informe tcnico hemos revisado los conceptos necesarios para entender y usar las matrices fundamentales y las matrices esenciales, y hemos estudiado dichas matrices, incluyendo deduccin, formulacin, clculo de estas matrices y algunos de sus usos.
. p.130/136
La matriz fundamental y la matriz esencial. Bibliografa.
Base de lgebra necesaria Jos Martinez Salas, Elementos de Matemticas, ed. Lex Nova
. p.131/136
Base de geometra proyectiva Departamento de Ingeniera de Sistemas y Automtica, Universidad Politcnica de Madrid. Apuntes de geometra proyectiva y visin articial.
. p.132/136
Calculo de la matriz fundamental Nicols Prez de la Blanca Capilla, Apuntes de visin articial, tema 8.
. p.133/136
Estreo y Egomotion ?
. p.134/136
Calibracin de la cmara Manolis I.A. Lourakis, Rachid Deriche; Camera Self-Calibration Using Singular Value Decomposition of the Fundamental Matrix. INRIA research report.
. p.135/136
Error asociado al clculo de la matriz fundamental Csurka, G; Zeller, C. et. al.; Characterizing the Uncertainy of the Fundamental Matrix. INRIA research report.
. p.136/136

Slides

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Slides

Uploaded by

Copyright:

Available Formats

La matriz fundamental y la matriz esencial. Conceptos y aplicaciones.

La matriz fundamental y la matriz esencial. Conceptos y aplicaciones.

La matriz fundamental y la matriz esencial. Base matemtica.

La matriz fundamental y la matriz esencial. Base matemtica.

La matriz fundamental y la matriz esencial. Base matemtica.

La matriz fundamental y la matriz esencial. Base matemtica.

La matriz fundamental y la matriz esencial. Base matemtica.

La matriz fundamental y la matriz esencial. Base matemtica.

La matriz fundamental y la matriz esencial. Base matemtica.

La matriz fundamental y la matriz esencial. Base matemtica.

La matriz fundamental y la matriz esencial. Base matemtica.

La matriz fundamental y la matriz esencial. Base matemtica.

La matriz fundamental y la matriz esencial. Base matemtica.

Sea columnas de columnas de

La matriz fundamental y la matriz esencial. Base matemtica.

siendo: la columna de la columna de

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

El modelo pin-hole - modelo matemtico

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

El modelo pin-hole - modelo matricial

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

sabiendo que hemos denido el punto proyectado como:

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

el punto que se proyecta

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

la ecuacin ?? queda como:

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

Calibracin de la cmara es decir, las ecuaciones en formato matricial son:

Donde K es la denominada matriz de calibracin.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

Calibracin de la cmara La relacin entre el punto real y el proyectado queda:

desarrollando las matrices, obtenemos:

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

Calibracin de la cmara si hacemos las sustituciones:

La matriz fundamental y la matriz esencial. Anlisis geomtrico de una imagen.

Calibracin de la cmara tenemos:

La matriz fundamental y la matriz esencial. Anlisis geomtrico de dos imagenes.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de dos imagenes.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de dos imagenes.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de dos imagenes.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de dos imagenes.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de dos imagenes.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de dos imagenes.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de dos imagenes.

La matriz fundamental y la matriz esencial. Anlisis geomtrico de dos imagenes.

La matriz fundamental y la matriz esencial. Deduccin de la matriz fundamental.

La matriz fundamental y la matriz esencial. Deduccin de la matriz fundamental.

La matriz fundamental y la matriz esencial. Deduccin de la matriz fundamental.

La matriz fundamental y la matriz esencial. Deduccin de la matriz fundamental.

La matriz fundamental y la matriz esencial. Deduccin de la matriz fundamental.