Cámaras Time of Flight

Unha cámara Time of Flight ou ToF permite, sen elementos mecánicos e precisando dun só dispositivo ou unidade, obter información completa en 3D da escena partindo dunha imaxe monocromo ou cor convencional.

Tres perspectivas de captura dunha imaxe con sensor TOF coa súa representación do ruído eliminado á esquerda.

A parte activa da cámara é un sistema opto-electrónico que emite un sinal harmónico modulado $s(t)$, nunha frecuencia próxima á da radiación infravermella curta.

$s(t){=}C(s)+A(s)*cos(w(t))$

Onde C denota un contraste na modulación, A a amplitude e $w=2*pi*F$, a frecuencia de modulación relacionada co período en $f=1/t$. O sensor captura o sinal reflectido na escena que volve cun retardo descoñecido $t_{d}$. En condicións ideais, o sinal reflectido é unha réplica retardada do sinal emitido.

$r(t){=}C(r)+A(r)*cos(w(t-t_{d}))$

A estimación do tempo de chegada ao detector do sinal emitido sérvelle a esta tecnoloxía para reconstruír unha nube de puntos 3D en representación do escenario físico en fronte do sensor.

Un módulo de correlación cruzada compara as similitudes entre o sinal emitido $s(t)$e o reflectido $r(t)$para poder medir o desfase de tempo (tempo de voo, time of flight) $t_{d}$. Na práctica, o tempo de integración na correlación cruzada selecciónase como un múltipo do período de modulación. A saída é outro harmónico función do retardo τ.

$Q(\tau )\ {=}\int _{\tau 0}^{\tau 1}s(t)\ r(t+\tau )\,dt,=C(\mathbb {Q} )+A(\mathbb {Q} )\cos(\tau *w-\phi (\mathbb {Q} )),$

Cálculo da distancia e modelo de ruído imperante no principio de captura das cámaras Time-of-Flight

O retardo de fase buscado dende a cal o rango, e en consecuencia a distancia ao obxecto, pode ser calculado pódese expresar:

$\phi (\mathbb {Q} ))=w*t_{d}$

Se mostreamos de forma equidistante $\mathbb {Q} (\tau ))$ en ℕ, ℕ ∈ ℤ+ ≥ 3 puntos en $Q=[Q_{0},Q_{1},Q_{2},...,Q_{n}-1],\delta _{t}au=2*\pi /N$, entón pode resolverse de forma non ambigua seguindo,

$\phi (\mathbb {Q} ))=arg{1/N\sum _{a_{i}=n=0}^{i=N-1}Q_{n}exp(j2*\pi /N*n)}$

A distancia ao obxecto $D$ é proporcional ao retardo de fase dado pola propia fase do sinal mixto $\phi (\mathbb {Q} ))$ e calcúlase do xeito,

$D=\phi (\mathbb {Q} ))*c_{L}/4*\pi *f$

Onde $c_{L}$ é a velocidade da luz sobre aire seco $c_{L}~2,98x10^{8}m/seg$

As compoñentes do sinal harmónico son calculadas a nivel de píxel a partir das mostras $\mathbb {Q} _{n}(x)$, creando na saída da función un mapa bidimensional $\mathbb {C} (x)$, $A(x)$ e $\phi (x)$, onde X⊂ℤ$^{2}$ é o campo de valores da imaxe. As compoñentes harmónicas de $A(x)$ e $\phi (x)$ poden ser representadas dentro do vector complexo :

ℤ(x)=$A(x)exp(i\phi (x))$

O principio de captura destas cámaras asume que os harmónicos da amplitude, o contraste e o retardo de fase {A,C,φ} están funcionalmente relacionados co ruído sampleado observado Q. E o consenso na investigación ditamina que o modelo probabilístico de distribución desa relación pode definirse de xeito asintótico determinado pola cota inferior de Cramer-Rao

Os valores discretos medidos $Q$ sempre estarán contaminados por erros de medición. Do mesmo xeito, os compoñentes harmónicos $A(x)$ e $\phi (x)$ asociados ao vector de notación complexa referido como $Z(x)=A(x)exp{\phi (x)}$ tamén se ve, seguindo o mesmo efecto, contaminado e os seus valores finais difiren do valor de campo en $Z(x)$, $A(x)$ e $\phi (x)$, o que resultaría nun contexto ideal (limpo de ruído) na escena capturada polo sensor.

Na procura dunha mellora na precisión e resolución da cámara un bloque de posprocesamento para o filtrado do ruído vólvese necesario. Filtros espaciais, de medias non locais ou de variación e regulación total. Outro bloque de algoritmos de filtrado do ruído empregan a amplitude do sinal recibido como un parametro de confianza para estimar o ruído presente na imaxe e servir de guía na eliminación do mesmo. Na análise do sinal en cámaras ToF atópase unha distribución normal multivariante do ruído onde unha pequena influencia do mesmo sobre o valor da amplitude pode atoparse ata en contornas de baixa sensibilidade. Polo tanto calquera filtro medio empregado para illar a compoñente da amplitude protexerá o sinal.

O momento de orde k que definiría esta presentación do ruído nunha distribución normal multivariante sería :

$m_{k}=\int _{-\phi +pi}^{\phi -pi}(\theta -\phi )p_{\phi }(\theta )d\theta$

Contornas de baixa sensitividade

Tómase o contorno de baixa sensitividade como un modo operativo particular da cámara ToF exercido baixo condicións de pouca iluminación, o que resulta en maiores erros de aproximación da distancia aos obxectos en comparación co seu modo normal de operacións. Nun modo operacional normal a cámara pode eliminar o ruído na compoñente de fase $\phi$. O fenómeno de desenrolamento da fase é improbábel baixo unha boa iluminación e un mínimo de distancia entre a cámara e o obxecto. Pola mesma razón o valor esperado da distancia ao obxectivo non se considera manipulado, isto é $E(\phi ))=$ μ$_{\phi }$ ≃ $\phi$. Estas propiedades pérdense no contorno de baixa sensitivade.

En termos de influencia nas contornas de baixa sensitividade atopamos os materias de baixa reflectividade, obxectos con texturas escuras, reflexión desde superficies cun baixo ángulo incidente, o efecto mosquito na luz disipada desde obxectos con forma de pináculo, acabados en pirámide aguzada, rutas que pode tomar o raio de luz sen saída ou obxectos situadas a moi alta distancia. O último relacionase co feito de que a reflectividade recibida cae exponencialmente en relación á distancia $A$ ≅ $1/D*2$. Na súa adición, o ruído de impulso por parte da cámara tórnase común nas contornas de baixa sensitividade, dado que a varianza do ruído introduce casos de empaquetamento de fase.

Do mesmo modo existen factores introducidos de xeito deliberado como a miniaturización do hardware, en especial o proxector, co que se decrementa a potencia da iluminación activa, ou aplicando tempos de integración moi curtos (por exemplo $I_{t}$ ≪ 2 $ms$). Estes factores decídense acotío por necesidades de aforro de batería, por exemplo na integración de sensores ToF en teléfonos móbiles.

Compoñentes do Hardware

O obxectivo do sistema de Hardware dunha cámara TOF é a transmisión de pulsos de luz infravermella a unha frecuencia de onda específica, recibir o sinal de luz que retorna do obxecto a medir, e o equipamento necesario para calcular o tempo de voo (ou diferencia de fase) do sinal de luz para obter a desexada información 3D do obxecto. A información de brillo e profundidade da imaxe póndense engadir facilmente ao modelo para incrementar a precisión da detección.

Para tal obxectivo o sistema básico da cámara componse de :

• Unha lámpada. Tipicamente un díodo láser de tipo VCSEL que permita a emisión de luz infravermella. Adicionalmente que o poida facer cun custo relativamente baixo de enerxía, como é o caso do VCSEL.
• Unha lente óptica e un filtro óptico. Co obxectivo de recoller a luz emitida que ven de volta. O filtro permitiría o paso só da luz da correspondente banda de frecuencia esperada, eliminando a maior parte posíbel de ruído restante.
• Sensor de Imaxe. Responsábel da medida de tempo por cada píxel reflectivo de luz desde o obxectivo no exterior do Hardware.

Vantaxes da tecnoloxía ToF

As cámaras TOF poden almacenar e ordenar información tridimensional do seu contorno capturado polo seu campo de visión. Esta información difire no uso da memoria interna da cámara, a eficiencia computacional ou na cantidade de información sobre o obxecto analizado. En contraposición a sistemas parangonábeis ás cámaras TOF, por exemplo a tecnoloxía de Kinect, estas non sofren de posíbeis oclusións parciais do proxector lumínico que deriva en perdidas de información de profundidade. En segundo lugar a tecnoloxía oposta é máis sensíbel a cambios naturais nas condicións lumínicas da escena, obténdose un funcionamento ineficaz en condicións de clarón. Finalmente as cámaras TOF tamén son sensíbeis á luz de fondo, como fonte de interferencias, agora ben no caso da tecnoloxía presentada o sinal recibido pode diferenciarse máis facilmente da súa compoñente de fondo.

Así mesmo en competición cos sistemas de escaneo láser. Estes últimos son moi dependentes da calibración dos seus elementos mecánicos. O seu modelo de escaneo liña a liña incrementa o tempo necesario para capturar unha escena 3D en constante cambio. Polo que invalida á tecnoloxía láser para o seu uso en aplicacións a tempo real. No caso de avances nesta problemática como a tecnoloxía Velodyne, capaz de escanear 64 liñas simultaneamente fano a costa do seu campo de visión vertical. O prezo de mercado mantense sensibelmente superior ao das cámaras TOF.

A isto a propia tecnoloxía suma elementos competitivos propios:

• Grazas ao emprego da radiación infravermella curta funciona baixo intensa luz solar ou en escenarios moi escuros (por baixo de 7 luxes)
• Pequeno factor de integración.
• Require dun poder de procesado relativamente baixo en aplicacións como a detección autónoma de peóns por parte do vehículo.

Aplicación na industria

Imaxe rango da cara dunha persoa capturada cunha cámara ToF.

As cámaras ToF empréganse na automoción para obter medidas de profundidade e comprender a escena ante a necesidade dunha freada de emerxencia ao detectar un peón ou obxecto perigoso por baixo dun tempo de colisión que implique un perigo ou dano cara ao condutor ou outros ocupantes do vehículo.

A industria do videoxogo ou da robótica tamén se benefician desta tecnoloxía. A habilidade das cámaras para reproducir certas complexidades do ollo humano a tempo real supera os beneficios no uso de cámaras estereoscópicas, ou escáneres láser, por integrarse en hardware máis reducido sendo máis robustas perante o ruído nas seguintes áreas da robótica.

• Identificación de obstáculos durante a construción de mapas, localización e cómputo de traxectorias.

• Robots de servizo en ámbalas industrias, xeral e de consumo.

• Montaxe, control de calidade, entrega de materias ou segmentación e escolla de pezas.

Na loxística e nas cadeas de produción as cámaras ToF permiten facer medidas en tempo real do volume e tamaño de paquetería

Un extenso novo ecosistema industrial depende de análises dunha escena 3D con precisión e rapidez. Mediante a captura do campo de luz, podemos reproducir calquera escena desde calquera posición beneficioso para o campos dos gráficos por computador, visión por computador ou interfaces home-máquina (HMI) Aplicacións en desenvolvemento poden ser a detección xeométrica ubicua en videoxogos ou conferencias web.

Fabricantes

• 3D Flash LIDAR e Sistemas de Visión fabricados por Advanced Scientific Concepts, Inc. para aplicacións aéreas, da automoción e aeroespaciais.

• DepthSense - Cámaras TOF e módulos, incluíndo sensores RGB e micrófonos da casa SoftKinetic.

• IRMA MATRIX - Cámara TOF, usada para contar pasaxeiros de tren, fabricada por iris-GmbH.

• Kinect - controlador de videoconsola e interface para a plataforma Microsoft.

• pmd - cámara de referencia no deseño de software, fabricado por PMD Technologies.

• real.IZ 2+3D - SXGA de alta resolución (1280×1024) Cámara TOF fabricada por unha compañía startup, odos imaging. Baseada en HW producido por Siemens.
• Senz3D - Cámara TOF fabricada por Creative e Intel baseada no sensor DepthSense 325 cámara de Softkinetic, popular como interface para videoxogos..

• SICK - Cámara TOF de visión 3D para aplicacións industriais fabricada por Visionary-T.

• 3D MLI Sensor - Sensor de imaxe TOF, módulos, cámaras e software fabricados por IEE (International Electronics & Engineering), baseados no principio de modulación intensa da luz (MLI).

• TOFCam Stanley - Cámara TOF fabricada por Stanley Electric.

• TriDiCam - Módulos e Software TOF, baseados no HW do Fraunhofer Institute of Microelectronic Circuits and Systems, hoxe fabricados polo spin out TriDiCam.

• Hakvision - Cámara TOF stereo.

• Cube eye - Cámara ToF e módulos, de resolución completa en VGA .

• Basler Cámara ToF con saída 3D.

• Huawei. Novos modelos da compañía con cámara TOF 3D integrada .

• Panasonic, a 2020 a empresa está a fabricar cámaras TOF para a automoción capaces de identificar obxectos a 250 metros de distancia .

• Sony, entrou en colaboración con Apple en 2008 para producir en cadea cámaras ToF con Software de identificación xestuais..

• A austríaca AMS/Heptagon fabrica sensores ToF con software para identificación facial .

• Os americanos ASC TigerCub fabrican unha cámara ToF con fusión coa tecnoloxía LIDAR.

• En Francia, TeraRanger One, fabrica sensores ToF para medir volumes de mercancía dentro de naves industriais .

• Os alemáns Riegl fabrican cámaras ToF para medir distancias a pezas en contornas industriais duras ou extremas, debido á temperatura, fume ....

• Lucid/Helios fabrica as cámaras ToF para aplicacións industriais e de loxística .

• AdaFruit vende kits ToF de aprendizaxe e traballo doméstico para programadores independentes ou noveles .

Véxase tamén

Ligazóns externas

• Time of Flight Cameras: Principles, Methods, and Applications Miles Hansard, Seungkyu Lee, Ouk Choi, Radu Horaud (en inglés)
• Methods for depth-map filtering in view-plus-depth 3D video representation Sergey Smirnov1, Atanas Gotchev1Email author and Karen Egiazarian1 EURASIP Journal on Advances in Signal Processing20122012:25 (en inglés)