No estaba claro que fuera a suceder, de hecho yo personalmente no apostaba por ello, pero los designios de Apple son inescrutables y finalmente ha habido lanzamiento de nuevos productos: renovación en toda regla del MacBook Air con procesadores de décima generación de Intel, duplicando los almacenamientos base en SSD y con cambio a teclado Magic Keyboard de tijera, renovación del Mac mini con el doble de almacenamiento y el lanzamiento estrella: el nuevo iPad Pro.
Si queréis más detalles, podéis leer los artículos al respecto que han hecho nuestros compañeros dando más detalles, como su nueva CPU A12Z o la estupenda funda teclado con trackpad que sostiene el iPad flotando sujetado por imanes. Nosotros nos vamos a centrar en la nueva cámara trasera. Pero no en las cámaras gran angular y super gran angular, similar a las del iPhone 11. Vamos a hablar del otro gran protagonista: el sensor 3D de tecnología LiDAR o Laser Imaging Detection and Ranging). ¿Qué es y para qué sirve?
LiDAR, sensor de haz de luz láser
La tecnología LiDAR es muy usada en el mundo profesional, para obtener de una forma rápida una nube de puntos que nos permite saber la distancia de elementos (superficies) con respecto al punto de emisión del láser. El sistema es tan simple como disparar un haz de luz láser pulsada y medir el tiempo en que el rebote de dicho haz es captado de vuelta por el sensor.
Tal como Apple dice en su publicidad del nuevo iPad Pro, el láser opera a nivel de fotón (fotones de luz) en nanosegundos, lo que viene a decir que es un escáner de muy alta velocidad y obtiene una vuelta del haz de luz para medir la distancia casi instantánea.
LiDAR es una tecnología muy usada en física de la atmósfera, geología o sismología porque permite obtener a gran velocidad un detalle 3D de cualquier terreno. Pero en los últimos años, ha sido una tecnología por la que han apostado los coches autónomos para obtener una imagen con profundidad y 360 grados de su entorno. Los coches Waymo de Google usan este tipo de sensores para así obtener información inmediata de su entorno y la distancia a la que está cada elemento hasta el coche.
Coche autónomo Waymo con sensores LiDAR y cámaras
En el caso del iPad, el LiDAR es capaz de reflejar y obtener mapas de puntos tanto en exteriores como interiores, con una profundidad de 5 metros. Eso le permite, casi en cualquier habitación, aula o espacio cercano obtener una lectura exacta de los objetos cercanos y con el mapa de profundidad obtenido, conseguir una mejor experiencia de realidad aumentada.
Realidad aumentada, de la visión computerizada a la luz láser
Ya os contamos no hace mucho que la realidad aumentada, actualmente, usa un motor de visión computerizada basado en aprendizaje automático para interpretar lo que la cámara ve a través de la lente. La interpretación se basa en cómo la luz refracta en los diferentes lugares de “lo que ve la cámara”, de forma que el dispositivo estima un mapa de profundidad y de ahí parten puntos de función (o feature points). Esos puntos de función son los lugares en el espacio 3D que corresponden a un elemento real, que han sido fijados sobre una coordenada X, Y, Z reconocida.
En el momento que un feature point es fijado en el espacio 3D, aunque movamos la cámara, el punto de desplazara como si fuera un punto de anclaje virtual en el espacio de realidad aumentada unido al mundo real.
Obviamente, si no hay suficiente luz o si estamos antes superficies de color demasiado planas donde no haya una diferencia notable en cómo la luz refracta sobre ellas, el algoritmo de visión computerizado no será capaz de detectar dicha superficie ni estimar su distancia hasta el objetivo de la cámara para colocar un punto de función. Pero si detecta muchos sobre una estructura de plano, entonces detectará un plano vertical u horizontal y colocará el mismo de forma virtual dentro de la escena.
LA nube de puntos volumétrica 3D que detecta el sensor LiDAR del iPad Pro (2020)
Cuando la visión computerizada estima la escena y reconoce puntos de función o planos en 3D, podemos colocar elementos (objetos) 3D que se fijen a esos puntos y permitan la sensación de estar realmente suspendidos y/o colocados en el entorno virtual sobre el mundo real.
Pero LiDAR va a un paso más allá porque ya no usa visión computerizada que en muchas ocasiones no es 100% efectivo, como ya hemos comentado y depende que haya un lugar bien iluminado. Ahora las apps obtendrán un mapa de estimación 3D sobre las distancias completamente real. Con el uso del LiDAR, cualquier elemento o superficie situado delante de la cámara, podrá ser detectado con precisión y recreado como un elemento virtual 3D.
Ese es el truco mágico detrás de la realidad aumentada. Cuando coloco un objeto 3D sobre un plano, lo hago sobre un plano 3D que no tiene textura alguna (es transparente) pero que coincide en su ubicación con uno real. Yo creo que he dejado un florero virtual encima de una mesa real, pero en realidad lo he hecho sobre un plano 3D transparente cuya posición y tamaño coincide con el de la mesa real.
En base a esa dinámica de funcionamiento, el nuevo sensor LIDAR permitirá obtener con absoluta precisión una representación 3D de nuestro entorno que creará una equivalencia volumétrica “transparente” virtual encima de la real. De forma que si pongo objetos virtuales en dicho entorno, reconocerán el sofá, suelo, mesa o cualquier otro elemento como parte del mundo virtual (podemos llamarlo, representación espejo en el mundo virtual del mundo real) y con ello tendremos la sensación que realmente tienen en cuenta los elementos reales que hay en la escena con total precisión.
Todo un futuro por delante
Cuando el entorno real es creado en su “dimensión espejo” 3D en nuestra app mediante esta tecnología LiDAR, la necesidad de proceso para gestionar este entorno es mucho menor pues no hacemos uso de los algoritmos de visión computerizada y con ello podemos aumentar la calidad gráfica o realismo del entorno. Aprovechar la GPU para dar más calidad gráfica en vez de gastarla en interpretar las escenas en tiempo real.
Y lo mejor de todo: como LiDAR ayudará a construir la escena a través de ARKit (la librería de Apple de realidad aumentada) los desarrolladores no tenemos que hacer nada para integrarlo: es totalmente transparente a nosotros. Simplemente, los entornos se construirán con mayor precisión con el nuevo láser y nada más.
Por otro lado, no descarto que Apple permita en el futuro con iPadOS 14 alguna API que permita manejar este escáner a más nivel y que pueda servir también como escáner 3D portátil para cualquier objeto, siendo capaz en una sola operación, registrar volumetría 3D y texturas alrededor del objeto. Las posibilidades que se nos ofrecen son, desde luego, emocionantes y muy creativas.
Además, es de suponer que esta tecnología LiDAR tan reducida en el espacio, tanto como el hueco de una lente fotográfica, acompañe al futuro casco y lentes de realidad aumentada de Apple, haciendo que nuestra experiencia sea aún más integrada. Si hacemos caso a los rumores, también vendría en los nuevos iPhone 12 Pro. Así que solo hemos atisbado el comienzo de una revolución.
Ver 19 comentarios