Sensei

La propuesta planteada nos permitirá combinar tecnologías innovadoras no directamente relacionadas y hacerlas disponibles para el gran público como son los sensores LiDAR y las aplicaciones de Realidad Aumentada.

Por un lado, nuestra propuesta plantea la combinación de dos sistemas de captura de imágenes (cámaras de alta resolución y sensores LiDAR) mediante la detección de las nubes de puntos generadas por ambos sistemas, su combinación y procesamiento conjunto lo cual proveerá un sistema fiable de seguimiento en tiempo real de objetos en movimiento. Hasta la fecha, el único sistema disponible para el gran público que combina ambas tecnologías es el nuevo iPad Pro de Apple que se lanzó al mercado en marzo de este año. Sin embargo, desde el punto de vista del desarrollador de software, las posibilidades ofrecidas por este dispositivo son bastantes limitadas tanto por las pobres especificaciones facilitadas por el fabricante así como por el hecho de que no es posible acceder a la nube de puntos en bruto capturada por el sensor. Uno de los puntos diferenciadores de nuestra propuesta con respecto a otras soluciones en el mercado, consiste en el desarrollo de una solución totalmente integrada que permite al desarrollador disponer de salidas de datos en bruto desde diferentes sensores ópticos y poder usarlos en motores de Realidad Aumentada como Unity.

Por otra parte, nuestro proyecto plantea la integración de la salida de datos realizada por el sistema anterior en una aplicación de Realidad Aumentada capaz de crear un entorno 3D y detectar personas u objetos en movimiento cuando entran en dicha escena así como la interacción de dichos personajes reales con modelos tridimensionales. El segundo punto innovador de nuestra propuesta consiste en la creación de esqueletos articulados que representan a las personas reales a partir de las nubes de puntos capturadas por los sensores y permiten que éstas interactúen con personajes virtuales. Dichas interacciones se llevarán a cabo en tiempo real, y gracias a las físicas en el framework Unity, de forma que los personajes podrán llevar a cabo acciones como agarrar o mover objetos.

En último lugar, pero no menos importante, cabe destacar el papel de la animación 3D en este proyecto, que pasa por diferentes etapas como es el modelado (en bajo poligonaje en fases iniciales del desarrollo y más detallado para resultados finales), la texturización (consistente en el desmontado del mallado que constituye el personaje tridimensional en un formato bidimensional donde se puede dar texturas específicas), el riggeo (cuya función es pegar el modelo a un esqueleto manejable para poder controlarlo y crear posturas) y finalmente, el proceso de animación para conseguir movimientos y poses lo más naturales posibles. El aspecto innovador que plantea nuestro proyecto es la integración de modelos 3D (personajes virtuales) con elementos reales (escena, objetos y personas reales) de forma que la integración de ambos elementos no se ciña a una mera superposición de contenidos produciendo resultados artificiales y poco creíbles, buscando así dar respuesta a la problemática existente en este aspecto desde los inicios de la Realidad Aumentada. En este sentido, adaptaremos los modelos creados para su integración con el mundo real enfrentándonos con problemas derivados como, por ejemplo, la iluminación. Integrar la luz como elemento virtual será esencial para diluir la realidad con la ficción, por lo que se necesitará crear máscaras de recorte en las escenas de forma que se pueda sustraer el elemento real y anteponerse al virtual, simulando diferentes ubicaciones más realistas.