Sensei

En la realización del proyecto se aplicará una metodología de trabajo Ágil, con múltiples iteraciones (sprints) durante el ciclo de vida del proyecto. Cada iteración del ciclo de vida incluye, planificación, análisis de requisitos, diseño, codificación, pruebas y documentación. El objetivo de cada iteración será ir incrementando de manera progresiva las funcionalidades implementadas.

Las fases del proyecto se describen a continuación:

Fase 1: Prueba de concepto

Durante esta fase el equipo ha llevado a cabo la investigación de las diferentes tecnologías usadas en el proyecto, identificando los riesgos y retos y realizando un estudio de viabilidad del producto desde el punto de vista técnico y comercial.

Las tareas de esta fase han sido:

- Investigación de los métodos de procesado de imágenes con LiDAR.

- Investigación de los métodos de procesado de imágenes con cámaras de alta resolución.

- Integración de sistema ROS para nubes de puntos LiDAR y fusión con nubes de puntos de cámaras HR.

- Desarrollo de aplicación de realidad aumentada base.

- Desarrollo de modelos 3D y animaciones básicas para la aplicación de Realidad Aumentada.

- Tests unitarios, dockerización de los componentes de Realidad Aumentada y middleware para la captación de nubes de puntos.

- Creación de pipelines de CI/CD.

- Conexión de componentes mediante servicios de publicación/subscripción (Pub/Sub) mediante tópicos de Kafka.

Fase 2: Desarrollo de la solución

En base al conocimiento desarrollado durante la primera fase, nuestro equipo ha desarrollado la solución completa diseñada por componentes así como los pasos previos para la integración de los componentes de detección de nubes de puntos (LiDAR + cámaras de alta resolución) y de la aplicación de realidad aumentada y animaciones 3D. Además, se ha prestado especial atención a diseñar los pipelines de integración continua y entrega/despliegue continuo (CI/CD) para asegurar que los componentes estén testeados y sean confiables.

Las tareas de esta fase han sido:

- Desarrollo y configuración de algoritmos de detección de objetos.

- Refinamiento de los algoritmos de detección de objetos y seguimiento en tiempo real.

- Implementación de nodelets para acelerar la identificación de sujetos y su clasificación.

- Integración del código en GPU.

- Calibración de cámaras y sensores.

- Revisión del sistema, testeo y mejora de los pipelines de CI/CD del componente LiDAR/HD.

- Desarrollo final de la aplicación de Realidad Aumentada que genera el entorno 3D final, integrando todo con ARFoundation para reconocimiento de sujetos en la escena.

- Refinamiento de los modelos de animación 3D desarrollados en la primera fase mediante modelización por alto poligonaje, retopología, weight painting y texturización usando Blender.

- Integración de animaciones en la aplicación de Realidad Aumentada.

- Captura de imágenes.

Fase 3: Integración de los sistemas en el totem de Realidad Aumentada

- Integración de los diferentes componentes con los elementos de hardware (equipos, pantalla capacitiva, cámaras, sensores y totem).

- Calibración de las cámaras y montaje de los diferentes elementos en la estructura del totem.

- Envío fotos y publicación en redes sociales mediante interacción con pantalla capacitiva.

- Configuración final de seguridad para evitar accesos indeseados a webs o contenidos no relacionados.

- Evaluación del rendimiento del totem a fin de completar el plan de pruebas y la mejora de los sistemas.

- Elaboración de documentación y entregables.

- Auditoría.