Detección de movimientos con IA como control domótico. Consumo de imagen Kinect mediante servicio web

Un elemento adicional que no había tocado hasta este momento era el de poder utilizar las imágenes capturadas por el Kinect para otros propósitos. Aunque estaba bastante bien poder reconocer movimiento y utilizarlos para ejecutar órdenes sobre el sistema de domótica, el poder realizar un aprovechamiento de las capacidades de imagen del Kinect abriría la puerta a realizar acciones mucho más avanzadas, como por ejemplo aspectos de videovigilancia, reconocimiento de personas, cambios en el entorno, o cualquier otro aspecto vinculado con la explotación de la imagen.

La duda era cómo poder acceder a este canal visual sin comprometer la estabilidad del resto de la plataforma. Y, por descontado, ROS era la respuesta. Dado que ya disponía de los topics de ROS que permiten hacer uso de un acceso compartido a los recursos publicados en esos topics, no debía de ser muy complicado acceder a ellos mediante un servicio web. Y, en efecto, no lo era. El mismo ROS dispone de un paquete, web_video_server, que levanta un servidor de vídeo en streaming.

La instalación y ejecución es sencilla. En mi caso, basta con instalar el correspondiente paquete de Ubuntu en el servidor maestro, y luego ejecutar rosrun:

$ sudo apt-get install ros-noetic-web-video-server
$ rosrun web_video_server web_video_server

Hecho esto, por defecto se levanta un servicio en el puerto 8080 que muestra los topics de vídeo disponibles para nuestro hardware. En mi caso, con la configuración maestro/esclavo, los topics son aquellos publicados por el esclavo:

La parte interesante es que puedo hacer uso de los topics tanto de imagen real como de profundidad. Por ejemplo, este es el canal visible en RGB:

Es interesante observa la imagen visible de profundidad. En condiciones de día no es especialmente útil por sí solo, pero de noche permite explotar de manera mucho más interesante la percepción de personas.

Y todo esto sin explotar el canal IR ni la nube de puntos.

En cualquier caso, disponer de este servicio web abre la puerta a la explotación del canal de imagen en combinación con el de captura gestual realizado hasta ahora. Y esto tiene posibilidades enormes.