Quadrupedal Robots in Search and Rescue : Perception and Teleoperation

Abstract

Search and rescue robotics emerges from the need to assist brigades in tasks involving significant danger, mainly during early explorations. Post-disaster events such as earthquakes or attacks tend to destroy buildings and cause material and human losses. First aid brigades are those in charge of carrying out early interventions to identify and rescue unconscious or trapped victims. However, this work implies exposing his life to potential structural collapses or electrical, toxic risks. Artificial intelligence systems, embedded systems, specific sensors and robots with particular modes of locomotion have been part of the modern development experienced in the last decade. These tools have become valuable instruments for developing expert systems and carrying out complex missions focused on the search and rescue field. Although there are indeed a series of challenges within search and rescue robotics, this thesis seeks to address four fundamental axes, having as protagonists quadruped robots equipped with intelligence systems, specific detection sensors, and robotic manipulators to detect and assist victims in these conditions. The primary axis concerns locomotion and progression across unstructured terrains, commencing with terrain interpretation and characterization and culminating in generating walking patterns and sophisticated obstacle-surmounting strategies. The second axis is dedicated to victim identification through various ranges of the visible spectrum invisible to the human eye, such as thermal and multispectral systems combined with neural networks. Detection has been integrated with a third axis, which addresses an intelligent search system based on the behaviour of a first-responder, aimed at establishing a robust model for active search and victim identification. Finally, the fourth axis explores teleoperation through immersive interfaces for quadruped robots and legged-manipulator-type robots, alongside the management of environmental information. Tests have been carried out in reconstructed environments, both indoors and outdoors, to validate each part that makes up the thesis, which includes drills with rescue teams from the UME (Military Emergency Unit); All of this has made it possible to generate a series of results and contributions to the state-of-the-art, which have been reflected in publications in international journals and conferences, which support this doctoral thesis. RESUMEN La robótica de búsqueda y rescate surge de la necesidad de ayudar a las brigadas en tareas que implican un peligro significativo, principalmente durante las primeras exploraciones. Los eventos posteriores a los desastres, como terremotos o ataques, tienden a destruir edificios y causar pérdidas materiales y humanas. Las brigadas de primeros auxilios son las encargadas de realizar intervenciones tempranas para identificar y rescatar a las víctimas inconscientes o atrapadas. Sin embargo, este trabajo implica exponer su vida a posibles derrumbes estructurales o riesgos eléctricos, tóxicos. Sistemas de inteligencia artificial, sistemas embebidos, sensores específicos y robots con modos de locomoción especializados han sido parte del desarrollo moderno experimentado en la ultima década. Estas herramientas se han constituido en instrumentos valiosos para desarrollar sistemas expertos y poder llevar a cabo misiones complejas enfocadas en el ámbito de búsqueda y rescate. Si bien es cierto que existen una serie de desafíos dentro de la robótica de búsqueda y rescate, esta tesis busca abordar cuatro ejes fundamentales, teniendo como protagonistas robots cuadrúpedos, dotados desde sistemas de inteligencia, sensores específicos de detección, hasta manipuladores robotices, esto con el fin de detectar y asistir a víctimas en estas condiciones. El primer eje es la locomoción y avance a través de terrenos no estructurados, partiendo de la interpretación y caracterización del terreno, hasta la generación de patrones de marcha y estrategias de superación de obstáculos sofisticadas. El segundo eje focaliza la identificación de víctimas mediante diferentes rangos de espectro visible que son imperceptibles al ojo humano, como sistemas térmicos, multispectrales combinados con redes neuronales. La detección ha sido combinada con un tercer eje, que aborda un sistema de búsqueda inteligente basado en el comportamiento de un rescatista, para generar un modelo robusto de búsqueda activa e identificación de víctimas. Finalmente el eje cuatro aborda la teleoperación mediante interfaces inmersivas de robots tipo legged-manipulator y la gestión de información del entorno. Para validar cada parte que compone la tesis, se han llevado a cabo pruebas en entornos reconstruidos tanto interiores como exteriores, donde se incluyen simulacros con equipos de rescatistas de la UME (Unidad Militar de Emergencias); todo esto ha permitido generar una serie de resultados y contribuciones al estado del arte, mismas que se han reflejado en publicaciones en revistas y congresos internacionales, que respaldan esta tesis doctoral.