Development of perceptual systems for multimodal human-robot interaction

Laburpena

Uno de los principales problemas que deberemos afrontar como sociedad en los próximos años es la provisión de cuidados para personas con dependencia; en concreto, personas mayores con dificultad para moverse o para realizar tareas cotidianas de forma autónoma. Una situación similar se espera respecto al cuidado de personas discapacitadas. Tradicionalmente, estos cuidados se han proporcionado dentro del ámbito familiar, pero los cambios demográficos y sociales de los últimos años provocan que dichos cuidados deban proporcionarse por parte de profesionales e instituciones. Al mismo tiempo, nos encontramos en la era tecnológica, en la que la inteligencia artificial y la robótica serán fundamentales para el desarrollo del estado del bienestar. Los avances más recientes en estos campos han propiciado que soluciones robóticas se estén incorporando de forma natural en la vida cotidiana de gran parte de la sociedad. Esto hace lógico el plantear el uso de robots para proporcionar asistencia a personas dependientes. En este caso hablaremos de robots sociales, es decir, robots que son capaces de comunicarse con las personas de una forma lo más natural posible y respetando convenciones sociales. Esta interacción entre personas y robots se conoce como Interacción Humano-Robot (HRI en sus siglas en inglés, 'Human-Robot Interaction'). Este tipo de sistemas son un campo de investigación abierto, en el que confluyen tareas clásicas asociadas a la robótica, como la navegación y el mapeo, con tareas basadas en inteligencia artificial, como la visión por computador o el procesamiento del lenguaje natural. Un robot social debe ser capaz de analizar el entorno que le rodea, capturando la información que recibe a través de sus sensores y traduciéndola a conocimiento que pueda ser aprovechado para la HRI. O, lo que es lo mismo, los sistemas de percepción del robot juegan un papel crucial a la hora de extraer información semántica. Las imágenes capturadas mediante una cámara o sensor RGB-D se pueden utilizar para determinar el lugar en el que se encuentra el robot, así como los objetos que se encuentran a su alrededor. A su vez, mediante el análisis del habla que se realizar al mantener un diálogo con el usuario, también se extraer información del lugar y contexto en el que se encuentra el robot. El objetivo de esta tesis es el diseño, desarrollo y evaluación de los distintos sistemas de percepción que permiten una HRI de forma natural. En concreto, partiendo de aquellos algoritmos que suponen el estado del arte en estas tareas, nos planteamos si su aplicación en robots es viable, dados los límites de computación y tiempo que requieren estas aplicaciones. También hacemos distintas propuestas para mejorarlos. Esto supone el desarrollo de sistemas multimodales (capaces de gestionar información de distintas fuentes, en este caso, visuales y auditivas) que extraigan y combinen información semántica. Para validar los distintos desarrollos, se han planteado dos casos de uso: 'Welcoming visitors' y 'Catering for Granny Annie's comfort', que se corresponden con algunas de las tareas que se suelen evaluar en competiciones robóticas para robots asistenciales o de servicio, como pueden ser RoCKIn@Home o Robocup@Home. Estos dos casos de uso sirven para comprobar la capacidad del robot de adaptarse a diferentes escenarios con diferentes interlocutores y a analizar el entorno de forma correcta. En definitiva, dados los prometedores resultados de los casos de uso, podemos afirmar que las diferentes propuestas de esta tesis nos acercan un paso más al objetivo inicial, llegar a tener robots capaces de proporcionar asistencia a personas con dependencia.