Simulación de interacción humano-robot basada en la mirada en entornos virtuales-Reference-Cited by-同舟云学术

Simulación de interacción humano-robot basada en la mirada en entornos virtuales

Published:2024-07-12 Issue:45 Volume: Page:
ISSN:3045-4093
Container-title:Jornadas de Automática
language:
Short-container-title:JA-CEA

Author:

Menendez Elisabeth^ORCID,Martínez Santiago^ORCID,Monje Concepción Alicia^ORCID,Balaguer Carlos^ORCID

Abstract

Este artículo presenta un nuevo método de interacción humano-robot mediante el seguimiento de la mirada en entornos virtuales. Este enfoque reproduce aplicaciones reales en las que el usuario, equipado con gafas de seguimiento ocular, indica al robot qué objetos necesita fijando su mirada. Esta interacción se ha implementado en el simulador Gazebo, donde el usuario controla una cámara flotante con un mando. La cámara flotante imita la vista que ofrecen las gafas de seguimiento ocular y muestra esta perspectiva en la pantalla situada frente al usuario. Además, se instala una cámara dirigida hacia su rostro para determinar la zona de la pantalla que está observando. Utilizando esta información en el método de identificación del umbral de dispersión, se distingue eficazmente entre fijaciones y movimientos sacádicos de la mirada. Los experimentos preliminares realizados demuestran que el sistema es capaz de identificar el objeto en el que el usuario fija su mirada en entornos virtuales.

Publisher

Universidade da Coruna

Reference13 articles.

1. Abal-Fernández, S., Caramazana-Zarzosa, C., Loureiro-Casalderrey, M. B., Martínez, S., Balaguer, C., Díaz-de María, F., González-Díaz, I., 2023. Learning rl policies for anticipative assistive robots by simulating human-robot interactions in real scenarios using egocentric videos. In: 2023 IEEE International Conference on Robotics and Biomimetics (ROBIO). pp. 1–8. DOI: 10.1109/ROBIO58561.2023.10354837

2. Falch, L., Lohan, K. S., 2024. Webcam-based gaze estimation for computer screen interaction. Frontiers in Robotics and AI 11, 1369566. Haustein, J. A., Hang, K., Stork, J., Kragic, D., 2019. Object placement planning and optimization for robot manipulators. In: 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, pp. 7417–7424.

3. Haustein, J. A., Hang, K., Stork, J., Kragic, D., 2019. Object placement plan-ning and optimization for robot manipulators. In: 2019 IEEE/RSJ Interna-tional Conference on Intelligent Robots and Systems (IROS). IEEE, pp.7417–7424.

4. Koenig, N., Howard, A., 2004. Design and use paradigms for gazebo, an open-source multi-robot simulator. In: 2004 IEEE/RSJ international conference on intelligent robots and systems (IROS)(IEEE Cat. No. 04CH37566). Vol. 3. Ieee, pp. 2149–2154.

5. Koubâa, A., et al., 2017. Robot Operating System (ROS). Vol. 1. Springer.