Recuperação semântica de paisagens sonoras usando banco de dados vetoriais

Abstract

A recuperação semântica de paisagens sonoras emerge como um componente crucial para monitorar ecossistemas. No entanto, devido à natureza contínua do monitoramento ao longo do tempo, enfrentamos desafios consideráveis devido ao vasto volume de registros de áudio coletados. Além do grande volume de dados, também nos deparamos com a falta de rótulos nas gravações. Atualmente, existem várias propostas baseadas em aprendizado de máquina supervisionado para reconhecer e classificar espécies animais com base em suas vocalizações. No entanto, há uma escassez de estudos que implementam a recuperação semântica de paisagens sonoras por meio da aplicação de modelos de Deep Learning pré-treinados e bancos de vetoriais (por exemplo, VectorDB). Neste estudo, desenvolvemos um banco de vetoriais para consultar e recuperar paisagens acústicas semelhantes com vocalizações de anuros.