Passive Acoustic Monitoring (PAM) is a powerful approach for studying marine environments, yet the vast volume of data generated makes manual analysis impractical. Current automated methods remain in early development stages, lacking robustness and scalability across diverse ecosystems. To fully unravel PAM's potential for soundscape analysis, innovative tools are needed.
This research project tackles this challenge by proposing to take advantage of the recent development of large language models (LLMs), a promising field to explore for soundscape analysis as it allows experts to interact with the data in a more qualitative and descriptive way. By training contrastive language-audio models, this project aims to develop a system capable of creating an informative embedding space. This space would support robust characterization of soundscape dynamics across underwater ecosystems, enabling detailed ecosystem monitoring. The resulting embeddings could inform soundscape analysis, supporting assessments of ecosystem health.
Furthermore, to favor a fast reaction to a detected change it is necessary to have access to near-real-time data. For this reason, the resulting model will be embedded so it can be used on-device to compute the embeddings and send them via satellite, bringing PAM real-time monitoring beyond expensive cabled observatories.
Passieve Akoestische Monitoring (PAM) is een krachtige methode voor het bestuderen van mariene omgevingen, maar de enorme hoeveelheid gegenereerde data maakt handmatige analyse onpraktisch. Huidige geautomatiseerde methoden bevinden zich nog in de vroege ontwikkelingsfasen en missen robuustheid en schaalbaarheid voor diverse ecosystemen. Om het volledige potentieel van PAM voor te benutten, zijn innovatieve tools nodig.
Dit project gaat deze uitdaging aan door gebruik te maken van de recente ontwikkelingen in grote taalmodellen (LLMs), een veelbelovend gebied om te verkennen voor soundscape-analyse, omdat het experts toelaat op een meer kwalitatieve en beschrijvende manier met de data te werken. Door contrastieve taal-audio-modellen te trainen, streeft dit project ernaar een systeem te ontwikkelen dat een informatieve embeddingsruimte kan creëren die beoordelingen van de gezondheid van ecosystemen kan ondersteunen. Deze ruimte zou robuuste karakterisering van soundscape-dynamiek in onderwaterecosystemen ondersteunen, waardoor monitoring van ecosystemen mogelijk wordt.
Bovendien is het, om snel te kunnen reageren op een gedetecteerde verandering, noodzakelijk om toegang te hebben tot near-real-time gegevens. Om deze reden wordt het ontwikkelde model ingebed, zodat het op locatie kan worden gebruikt om embeddings te berekenen en deze via satelliet te verzenden. Hierdoor wordt real-time PAM-monitoring mogelijk gemaakt, zonder afhankelijk te zijn van dure bekabelde observatoria.