Logo
About usInnovation CMChallengesEuropa2iEntrepreneurshipR&D&I SearchAgentsEventsReports
en
Method and system to incorporate binaural acoustic information in a visual system of increased reality. (Machine-translation by Google Translate, not legally binding)CM Patents

Índice de la ficha

Updated at
24/07/2026
Numero publicacion
ES.2347517.A1
Fecha publicacion
29/10/2010
Numero solicitud
ES20100031215
Fecha presentacion
04/08/2010

En detalle

Resumen

Method and system to incorporate binaural acoustic information into a visual system of augmented reality, which comprises capturing binaural acoustic signals; digitizing the acoustic signals obtained by obtaining a plurality of signal samples; group n consecutive samples in frames; extracting, from each frame, a plurality of characteristics that define said frame; select a subset of the extracted characteristics; detect by means of pattern recognition the type of acoustic event that occurred; estimate the distance at which the source of the detected acoustic event is located; calculate the direction in which the source of the acoustic event is located; locate the source of the acoustic event in the scene; visually encode the acoustic event information and generate a video from a sequence of images; superimposing the generated video sequence with the images captured by at least one video camera (13); and display the combined visual signal. (Machine-translation by Google Translate, not legally binding)

Reivindicaciones

1. 1. Método para incorporar información acústicabinaural en un sistema visual de realidad aumentada, caracterizado porque comprende las siguientes etapas: 2. a) captar señales acústicas binaurales deuna escena; 3. b) digitalizar las señales acústicascaptadas obteniendo una pluralidad de muestras de señal; 4. c) agrupar N muestras consecutivas entramas, siendo N un número configurable; 5. d) extraer, de cada trama, una pluralidadde características que definen dicha trama; 6. e) seleccionar un subconjunto de lascaracterísticas extraídas; 7. f) detectar mediante un reconocimiento depatrones el tipo de evento acústico ocurrido en la escena analizadaa partir del subconjunto de características seleccionadas y de unapluralidad de patrones previamente almacenados en una base de datosdel sistema; 8. g) estimar la distancia a la que seencuentra la fuente del evento acústico detectado a partir del tipode evento acústico y de una pluralidad de características de señalpreviamente almacenadas en una base de datos del sistema de laenergía de la señal acústica y de la distribución espectral de dichaseñal; 9. h) calcular la dirección en la que sesitúa la fuente del evento acústico a partir del retardo existenteentre las señales acústicas captadas, de la diferencia de energíaentre las señales captadas y de la distribución espectral de laenergía de dichas señales; 10. i) localizar la fuente del evento acústicoen la escena a partir de la distancia de la fuente estimada y de ladirección calculada en la que se sitúa dicha fuente; 11. j) codificar visualmente la informacióndel evento acústico, generar un vídeo a partir de una secuencia deimágenes, comprendiendo para cada imagen: 12. k) superponer la secuencia de videogenerada con las imágenes captadas por al menos una cámara de vídeo (13) ; 13. l) mostrar la señal visualcombinada. 14. 2. Método para incorporar información acústicabinaural en un sistema visual de realidad aumentada, según lareivindicación 1, caracterizado porque la extracción decaracterísticas en cada trama comprende, extraer características enel dominio del tiempo, comprendiendo, la tasa de cruces por cero, laenergía de la señal en esa trama y el retardo entre las señalesbinaurales captadas, y, extraer características en el dominio de lafrecuencia, comprendiendo el cálculo de los coeficientes LPC (LinearPrediction Coding) , los coeficientes MFC (Mel-Frequency Cepstral) , la energía en unaselección previa de bandas de frecuencias de la señal y el flujoespectral; 15. 3. Método para incorporar información acústicabinaural en un sistema visual de realidad aumentada, segúncualquiera de las reivindicaciones anteriores, caracterizadoporque la selección de un subconjunto de características se realizamediante la selección entre: 16. • aplicar LDA (Linear DiscriminantAnalysis) a partir de las características extraídas en la etapad; 17. • aplicar árboles de decisión apartir de las características extraídas en la etapa d. 18. 4. Método para incorporar información acústicabinaural en un sistema visual de realidad aumentada, segúncualquiera de las reivindicaciones anteriores, caracterizadoporque el reconocimiento de patrones comprende calcular la distanciaentre el subconjunto de características seleccionadas y cada patrónalmacenado en la base de datos del sistema, obteniéndose como tipode evento acústico detectado aquel cuyo patrón ofrezca una menordistancia con el subconjunto de características. 19. 5. Método para incorporar información acústicabinaural en un sistema visual de realidad aumentada, segúncualquiera de las reivindicaciones anteriores, caracterizadoporque la estimación de la distancia a la que se encuentra la fuentedel evento acústico se obtiene a partir del tipo de evento acústicodetectado, de la energía de la señal acústica y de la distribuciónespectral de dicha señal. 20. 6. Sistema para incorporar información acústicabinaural en un sistema visual de realidad aumentada, caracterizado porque comprende: 21. • al menos dos micrófonosomnidireccionales (1) configurados para captar señales acústicasbinaurales de una escena; 22. • un módulo de extracción decaracterísticas (2) que comprende: 23. \medcirc 24. \medcirc 25. \medcirc 26. • un módulo de caracterización dela fuente de sonido (6) que comprende: 27. \medcirc 28. \medcirc 29. \medcirc 30. • un módulo de realidad aumentada (10) que comprende: 31. \medcirc 32. \medcirc 33. \medcirc 34. 7. Sistema para incorporar información acústicabinaural en un sistema visual de realidad aumentada, según lareivindicación 6, caracterizado porque el módulo deextracción de características de las señales captadas por un primermicrófono (3) está configurado para extraer características en eldominio del tiempo, comprendiendo, la tasa de cruces por cero, laenergía de la señal en esa trama y el retardo entre las señalesbinaurales captadas, y, para extraer características en el dominiode la frecuencia, comprendiendo el cálculo de los coeficientes LPC (Linear Prediction Coding) , los coeficientes MFC (Mel-Frequency Cepstral) , la energía en unaselección previa de bandas de frecuencias de la señal y el flujoespectral. 35. 8. Sistema para incorporar información acústicabinaural en un sistema visual de realidad aumentada, segúncualquiera de las reivindicaciones 6-7, caracterizado porque el módulo de extracción decaracterísticas de las señales captadas por un segundo micrófono (4) está configurado para extraer características en el dominio deltiempo, comprendiendo, la tasa de cruces por cero, la energía de laseñal en esa trama y el retardo entre las señales binauralescaptadas, y, para extraer características en el dominio de lafrecuencia, comprendiendo el cálculo de los coeficientes LPC (LinearPrediction Coding) , los coeficientes MFC (Mel-Frequency Cepstral) , la energía en unaselección previa de bandas de frecuencias de la señal y el flujoespectral. 36. 9. Sistema para incorporar información acústicabinaural en un sistema visual de realidad aumentada, segúncualquiera de las reivindicaciones 6-8, caracterizado porque el módulo de extracción decaracterísticas de las señales captadas por un primer micrófono (3) está configurado para realizar la selección del subconjunto decaracterísticas mediante LDA (Linear Discriminant Analysis) a partirde las características extraídas. 37. 10. Sistema para incorporar información acústicabinaural en un sistema visual de realidad aumentada, segúncualquiera de las reivindicaciones 6-9, caracterizado porque el módulo de extracción decaracterísticas de las señales captadas por un segundo micrófono (4) está configurado para realizar la selección del subconjunto decaracterísticas mediante LDA (Linear Discriminant Analysis) a partirde las características extraídas. 38. 11. Sistema para incorporar información acústicabinaural en un sistema visual de realidad aumentada, segúncualquiera de las reivindicaciones 6-10, caracterizado porque el módulo de extracción decaracterísticas de las señales captadas por un primer micrófono (3) está configurado para realizar la selección del subconjunto decaracterísticas mediante árboles de decisión a partir de lascaracterísticas extraídas. 39. 12. Sistema para incorporar información acústicabinaural en un sistema visual de realidad aumentada, segúncualquiera de las reivindicaciones 6-11, caracterizado porque el módulo de extracción decaracterísticas de las señales captadas por un segundo micrófono (4) está configurado para realizar la selección del subconjunto decaracterísticas mediante árboles de decisión a partir de lascaracterísticas extraídas. 40. 13. Sistema para incorporar información acústicabinaural en un sistema visual de realidad aumentada, segúncualquiera de las reivindicaciones 6-12, caracterizado porque comprende una base de datos quecomprende eventos acústicos previamente etiquetados y una pluralidadde reglas que definen la selección de un dibujo asociado al tipo deevento acústico detectado. 41. 14. Sistema para incorporar información acústicabinaural en un sistema visual de realidad aumentada, segúncualquiera de las reivindicaciones 6-13, caracterizado porque el módulo de detección del tipo deevento acústico (7) está configurado para realizar un reconocimientode patrones, comprendiendo dicho reconocimiento, calcular ladistancia entre el subconjunto de características seleccionadas ycada patrón almacenado en la base de datos del sistema, obteniéndosecomo tipo de evento acústico detectado aquel cuyo patrón ofrezca unamenor distancia con el subconjunto de características. 42. 15. Sistema para incorporar información acústicabinaural en un sistema visual de realidad aumentada, segúncualquiera de las reivindicaciones 6-14, caracterizado porque el módulo de estimación de la distanciade la fuente (8) está configurado para estimar la distancia a la quese encuentra la fuente del evento acústico a partir del tipo deevento acústico detectado, de la energía de la señal acústica y dela distribución espectral de dicha señal.

Etiquetas

Inventores
San Segundo Hernandez RubenPardo Munoz Jose ManuelFerreiros Lopez JavierDe Cordoba Herralde RicardoMontero Martinez Juan Manuel
Solicitantes
Universidad Politécnica de Madrid
Clasificacion ipc
G06F 3/ 01 A IH04R 25/ 00 A I
Logo

Innovation CM
Challenges
Europa2i
Entrepreneurship
R&D&I Search
Agents
Events
Reports
About us
Contact
Give us your opinion
Cookies
Legal notice
Privacy

© Copyright Espacio Madrileño de Investigación e Innovación 2026