CREDENCIALES DEL PROYECTO
- Título: Evaluación automática de la pronunciación de personas con síndrome de Down en un videojuego educativo (EvaProDown)
- Investigador Principal: César González Ferreras, Universidad de Valladolid
- Fecha de Inicio: 01/09/2022
- Fecha de Finalización: 31/05/2026
- Entidad Financiadora: Ministerio de Ciencia e Innovación.
- Convocatoria: Proyectos de Generación de Conocimiento 2021
- Cuantía de la subvención: 46.948 €
- Número de investigadores: 7
- Referencia: PID2021-126315OB-I00
- This project (PID2021-126315OB-I00) has been supported by MCIN / AEI / 10.13039/501100011033 / FEDER, EU.
Resumen
Promover la investigación e innovación para obtener soluciones que permitan a las personas con discapacidad una vida cotidiana activa y autónoma es un reto social del Estado Español y de la Unión Europea recogido como tal entre los retos sociales relativos a salud y bienestar del plan Estatal de I+D+i y del programa Horizonte Europa. Las carencias en la comunicación oral de personas con discapacidad intelectual en general y de personas con síndrome de Down (SD) en particular suponen una barrera importante hacia su integración social. La realización de ejercicios encuadrados en intervenciones de terapia del habla y del lenguaje ha demostrado ser eficaz en la mejora de las competencias comunicativas de las personas con discapacidad intelectual. El grupo de investigación ECA-SIMM ha estado involucrado en el desarrollo de un videojuego serio para la práctica de la comunicación oral de personas con síndrome de Down. El videojuego ha sido desarrollado a lo largo de los últimos años en el marco de
tres proyectos de investigación financiados por el Programa Recercaixa, la Fundación BBVA y el Ministerio de Economía y Competitividad. El videojuego ha demostrado su utilidad al ser capaz de motivar a los usuarios en la realización de ejercicios de tipo práctico pensados para mejorar sus competencias comunicativas relacionadas la prosodia, un aspecto importante para la comunicación hablada. El videojuego también ha facilitado la recopilación de un corpus de habla llamado Prautocal con un gran número de locuciones de personas con SD. El objetivo de este proyecto es extender la funcionalidad del
videojuego para incluir ejercicios centrados en la pronunciación y en la mejora de la articulación y la inteligibilidad del habla. Para ello, se desarrollará un módulo de evaluación automática de la pronunciación que se incorporará al videojuego existente y complementará la funcionalidad del mismo. De esta manera, empleando el videojuego, los usuarios podrán realizar ejercicios de forma autónoma para trabajar los aspecto del habla relacionados tanto con la pronunciación como con la prosodia.
Para llevar a cabo el proyecto vamos a utilizar el corpus de habla Prautocal, que ha sido recopilado en los proyectos de investigación previos empleando distintas versiones del videojuego. En una primera etapa vamos a realizar la anotación del corpus para etiquetar las locuciones con información sobre la calidad de la pronunciación, incluyendo una valoración de la inteligibilidad y marcando los errores de pronunciación. El corpus será anotado por expertos en este ámbito: lingüistas, logopedas o maestros de audición y
lenguaje. En una segunda etapa se realizará el entrenamiento de los modelos de predicción automática de la calidad de la pronunciación. Se evaluará la utilidad de diversas características extraídas de las locuciones empleando la anotación de la fase anterior. A continuación se realizará una selección de características y la predicción automática se llevará a cabo empleando técnicas de clasificación supervisada. Como resultado se obtendrá información que permitirá decidir si el usuario debe repetir el ejercicio y también se obtendrá realimentación que le permitirá corregir los errores que ha cometido. La última etapa del proyecto consiste en la integración del módulo de evaluación en el videojuego ya existente y en la realización de pruebas de campo con usuarios reales, lo que permitirá evaluar el funcionamiento de la nueva versión del videojuego.
Participantes
César González-Ferreras, Valentín Cardeñoso-Payo, David Escudero-Mancebo, Carlos Vivaracho-Pascual, Lourdes Aguilar, Valle Flores-Lucas, Mario Corrales-Astorgano, Daniel López Martínez, David Fernández García
Publicaciones
David Fernández-García, César González-Ferreras, Valentín Cardeñoso-Payo, Mario Corrales-Astorgano. Deep Learning-Based Multi-Aspect Pronunciation Assessment for Individuals with Down Syndrome. Proceedings LREC 2026. Páginas 8455–8464. 2026. https://doi.org/10.63317/4g3dwy2kmira
David Fernández-García, César González-Ferreras, Valentín Cardeñoso-Payo, Mario Corrales-Astorgano. Matrix-Structured Hierarchical Convolutional Modeling for Pronunciation Assessment and Mispronunciation Detection. Proceedings ICASSP 2026. Páginas 17567-17571. 2026 https://doi.org/10.1109/ICASSP55912.2026.11462089
David Fernández-García, César González-Ferreras, Valentín Cardeñoso-Payo, David Escudero-Mancebo, Mario Corrales-Astorgano. The Effects of Spontaneous Speech on Disfluencies Assessment of Spanish Speakers with Down Syndrome. Proceedings DISS 2025. Páginas 72-76, 2025. https://doi.org/10.21437/DiSS.2025-15
David Fernández García, Enrique Amigó Cabrera, Valentín Cardeñoso Payo. ECA-SIMM-UVa at EXIST 2025: A Segmentation Oriented Approach to Sexism Detection in Tik Tok Videos Based on a «One Is Enough» Paradigm. Proceedings CLEF 2025 (Working Notes). Páginas 1947-1958. https://ceur-ws.org/Vol-4038/paper_151.pdf
Silvia Arias-Herguedas, Alma Pisabarro-Marron, Carlos Vivaracho-Pascual, Alejandro Ortega-Arranz, Luis Ignacio Jiménez. (2025), Studying the Effectiveness of Games as an Extracurricular Activity in a Higher Education Programming Course. Computer Applications in Engineering Education, vol 33, no 2. Páginas 1-17. https://doi.org/10.1002/cae.70000
Mario Corrales-Astorgano, César González-Ferreras, David Escudero-Mancebo, Lourdes Aguilar, Valle Flores-Lucas, Valentín Cardeñoso-Payo, Carlos Vivaracho-Pascual. Pronunciation Assessment and Automated Analysis of Speech in Individuals with Down Syndrome: Phonetic and Fluency Dimensions. Proceedings IberSPEECH 2024. Páginas 26-30, 2024. https://doi.org/10.21437/IberSPEECH.2024-6
Guillermo Vicente-Oliva, David Escudero-Mancebo, César González-Ferreras, Valentín Cardeñoso-Payo. Integration of generative LLMs into the new generation of chatbots to enhance human-computer interaction. Proceedings Interacción 2024. 2024
David Fernández-García, Valentín Cardeñoso-Payo, César González-Ferreras, David Escudero-Mancebo, Adaptación de ASR al habla de personas con síndrome de Down. Procesamiento Del Lenguaje Natural, 73, páginas 209-220. 2024 http://journal.sepln.org/sepln/ojs/ojs/index.php/pln/article/view/6611
Mario Corrales-Astorgano, David Escudero-Mancebo, Lourdes Aguilar, Valle Flores-Lucas, Valentín Cardeñoso-Payo, Carlos Vivaracho-Pascual, César González-Ferreras. A Comprehensive Rubric for Annotating Pathological Speech. arXiv preprint, 2024. Páginas 1-10. https://doi.org/10.48550/arXiv.2404.18851
Mario Corrales-Astorgano, César González-Ferreras, David Escudero-Mancebo y Valentín Cardeñoso-Payo. Prosodic Feature Analysis for Automatic Speech Assessment and Individual Report Generation in People with Down Syndrome. Applied Sciences. 2024; 14(1):293. https://doi.org/10.3390/app14010293
César González-Ferreras, Valentín Cardeñoso-Payo, David Escudero-Mancebo, Carlos Vivaracho-Pascual, Lourdes Aguilar, Valle Flores-Lucas, Mario Corrales-Astorgano. Automatic evaluation of the pronunciation of people with Down syndrome in an educational video game (EvaProDown). IberSPEECH 2022, páginas 262-263.
David Escudero Mancebo, Valentín Cardeñoso-Payo, César González-Ferreras, Mario Corrales Astorgano. Juego interactivo de entrenamiento de la prosodia en usuarios con síndrome de Down. Interacción 2022, páginas 140-141.