CREDENCIALES DEL PROYECTO
- Título: INCORPORACIÓN DE UN MÓDULO DE PREDICCIÓN AUTOMÁTICA DE LA CALIDAD DE LA COMUNICACIÓN ORAL DE PERSONAS CON SÍNDROME DE DOWN EN UN VIDEOJUEGO EDUCATIVO
- Investigadores Principales: David Escudero Mancebo y Valentín Cardeñoso Payo, Universidad de Valladolid
- Fecha de Inicio: 01/01/2018
- Fecha de Finalización: 31/12/2020
- Entidad Financiadora: Ministerio de Economía, Industria y Competitividad.
- Cantidad:
- Número de investigadores:
- Clave: TIN2017-88858-C2-1-R
RESUMEN DEL PROYECTO
Promover la investigación e innovación multidisciplinaria que combine ciencias del comportamiento, ciencia digital y de otros tipo para obtener soluciones rentables y sencillas que permitan a las personas con discapacidad una vida cotidiana activa y autónoma es un reto social del Estado Español y de la unión europea recogido como tal entre los retos sociales relativos a salud y bienestar del plan Estatal de I+D+I y del programa Marco Horizonte 2020. Las carencias en la comunicación oral de personas con discapacidad intelectual en general y de personas con síndrome de Down en particular supone una barrera importante hacia su integración social. El ejercicio guiado por un tratamiento asistido ha demostrado ser eficaz en la mejora de las competencias comunicativas de las personas con discapacidad intelectual.
Se dispone de un videojuego serio para la práctica de la comunicación oral (pragmática y prosodia principalmente) de personas con discapacidad intelectual desarrollado a lo largo de los cuatro últimos años en el marco de dos proyectos de investigación financiados por Resercaixa y BBVA. El videojuego ha demostrado su utilidad al ser capaz de motivar a los usuarios en la realización de ejercicios de tipo práctico en compañía de un entrenador (típicamente un profesor, logopeda o un familiar). También ha demostrado su potencial para recoger corpus de voz de un colectivo de usuarios particularmente difícil.
El objetivo de este proyecto es la incorporación al videojuego de un componente inteligente que permita a los usuarios realizar los ejercicios de forma autónoma, sin la necesidad de constante de la presencia del entrenador.
En una primera etapa se monitorizará el trabajo de usuario y entrenador en los ejercicios de práctica de la pronunciación del videojuego. Para ello, se desarrollará un interfaz que permita recoger no sólo las dinámicas y los turnos orales de los usuarios sino también los del entrenador. Una segunda etapa de análisis de las muestras capturadas permitirá validar una serie de informes de calidad que pongan en evidencia cuales son las variables acústico/prosódicas más relevantes a la hora de determinar la calidad de los turnos de los usuarios. Con dicha información, se entrenarán un sistema de predicción automática de calidad que permita decidir si el usuario debe repetir el ejercicio a la vez que éste es asistido sobre cómo mejorar (feedback). Será necesaria una actividad intensa de reingeniería en el videojuego ya existente que no lo es tanto porque la arquitectura software ya incluye módulos de procesamiento de audio, un asistente virtual, un componente de gestión de usuarios y un dashboard. El resultado esperado es una nueva versión del videojuego que aprovecha las capacidades de engagement del videojuego actual contribuyendo ahora a la autonomía en el aprendizaje de adolescentes con discapacidad intelectual. De la evaluación de los datos obtenidos en las distintas fases del proyecto permitirán realizar contribuciones en publicaciones relativa a ámbitos diversos como son la Pronunciación Asistida por Ordenador, Informática Educativa, Comunicación Hablada y la Interacción Persona Computador.