Proyecto de Investigación TIN2014-59852-R

CREDENCIALES DEL PROYECTO

Título: VIDEOJUEGOS SOCIALES PARA LA ASISTENCIA Y MEJORA DE LA PRONUNCIACIÓN DE LA LENGUA ESPAÑOLA
Investigadores Principales: David Escudero Mancebo y Valentín Cardeñoso Payo, Universidad de Valladolid
Fecha de Inicio: 01/01/2015
Fecha de Finalización: 30/06/2018
Entidad Financiadora: Ministerio de Economía y Competitividad.
Cantidad: 54.208€
Número de investigadores: 7
Clave: TIN2014-59852-R

RESUMEN DEL PROYECTO

Las Tecnologías de la Información y las Comunicaciones se han convertido en un factor clave del desarrollo y la expansión del aprendizaje de idiomas durante las últimas décadas. Este proyecto se enmarca en el área de investigación relacionada con los sistemas automáticos de entrenamiento de la pronunciación (Computer-Assisted Pronunciation Training, CAPT) y tiene como objetivo el estudio y desarrollo de un modelo de comparación entre locuciones que facilite la construcción de herramientas originales para la mejora de la pronunciación del Español como lengua extranjera. En el proyecto, se experimentarán alternativas de identificación automática de las porciones mejorables de una locución, sobre la base de modelos de referencia que se elaborarán también como parte de los resultados de este proyecto. La pauta de aprendizaje propuesta inicialmente se basa en la realización por parte del usuario de ejercicios de repetición de locuciones o de lectura de frases presentadas por el sistema o de generación de respuestas cortas a preguntas o descripciones de escenas o situaciones, mientras recibe realimentación que le sirva de guía para mejorar sus resultados. El juego social incrementa la motivación de los usuarios. Proponemos una solución basada en un módulo de comparación y diagnosis que incorpore el conocimiento extraído de la comparación automática con locutores de referencia: nativos (L1) y no nativos (L2) de nivel DELE conocido.

La pronunciación de los estudiantes será analizada a dos niveles: nivel acústico-fonético y nivel suprasegmental. A nivel acústico-fonético se utilizarán variantes del modelo GOP (Goodness of Pronunciation). Para la preparación de dichos modelos, usaremos tanto modelos estocásticos (HMM) como clasificadores no lineales clásicos (árboles de decisión, SVM, redes neuronales, …). Aprovecharemos los resultados positivos ya obtenidos en la aplicación de técnicas de fusión y combinación de expertos de diferente naturaleza a tareas de etiquetado prosódico automático. A nivel prosódico nos basaremos en nuestras propuestas modelado prosódico que permiten representar los movimientos prosódicos significativos desde el punto de vista perceptual usando etiquetado fonológico ToBI. Esto facilitará la tarea de elaboración de modelos de predicción de errores y de pautas de corrección de las pronunciaciones defectuosas desde el punto de vista comunicativo.

Cabe destacar la naturaleza multidisciplinar del equipo, con amplia experiencia previa en modelado fonético, modelado prosódico y en enseñanza del Español como lengua extranjera. El idioma objetivo es el Español como segunda lengua, y la colección de ejercicios se elaborará partiendo de la experiencia acumulada en el diseño de cursos de español para extranjeros de los investigadores del proyecto y en colaboración tanto con otros grupos de investigación como con empresas del sector y con la Asociación Europea de Profesores de Español y una empresa especializada en el desarrollo y comercialización de este tipo de sistemas. Como prueba de concepto se desarrollará un prototipo tipo juego serio orientado a redes sociales que permita experimentar sobre el impacto de este formato novedoso de interacción en la autoformación y motivación de los estudiantes.

PUBLICACIONES

Comunicaciones en congresos

Implementation and test of a serious game based on minimal pairs for pronunciation training. David Escudero-Mancebo, Enrique Cámara-Arenas, Cristian Tejedor-García, César González-Ferreras and Valentín Cardenoso-Payo. Workshop on Speech and Language Technology in Education (SLaTE). Leipzip, Alemania pag. 125-130. 2015 (PDF)
Exploratory use of automatic prosodic labels for the evaluation of Japanese speakers of L2 Spanish. David Escudero-Mancebo, César González-Ferreras, Lourdes Aguilar, Eva Estebas-Vilaplana, Valentín Cardeñoso-Payo. In Proceedings of Speech Prosody, pages 761-765. ISCA, 2016 . (PDF)
Improving L2 Production with a Gamified Computer-Assisted Pronunciation Training Tool, TipTopTalk! Cristian Tejedor-García, David Escudero-Mancebo, César González-Ferreras, Enrique Cámara-Arenas, and Valentín Cardeñoso-Payo.In Proceedings IberSPEECH 2016, Lisbon (pp 177-186). (PDF)
Evaluation different non-native pronunciation scoring metrics with the japanese speakers of the sample corpus. Vandria Álvarez Alvarez, David Escudero-Mancebo, César González-Ferreras, and Valentín Cardeñoso Payo. In Advances in Speech and Language Technologies for Iberian Languages: Third International Conference, IberSPEECH 2016, Lisbon, Portugal, November 23-25, 2016, Proceedings 3 (pp. 205-214). Springer International Publishing. (PDF)
Acoustic analysis of anomalous use of prosodic features in a corpus of people with intellectual disability. Mario Corrales-Astorgano, David Escudero-Mancebo, and César González-Ferreras. In Advances in Speech and Language Technologies for Iberian Languages: Third International Conference, IberSPEECH 2016, Lisbon, Portugal, November 23-25, 2016, Proceedings 3 (pp. 151-161). Springer International Publishing.
Evaluating the Efficiency of Synthetic Voice for Providing Corrective Feedback in a Pronunciation Training Tool Based on Minimal Pairs. Cristian Tejedor-García, David Escudero, César González-Ferreras, Enrique Cámara-Arenas and Valentín Cardeñoso-Payo. SLaTE 2017.
Automatic assessment of non-native prosody by measuring distances on prosodic label sequences. David Escudero, César González-Ferreras, Eva Estebas and Lourdes Aguilar. Interspeech 2017.

Demos en congresos

The magic stone: A video game to improve communication skills of people with intellectual disabilities. Mario Corrales-Astorgano, David Escudero-Mancebo, César González-Ferreras, Yurena Gutérrez-González, Valle Flores-Lucas, Valentín Cardeñoso-Payo, and Lourdes Aguilar-Cuevas. Proceedings of Interspeech 2016. ISCA, Septembre 2016. San Francisco (USA). Pages 1565-1566. (PDF)
Measuring pronunciation improvement in users of CAPT Tool TipTopTalk! Cristian Tejedor-García, David Escudero-Mancebo, Enrique Cámara-Arenas, César González-Ferreras, and Valentín Cardeñoso-Payo. Proceedings of Interspeech 2016. ISCA, Septembre 2016. San Francisco (USA). Pages 1178-1179. (PDF)
TipTopTalk! Mobile application for speech training using minimal pairs and gamification. Cristian Tejedor-García, David Escudero-Mancebo, César González-Ferreras, Enrique Cámara-Arenas, Valentín Cardeñoso-Payo. In Proceedings IberSPEECH 2016, Lisbon 2016, (pp 425-432) (PDF)

Artículos en revistas

Engaging Adolescents with Down Syndrome in an Educational Video Game. César González-Ferreras, David Escudero-Mancebo, Mario Corrales-Astorgano, Lourdes Aguilar-Cuevas and Valle Flores-Lucas. International Journal of Human–Computer Interaction. Volumen 33, issue 9. 2017. (PDF)
Identifying characteristic prosodic patterns through the analysis of the information of Sp_ToBI label sequences.David Escudero, César González, Yurena Gutiérrez, Emma Rodero. Computer Speech & Language 2017

SOFTWARE DESARROLLADO

TipTopTalk!