Proyecto de Investigación VA145U14

CREDENCIALES DEL PROYECTO

Título: EVALUACIÓN AUTOMÁTICA DE LA PRONUNCIACIÓN DEL ESPAÑOL COMO LENGUA EXTRANJERA PARA HABLANTES JAPONESES
Investigador Principal: Valentín Cardeñoso Payo, Universidad de Valladolid
Fecha de Inicio: 1/1/2014
Fecha de Finalización: 31/12/2017
Entidad Financiadora: Consejería de Educación, Junta de Castilla y León.
Cantidad: 28.999€
Número de investigadores: 9
Clave: VA145U14

RESUMEN DEL PROYECTO

Las Tecnologías de la Información y las Comunicaciones se han convertido en un factor clave del desarrollo y la expansión del aprendizaje de idiomas durante las últimas décadas. Este proyecto se enmarca en el área de investigación relacionada con los sistemas automáticos de entrenamiento de la pronunciación (CAPT) y tiene como objetivo el estudio y desarrollo de un modelo de comparación acústico-fonético que facilite la construcción de herramientas originales para la mejora de la pronunciación del Español como lengua extranjera. Constituyendo un equipo multidisciplinar en el que se integra la experiencia previa del equipo en modelado prosódico y en enseñanza del Español como lengua extranjera a hablantes japoneses, proponemos una solución que combinará técnicas de generación y repetición de fragmentos de habla por locutores no nativos con un módulo de comparación y diagnosis que incorpore el conocimiento extraído de la comparación automática con locutores de referencia: nativos (L1) y no nativos (L2) de nivel DELE conocido. Nuestras propuestas de técnicas de modelado prosódico nos ayudarán a representar los movimientos prosódicos significativos desde el punto de vista perceptual usando etiquetado fonológico ToBI y facilitará la tarea de elaboración de modelos de predicción de errores y de pautas de corrección de las pronunciaciones defectuosas desde el punto de vista comunicativo. La pauta de aprendizaje propuesta inicialmente se basa en la realización por parte del usuario de ejercicios de repetición de locuciones presentadas por el sistema o de generación de respuestas cortas a preguntas o descripciones de escenas o situaciones, mientras recibe realimentación que le sirva de guía para mejorar sus resultados. En el proyecto, se experimentarán alternativas de identificación automática de las porciones mejorables de una locución, sobre la base de modelos de referencia que se elaborarán también como parte de los resultados de este proyecto, siguiendo el modelo GOP (Goodness of Pronunciation). Para la preparación de dichos modelos, usaremos tanto modelos estocásticos (HMM) como clasificadores no lineales clásicos (árboles de decisión, SVM, redes neuronales, …) y aprovecharemos los resultados positivos ya obtenidos en la aplicación de técnicas de fusión y combinación de expertos de diferente naturaleza a tareas de etiquetado prosódico automático. El idioma objetivo es el Español como segunda lengua, la población objetivo preferente serán estudiantes japoneses y la colección de ejercicios se elaborará partiendo de la experiencia acumulada en el diseño de cursos de español para japoneses de los investigadores del proyecto y en colaboración tanto con otros grupos de investigación de tres universidades como con la Asociación Europea de Profesores de Español y una empresa especializada en el desarrollo y comercialización de este tipo de sistemas. Como prueba de concepto se desarrollará un prototipo para plataformas móviles que permita expandir la base de datos de locuciones a medida que se usa, facilitando la mejora continua de los modelos.

PUBLICACIONES

Comunicaciones en congresos

Implementation and test of a serious game based on minimal pairs for pronunciation training. David Escudero-Mancebo, Enrique Cámara-Arenas, Cristian Tejedor-García, César González-Ferreras and Valentín Cardenoso-Payo. Workshop on Speech and Language Technology in Education (SLaTE). Leipzip, Alemania pag. 125-130. 2015 (PDF)
Playing around Minimal Pairs to improve pronunciation training Cristian Tejedor-García, Valentín Cardeñoso-Payo, Enrique Cámara-Arenas, César González-Ferreras and David Escudero-Mancebo. Workshop on Feedback in Pronunciation Training. IFCASL. Saarland, Alemania. 2015. (PDF)
Nuevas Propuestas Tecnológicas para la Práctica y Evaluación de la Pronunciación del Español como Lengua Extranjera. David Escudero, Mario Carranza. L Congreso Asociación Española de Profesores de Español. Páginas 218-227. Burgos 20-24 de Julio de 2015. (PDF)
Improving L2 Production with a Gamified Computer-Assisted Pronunciation Training Tool, TipTopTalk! Cristian Tejedor-García, David Escudero-Mancebo, César González-Ferreras, Enrique Cámara-Arenas, and Valentín Cardeñoso-Payo.In Proceedings IberSPEECH 2016, Lisbon (pp 177-186). (PDF)
Evaluation different non-native pronunciation scoring metrics with the japanese speakers of the sample corpus. Vandria Álvarez Alvarez, David Escudero-Mancebo, César González-Ferreras, and Valentín Cardeñoso Payo. In Advances in Speech and Language Technologies for Iberian Languages: Third International Conference, IberSPEECH 2016, Lisbon, Portugal, November 23-25, 2016, Proceedings 3 (pp. 205-214). Springer International Publishing. (PDF)
Exploratory use of automatic prosodic labels for the evaluation of Japanese speakers of L2 Spanish. David Escudero-Mancebo, César González-Ferreras, Lourdes Aguilar, Eva Estebas-Vilaplana, Valentín Cardeñoso-Payo. In Proceedings of Speech Prosody, pages 761-765. ISCA, 2016 . (PDF)
Andreia Rauber, Cristian Tejedor-García, Valentín Cardeñoso Payo, Enrique Cámara-Arenas, César González-Ferreras, David Escudero-Mancebo, and Anabela Rato. Tiptoptalk!: A game to improve the perception and production of L2 sounds. In New Sounds 2016, 8th International Conference on Second Language Speech. Aarhus, June 2016. (PDF)
Eva Estebas Vilaplana. Plataforma interactiva para el autoaprendizaje de la pronunciación inglesa: la enseñanza de la entonación.. In Proceedings of Subsidia 2017, Malaga. (PDF)
Lourdes Aguilar y David Escudero. Uso de videojuegos tipo aventura gráfica para el aprendizaje de español como lengua extranjera. LII Congreso de la Asociación Europea de Profesores de Español. Las Palmas 2017.

Demos en congresos

The magic stone: A video game to improve communication skills of people with intellectual disabilities. Mario Corrales-Astorgano, David Escudero-Mancebo, César González-Ferreras, Yurena Gutérrez-González, Valle Flores-Lucas, Valentín Cardeñoso-Payo, and Lourdes Aguilar-Cuevas. Proceedings of Interspeech 2016. ISCA, Septembre 2016. San Francisco (USA). Pages 1565-1566. (PDF)
Measuring pronunciation improvement in users of CAPT Tool TipTopTalk! Cristian Tejedor-García, David Escudero-Mancebo, Enrique Cámara-Arenas, César González-Ferreras, and Valentín Cardeñoso-Payo. Proceedings of Interspeech 2016. ISCA, Septembre 2016. San Francisco (USA). Pages 1178-1179. (PDF)
TipTopTalk! Mobile application for speech training using minimal pairs and gamification. Cristian Tejedor-García, David Escudero-Mancebo, César González-Ferreras, Enrique Cámara-Arenas, Valentín Cardeñoso-Payo. In Proceedings IberSPEECH 2016, Lisbon 2016, (pp 425-432) (PDF)

Artículos en revistas

Engaging Adolescents with Down Syndrome in an Educational Video Game. César González-Ferreras, David Escudero-Mancebo, Mario Corrales-Astorgano, Lourdes Aguilar-Cuevas and Valle Flores-Lucas. International Journal of Human–Computer Interaction. Volumen 33, issue 9. 2017. (PDF)

SOFTWARE DESARROLLADO

1.- TipTopTalk!

Más información

2.- Valladolid Español Cien por Cien, Videojuego serio para la promoción de Valladolid como ciudad para el aprendizaje del español como segunda lengua