ECA-SIMM

Proyecto de Investigación VA145U14

CREDENCIALES DEL PROYECTO

  • Título: EVALUACIÓN AUTOMÁTICA DE LA PRONUNCIACIÓN DEL ESPAÑOL COMO LENGUA EXTRANJERA PARA HABLANTES JAPONESES
  • Investigador Principal: Valentín Cardeñoso Payo, Universidad de Valladolid
  • Fecha de Inicio: 1/1/2014
  • Fecha de Finalización: 31/12/2017
  • Entidad Financiadora: Consejería de Educación, Junta de Castilla y León.
  • Cantidad: 28.999€
  • Número de investigadores: 9
  • Clave: VA145U14

RESUMEN DEL PROYECTO

Las Tecnologías de la Información y las Comunicaciones se han convertido en un factor clave del desarrollo y la expansión del aprendizaje de idiomas durante las últimas décadas. Este proyecto se enmarca en el área de investigación relacionada con los sistemas automáticos de entrenamiento de la pronunciación (CAPT) y tiene como objetivo el estudio y desarrollo de un modelo de comparación acústico-fonético que facilite la construcción de herramientas originales para la mejora de la pronunciación del Español como lengua extranjera. Constituyendo  un equipo multidisciplinar  en el que se integra la experiencia previa del equipo en modelado prosódico y en enseñanza del Español como lengua extranjera a hablantes japoneses,  proponemos una solución que combinará técnicas de generación y repetición de fragmentos de habla por locutores no nativos con un módulo de comparación  y diagnosis que incorpore el conocimiento extraído de la comparación automática con locutores de referencia: nativos (L1)  y no nativos (L2) de nivel DELE conocido. Nuestras propuestas de técnicas de modelado prosódico nos ayudarán a representar los movimientos prosódicos significativos desde el punto de vista perceptual usando etiquetado fonológico ToBI y facilitará la tarea de elaboración de modelos de predicción de errores y de pautas de corrección de las pronunciaciones defectuosas desde el punto de vista comunicativo. La pauta de aprendizaje propuesta inicialmente se basa en la realización por parte del usuario de ejercicios de repetición de locuciones presentadas por el sistema o de generación de respuestas cortas a preguntas o descripciones de escenas o situaciones, mientras  recibe realimentación que le sirva de guía para mejorar sus resultados. En el proyecto, se experimentarán alternativas de identificación automática de las porciones mejorables de una locución,  sobre la base de modelos de referencia que se elaborarán también como parte de los resultados de este proyecto, siguiendo el modelo GOP (Goodness of Pronunciation). Para la preparación de dichos modelos, usaremos tanto modelos estocásticos (HMM) como clasificadores no lineales clásicos (árboles de decisión, SVM,  redes neuronales, …) y aprovecharemos los resultados positivos ya obtenidos en la aplicación de técnicas de fusión y combinación de expertos de diferente naturaleza a tareas de etiquetado prosódico automático. El idioma objetivo es el Español como segunda lengua, la población objetivo preferente serán estudiantes japoneses y la colección de ejercicios se elaborará partiendo de la experiencia acumulada en el diseño de cursos de español para japoneses de los investigadores del proyecto y en colaboración tanto con otros grupos de investigación de tres universidades como con la Asociación Europea de Profesores de Español y una empresa especializada en el desarrollo y comercialización de este tipo de sistemas. Como prueba de concepto se desarrollará un prototipo para plataformas móviles que permita expandir la base de datos de locuciones a medida que se usa, facilitando la mejora continua de los modelos.

RESULTADOS

TipTopTalk! es una aplicación móvil que utiliza la tecnología del reconocimiento automático del habla (Automatic speech recognition, ASR) y síntesis de voz (Text-To-Speech, TTS) para la enseñanza y auto-evaluación de la pronunciación de cualquier idioma (y dialectos).

Además incorpora un módulo de social game y gamification para lograr una interacción entre personas, conseguir logros, incentivar la participación, la utilización y la expansión de la aplicación mediante redes sociales, evitando así el posible abandono en los primeros días de uso (problema de la mayoría de aplicaciones de aprendizaje de idiomas). Para ello se pretende que la aplicación se adapte al usuario, es decir, le sugiera modalidades y juegos según su avance en el desarrollo del juego. Descárgala gratuitamente en Google Play.

 

Logotipo oficial de TipTopTalk!

 

Más información

PUBLICACIONES

  • Engaging Adolescents with Down Syndrome in an Educational Video Game. César González-Ferreras, David Escudero-Mancebo, Mario Corrales-Astorgano, Lourdes Aguilar-Cuevas and Valle Flores-Lucas. International Journal of Human–Computer Interaction. 2017. (PDF)
  • Improving L2 Production with a Gamified Computer-Assisted Pronunciation Training Tool, TipTopTalk! Cristian Tejedor-García, David Escudero-Mancebo, César González-Ferreras, Enrique Cámara-Arenas, and Valentín Cardeñoso-Payo Iberspeech 2016. (PDF)
  • Evaluation different non-native pronunciation scoring metrics with the japanese speakers of the sample corpus. Vandria Álvarez Alvarez, David Escudero-Mancebo, César González-Ferreras, and Valentín Cardeñoso Payo. Iberspeech 2016. (PDF)
  • The magic stone: A video game to improve communication skills of people with intellectual disabilities. Mario Corrales-Astorgano, David Escudero-Mancebo, César González-Ferreras, Yurena Gutérrez-González, Valle Flores-Lucas, Valentín Cardeñoso-Payo, and Lourdes Aguilar-Cuevas. Interspeech 2016. Pages 1565-1566. (PDF)
  • Measuring pronunciation improvement in users of CAPT Tool TipTopTalk! Cristian Tejedor-García, David Escudero-Mancebo, Enrique Cámara-Arenas, César González-Ferreras, and Valentín Cardeñoso-Payo. Interspeech 2016. Pages 1178-1179. (PDF)
  • Exploratory use of automatic prosodic labels for the evaluation of Japanese speakers of L2 Spanish. David Escudero-Mancebo, César González-Ferreras, Lourdes Aguilar, Eva Estebas-Vilaplana, Valentín Cardeñoso-Payo. Speech Prosody 2016. (PDF)
  • Implementation and test of a serious game based on minimal pairs for pronunciation training. David Escudero-Mancebo, Enrique Cámara-Arenas, Cristian Tejedor-García, César González-Ferreras and Valentín Cardenoso-Payo. Workshop on Speech and Language Technology in Education (SLaTE). 2015 (PDF)