Orientadora: Profa. Paula Dornhofer Paro Costa (FEEC-Unicamp)

Coorientador: Dr. Lucas Hideki Ueda

Este projeto de iniciação científica está integrado ao objetivo de desenvolvimento de um modelo de síntese de fala (Text-to-Speech, TTS) para o português brasileiro. Em particular, busca-se avaliar a capacidade de modelos generativos em sintetizar sinais de fala com controle de sotaque e/ou emoções. O objetivo é criar um modelo TTS capaz de gerar fala inteligível e com controle da emoção ou sotaque alvo. Isso possibilitará a integração deste modelo em interfaces humano-computador (agentes de fala), viabilizando a interação por voz entre o usuário e o computador.

A realização deste projeto de iniciação científica representa uma oportunidade significativa para a/o aluna/o expandir seus conhecimentos técnicos e contribuir para a comunidade científica, ao mesmo tempo em que desenvolve habilidades práticas em processamento/modelagem de dados de sinal da fala e técnicas avançadas de deep learning aplicado à síntese de sinais.

Para este projeto, busca-se alunas/os que tenham afinidade e interesse na intersecção entre as áreas de sinal de fala, aprendizado de máquina e IA generativa. Ainda, espera-se que as/os alunas/os tenham capacidade de aprendizado autônomo e raciocínio crítico.

Este projeto de iniciação científica está inserido no contexto do projeto INSPIRE - IA no Serviço Público com Inovação, Responsabilidade e Ética, com foco na pesquisa e o desenvolvimento de tecnologias de síntese e reconhecimento de fala em português brasileiro para comunicação automatizada entre serviços públicos digitais e cidadãos. O projeto é conduzido em conjunto com a empresa CPQD com apoio do Ministério da Gestão e da Inovação em Serviços Públicos, Ministério da Ciência Tecnologia e Inovação (MCTI) e Finep.

Objetivos:

  1. Realizar um estudo aprofundado sobre modelos TTS e como condicionar sotaques e/ou emoções distintos para um mesmo texto de entrada.
  2. Explorar o desenvolvimento e o treinamento de um modelo TTS com controle de sotaque e/ou emoção para o português brasileiro.

Referências

S. Mehta, R. Tu, J. Beskow, É. Székely and G. E. Henter, "Matcha-TTS: A Fast TTS Architecture with Conditional Flow Matching," ICASSP 2024 - 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Seoul, Korea, Republic of, 2024, pp. 11341-11345, doi: 10.1109/ICASSP48485.2024.10448291.

Sorin, A., Shechtman, S., Hoory, R. (2020) Principal Style Components: Expressive Style Control and Cross-Speaker Transfer in Neural TTS. Proc. Interspeech 2020, 3411-3415, doi: 10.21437/Interspeech.2020-1854.