Orientadora: Profa. Paula Dornhofer Paro Costa (FEEC-Unicamp) Coorientador: Dr. Lucas Hideki Ueda

Este projeto de iniciação científica está integrado ao objetivo de desenvolvimento de um modelo de reconhecimento de fala (Automatic Speech Recognition, ASR) para o português brasileiro. Em particular, busca-se avaliar a robustez de modelos ASR quando aplicados às falas com sotaque e/ou emoção. O objetivo é criar um modelo capaz de reconhecer o que um falante diz, mantendo a robustez quando a fala de entrada possuir diferentes sotaques brasileiros, bem como quando pronunciada com diferentes emoções. Isso permitirá a integração deste modelo em interfaces humano-computador (agentes de fala), viabilizando que um usuário interaja com o computador através da voz.

A realização deste projeto de iniciação científica representa uma oportunidade significativa para a/o aluna/o expandir seus conhecimentos técnicos e contribuir para a comunidade científica, ao mesmo tempo em que desenvolve habilidades práticas em processamento/modelagem de dados de sinal da fala e técnicas avançadas de deep learning aplicado ao reconhecimento de sinais.

Para este projeto, busca-se alunas/os que tenham afinidade e interesse na intersecção entre as áreas de sinal de fala, aprendizado de máquina e IA generativa. Ainda, espera-se que as/os alunas/os tenham capacidade de aprendizado autônomo e raciocínio crítico.

Este projeto de iniciação científica está inserido no contexto do projeto INSPIRE - IA no Serviço Público com Inovação, Responsabilidade e Ética, com foco na pesquisa e o desenvolvimento de tecnologias de síntese e reconhecimento de fala em português brasileiro para comunicação automatizada entre serviços públicos digitais e cidadãos. O projeto é conduzido em conjunto com a empresa CPQD com apoio do Ministério da Gestão e da Inovação em Serviços Públicos, Ministério da Ciência Tecnologia e Inovação (MCTI) e Finep.

Objetivos:

  1. Realizar um estudo aprofundado sobre modelos ASR e os impacto da fala com sotaque e/ou emoções na sua performance.
  2. Explorar o desenvolvimento e treinamento de um modelo ASR baseado em técnicas de deep learning, robusto a sotaque e/ou emoção para o português brasileiro.

Referências

Radford, A., Kim, J.W., Xu, T., Brockman, G., Mcleavey, C. & Sutskever, I.. (2023). Robust Speech Recognition via Large-Scale Weak Supervision. Proceedings of the 40th International Conference on Machine Learning, in Proceedings of Machine Learning Research 202:28492-28518 Disponível em: https://proceedings.mlr.press/v202/radford23a.html.

Kulkarni, A., Kulkarni, A., Couceiro, M., Trancoso, I. (2024) Unveiling Biases while Embracing Sustainability: Assessing the Dual Challenges of Automatic Speech Recognition Systems. Proc. Interspeech 2024, 4628-4632, doi: 10.21437/Interspeech.2024-2494.