Uma mulher paralisada voltou a falar depois que seus sinais cerebrais foram interceptados e transformados em um avatar falante, completo com expressões faciais e amostras de som da voz real da mulher, tudo pela primeira vez no mundo.
Ann, de 48 anos, sofreu um derrame cerebral quando tinha 30 anos, deixando-a paralisada.
Cientistas da Universidade da Califórnia implantaram então um retângulo fino como papel de 253 eletrodos na superfície de seu cérebro, cobrindo a área crítica para a fala. Eles então usaram inteligência artificial para produzir a interface cérebro-computador (BCI).
Eles interceptam sinais cerebrais “falantes” e são alimentados em um banco de computadores por meio de um cabo, conectado a uma porta fixada em sua cabeça.
Os computadores podem decodificar os sinais em texto a uma taxa de 80 palavras por minuto, enquanto uma gravação de áudio de sua voz no dia do casamento, anos antes do derrame, reproduziu sua voz e depois a transmitiu a um avatar na tela que a utiliza com expressões faciais. expressões.
A equipe da Universidade da Califórnia em São Francisco afirma que é a primeira vez que a fala ou as expressões faciais são sintetizadas a partir de sinais cerebrais.
“Nosso objetivo é restaurar uma forma de comunicação plena e incorporada, que é realmente a maneira mais natural de conversarmos com outras pessoas”, disse o Dr. Edward Chang, presidente de cirurgia neurológica da UCSF. “Esses avanços nos aproximam muito mais de tornar isso uma solução real para os pacientes.”
Durante semanas, Ann trabalhou com a equipe para treinar os algoritmos de inteligência artificial do sistema para reconhecer seus sinais cerebrais únicos para a fala.
Isso envolveu a repetição repetida de frases diferentes de um vocabulário de conversação de 1.024 palavras, até que o computador reconhecesse os padrões de atividade cerebral associados aos sons.
Em vez de treinar a IA para reconhecer palavras inteiras, os pesquisadores criaram um sistema que decodifica palavras de fonemas. “Olá”, por exemplo, contém quatro fonemas: “HH”, “AH”, “L” e “OW”.
Usando essa abordagem, o computador precisou apenas aprender 39 fonemas para decifrar qualquer palavra em inglês. Isso aumentou a precisão do sistema e o tornou três vezes mais rápido.
“A precisão, velocidade e vocabulário são cruciais”, disse Sean Metzger, que desenvolveu o decodificador de texto no Programa conjunto de Bioengenharia da UC Berkeley e da UCSF. “É o que dá ao usuário o potencial, com o tempo, de se comunicar quase tão rápido quanto nós e de ter conversas muito mais naturalistas e normais.”
Usando um processo personalizado de aprendizado de máquina que permitiu que o software da empresa se combinasse com os sinais enviados de seu cérebro, o avatar do computador foi capaz de imitar os movimentos de Ann, fazendo a mandíbula abrir e fechar, os lábios se projetarem e franzirem e a língua subir e descer. para baixo, bem como os movimentos faciais de felicidade, tristeza e surpresa.
A equipe agora está trabalhando em uma versão sem fio que significará que o usuário não precisará estar conectado aos computadores.
