Como montar um mapa linguístico para agentes de voz?

O mapa linguístico para agentes de voz diz o que avaliar em cada etapa da ligação: som, palavra, turno e modelo mental. A tese é simples: essas camadas são interdependentes e desaparecem no ar assim que são ditas. Só o modelo mental do usuário continua crescendo, e é ele que decide a satisfação no fim da chamada.

Mapa linguístico para agentes de voz em quatro camadas

O mapa linguístico para agentes de voz divide a conversa falada em quatro camadas interdependentes, duas no canal de escuta e duas no canal de fala. São elas som, palavra, turno e modelo mental. A camada de som cobre reconhecimento e pronúncia; a de palavra cobre vocabulário compartilhado; a de turno cobre ritmo e detecção de fim de fala; a de modelo mental cobre intenção e contexto.

Midam Kim, engenheira de machine learning na ServiceNow, apresentou esse framework na conferência AI Engineer. Ela descreve a comunicação humana como atividade conjunta: cada lado emite sons e palavras, ambos atualizam modelos mentais e o processo se repete. Em 2024, a pesquisadora já defendia que um agente de voz precisa reproduzir esse mesmo ciclo para ser aceito.

A consequência prática é dura. As camadas não são independentes: melhorar o som exige revisar o nível da palavra, e melhorar som e palavra exige tratar o turno. Sem turno e modelo mental, o agente até completa tarefas simples, mas quebra em diálogos com correção, hesitação ou informação ditada letra por letra.

Camada	Canal	Pergunta de diagnóstico	O que costuma falhar
Som	Escuta	O bot reconhece a fala do usuário?	Confusão entre fonemas próximos como m e n
Palavra	Escuta	O bot entende as palavras ditas?	Vocabulário do domínio ausente ou mal segmentado
Turno	Escuta	O bot espera o momento certo para responder?	Corte no meio da fala e sobreposição de vozes
Modelo mental	Ambos	O bot entende a intenção e o contexto?	Pedido de repetição sem tentativa de esclarecimento

E há um segundo eixo, o da fala: pronúncia, escolha lexical, timing de resposta e entrega da informação que o usuário realmente precisa. Um agente saudável fecha as oito células; um agente irritante deixa duas ou três abertas sem que ninguém perceba.

ASR, TTS e o que a camada de som ainda erra

A camada de som responde a uma pergunta objetiva: o bot reconhece bem a fala do usuário e pronuncia bem o que devolve? É ali que entram o modelo de reconhecimento de fala e o modelo de síntese. Na fala de Kim, o bot ouviu "m i d a m" e confirmou "m i d a n", um erro clássico de dois fonemas vizinhos em inglês.

Reconhecimento de fala em português brasileiro tem obstáculos próprios. Nomes próprios, siglas, números de protocolo e e-mails derrubam taxas de acerto quando o vocabulário de domínio é genérico. A recomendação do framework é escolher modelo e configuração com critério, aplicar pós-processamento no texto reconhecido e pré-processamento no texto que será falado.

A síntese tem o problema espelhado. Kim relata que o motor de voz aplicou regras de leitura do inglês americano ao nome soletrado. Em português, o equivalente é ler uma sigla como se fosse palavra, pronunciar CPF dígito a dígito quando o usuário esperava número corrido, ou errar a pronúncia de um nome estrangeiro.

O ajuste não é só técnico. Você precisa definir, para cada campo, se a leitura será dígito a dígito, número corrido ou palavra, e garantir que o sintetizador respeite essa decisão. Sem essa curadoria, a camada de som fica correta no laboratório e falha justamente nos campos que provam identidade.

Por que a camada de palavra exige vocabulário compartilhado

A camada de palavra verifica se o bot entende o que o usuário disse e se escolhe termos que o usuário compreende. Kim mostra um erro típico de produto, não de modelo: o agente pede o "número da conta" sem explicar que se refere a um código específico da empresa, e o usuário perde tempo procurando o que aquilo significa.

Vocabulário compartilhado é o nome disso. Se o contrato, o boleto e o aplicativo usam três nomes diferentes para o mesmo dado, a ligação vira tradução simultânea. Curar a lista de termos que o bot fala e aceita ouvir reduz retrabalho mais do que aumentar o modelo de linguagem.

Do lado da escuta, o risco é segmentação. Números ditados devagar, com pausas irregulares, chegam ao reconhecedor em pedaços. O sistema precisa agrupar esses pedaços antes de decidir que a informação está incompleta. Foi exatamente o que faltou no atendimento narrado: o bot cortou a leitura do código e declarou que não encontrou o registro.

Uma decisão de projeto resolve boa parte disso: definir, por campo, o conjunto fechado de termos aceitos e o comportamento quando a confiança cai. Perguntar de novo com uma pista, em vez de repetir a mesma frase, é o comportamento humano que Kim cobra do bot.

Turno, timing e detecção de fim de fala

A camada de turno pergunta se o bot espera o momento certo para responder. Detecção de fim de fala é o componente que decide quando o usuário terminou. Errar para o lado otimista produz cortes; errar para o lado pessimista produz silêncios longos que o usuário interpreta como chamada caída.

A palestra lista três sintomas que aparecem juntos: o bot interrompe, o bot fala por cima e o bot pede repetição sem tentar esclarecer. Todos são falhas de turno antes de serem falhas de compreensão. Um usuário que gagueja, soletra ou pensa em voz alta precisa de uma janela maior, e essa janela deveria ser dinâmica.

Latência entra na mesma conta. Turno não é só quando começar a falar, mas quanto tempo o bot demora para começar. Respostas muito rápidas soam mecânicas e atropelam a respiração de quem fala; respostas tardias quebram a sensação de conversa. A referência é o ritmo da interação humana, não o menor tempo possível de resposta.

Há também a correção. Quando o usuário diz "não, é com m", o bot deveria marcar a informação anterior como suspeita e revalidar. Um sistema que aceita a correção no texto, mas mantém o dado antigo no cadastro, transforma cortesia em perda silenciosa.

Modelo mental: a única camada que sobrevive à ligação

A camada de modelo mental pergunta se o bot compreende a intenção do usuário e mantém o contexto ao longo da chamada. É a única que não desaparece: sons, palavras e turnos se dissolvem no ar, mas o modelo mental do usuário continua crescendo durante e depois da ligação.

Kim descreve a diferença em relação ao chat com precisão. No chat, o histórico fica visível como texto, então o usuário pode reler. Na voz, não existe histórico acessível: apenas a memória do que foi dito. Por isso, esquecer um dado já fornecido custa muito mais caro em voz do que em texto.

O teste é simples. Se o usuário já informou o nome no minuto um e o bot pede de novo no minuto três, a camada está quebrada, mesmo que o reconhecimento esteja perfeito. O mesmo vale para o inverso: o bot precisa falar apenas a informação que o usuário precisa naquele momento, sem despejar o contrato inteiro.

Aqui entra a parte que a palestra chama de emocional e que costuma ser ignorada. Quando o usuário já corrigiu três vezes, ele não quer educação genérica. Ele quer que o bot reconheça o esforço, encurte o caminho e ofereça alternativas concretas. Pedir para repetir sem tentar esclarecer é o gesto que faz o cliente desistir.

Benchmark EVA-Bench e o que medir na prática

Kim apresenta o EVA-Bench como um benchmark ponta a ponta criado na ServiceNow para diagnosticar agentes de voz. A proposta é testar o sistema inteiro, não uma peça isolada, porque as quatro camadas falham em conjunto.

O valor de um benchmark ponta a ponta está em separar causa e sintoma. Um agente pode ter bom reconhecimento e ainda perder a ligação por corte de fala. Outro pode reconhecer mal e compensar com esclarecimento interativo. Sem medir o fluxo completo, você otimiza a métrica errada.

Para quem trabalha no Brasil, o exercício útil é reproduzir a estrutura com sotaques e formatos locais. Grave ligações reais, marque onde houve corte, onde faltou vocabulário e onde o bot ignorou um dado já dito. Três eixos bastam para começar: tarefa concluída, número de repetições pedidas e tempo até o usuário pedir um humano.

A engenharia de voz brasileira ainda importa muito benchmark em inglês. Sotaque, velocidade de fala e a mania de soletrar dados para confirmar mudam a distribuição de erros. Se você é desenvolvedor e quer montar esse tipo de pipeline, vale estudar stacks que unem backend e interface, como o Crazystack Typescript, e procurar trilhas práticas como o Bootcamp do Dev Doido, criadas por Gustavo Dev Doido.

Como aplicar o framework no seu agente hoje

A aplicação começa por instrumentar a ligação. Você não corrige uma camada que não consegue enxergar. Grave áudio com consentimento, transcreva, marque turnos e compare o que o usuário disse com o que o bot entendeu.

1. Instrumente a chamada: registre áudio, transcrição com carimbo de tempo e estado interno do bot a cada turno. 2. Audite as quatro camadas em amostras reais: som, palavra, turno e modelo mental, com pelo menos dez ligações por fluxo. 3. Corrija primeiro o turno, porque corte e sobreposição contaminam todas as outras medições.

Depois dessa base, ataque o vocabulário compartilhado. Liste os termos que o bot fala e os que aceita ouvir, campo por campo, e defina o comportamento quando a confiança cai. Esclarecer com uma pista concreta é melhor do que repetir a pergunta original.

Por fim, trate o contexto como estado vivo. Guarde o que já foi informado, marque correções e ajuste o tom conforme o atrito acumulado. A meta não é um agente simpático, é um agente que não obriga o cliente a repetir a própria história.

Perguntas frequentes sobre mapa linguístico para agentes de voz

• O que é o mapa linguístico para agentes de voz? É um framework que organiza a conversa falada em quatro camadas interdependentes: som, palavra, turno e modelo mental. Cada camada cobre uma pergunta de diagnóstico, e todas precisam estar alinhadas para a tarefa terminar. Midam Kim, engenheira de machine learning na ServiceNow, apresentou o modelo na conferência AI Engineer.

• Por que o bot interrompe o usuário no meio da fala? Porque a detecção de fim de fala fechou o turno cedo demais. O usuário que soletra, hesita ou pensa em voz alta precisa de uma janela maior do que quem responde em frases curtas. A correção começa pela camada de turno, não pelo modelo de transcrição.

• Trocar o modelo de reconhecimento resolve as falhas do agente? Não sozinho. A camada de som melhora a taxa de acerto, mas não resolve vocabulário do domínio, corte de turno nem contexto esquecido. Um agente pode reconhecer bem e ainda perder a ligação por pedir o mesmo dado duas vezes.

• Qual a diferença entre voz e chat para memória de contexto? No chat, o histórico fica visível como texto e o usuário pode reler. Na voz, som e palavras desaparecem no ar, então apenas o modelo mental do usuário permanece. Esquecer um dado já dito custa muito mais caro em uma ligação do que em uma janela de texto.

• O que é o EVA-Bench da ServiceNow? É um benchmark ponta a ponta apresentado por Kim para diagnosticar agentes de voz. Ele mede o fluxo completo da conversa, e não uma peça isolada. A leitura útil é separar causa e sintoma, porque reconhecimento bom não garante tarefa concluída.

• Como avaliar um agente de voz em português brasileiro? Grave ligações reais com sotaques variados e marque onde houve corte, falta de vocabulário e repetição de dados. Compare com benchmark em inglês, mas trate sotaque e velocidade de fala como variáveis próprias. Esclarecer com uma pista concreta é melhor do que repetir a pergunta.

• O que medir além da taxa de acerto da transcrição? Meça tarefa concluída, número de repetições pedidas e tempo até o usuário pedir atendimento humano. Esses três eixos capturam falhas de turno e de contexto que a métrica de transcrição esconde. Nenhum modelo sozinho cobre as quatro camadas.

• Por que o agente aplica regras de leitura erradas a nomes e siglas? Porque a síntese usa regras genéricas de pronúncia para um texto que exige leitura especial. Definir, campo por campo, se a leitura será dígito a dígito ou palavra reduz esse erro. O caso narrado por Kim trocou "Midam" por "Madam" exatamente nesse ponto.

• O que o framework muda em termos de negócio? Menos frustração, menos transferência para atendente humano e menos chamadas abandonadas. Como diz Kim, implicações de negócio em voz são implicações linguísticas. O mapa serve como diagnóstico, não como correção mágica de um único componente.

Conclusão: linguagem muda, e seu agente precisa acompanhar

O ponto final da palestra não é técnico, é temporal. Falantes se adaptam: quem conversa com você aprende seu sotaque, seu ritmo e seu vocabulário. A pergunta que fica é se o seu agente está pronto para o usuário usá-lo melhor na próxima ligação.

Linguagem também muda. Gírias, nomes de produto e formas de pedir a mesma coisa se transformam em meses, não em décadas. Um sistema que só é reavaliado uma vez por ano vai acumular erros silenciosos. A curadoria de vocabulário precisa ser um processo contínuo, com revisão periódica.

O framework não entrega uma correção pronta, e Kim diz isso com todas as letras. O que ele entrega é um mapa para diagnosticar o que já existe e construir por cima. Negócio e linguística são a mesma conversa em voz, e ignorar uma das duas partes custa caro.

Da palestra ao artigo com o Skala Blog

A ideia central deste texto é que a conversa falada se desfaz no ar e só o modelo mental do ouvinte permanece. Com conteúdo técnico acontece algo parecido: uma palestra densa como esta se perde no ar se ninguém a transforma em texto consultável.

Se você tem conhecimento, entrevistas, opiniões ou aulas gravadas em vídeo, o Skala Blog faz esse caminho no sentido inverso ao da fala. Você cola a URL do vídeo do YouTube, o sistema transcreve e gera um artigo estruturado, pronto para revisão e publicação.

Source video