Ao realizar uma solicitação de detecção de intent, é possível fornecer phrase_hints para dar dicas ao reconhecedor de fala. Essas dicas podem ajudar no reconhecimento em um estado de conversa específico.
Adaptação automática de fala
O recurso de adaptação automática de fala melhora a precisão do reconhecimento de fala do seu agente usando o estado da conversa automaticamente para transmitir entidades relevantes e frases de treinamento como dicas de contexto da fala para todas as solicitações de detecção de intent. Esse recurso é desativado por padrão.
Ativar ou desativar a adaptação automática de fala
Para ativar ou desativar a adaptação automática de fala:
Console
- Abra o console do Dialogflow CX.
- Escolha o projeto do Google Cloud .
- Selecione seu agente.
- Clique em Configurações do agente.
- Clique na guia Speech and IVR.
- Ative ou desative a opção Ativar adaptação automática de fala.
- Clique em Salvar.
API
Veja os métodos get e patch/update para o tipo Agent.
Selecione um protocolo e uma versão para a referência do agente:
| Protocolo | V3 | V3beta1 |
|---|---|---|
| REST | Recurso do agente | Recurso do agente |
| RPC (remote procedure call) | Interface do agente | Interface do agente |
| C++ | AgentsClient (em inglês) | Indisponível |
| C# | AgentsClient (em inglês) | Indisponível |
| Go | AgentsClient (em inglês) | Indisponível |
| Java | AgentsClient (em inglês) | AgentsClient (em inglês) |
| Node.js | AgentsClient (em inglês) | AgentsClient (em inglês) |
| PHP | Indisponível | Indisponível |
| Python | AgentsClient (em inglês) | AgentsClient (em inglês) |
| Ruby | Indisponível | Indisponível |
Design de agente para melhorias no reconhecimento de fala
Com a adaptação automática de fala ativada, é possível criar seu agente de forma a tirar proveito dela. As seções a seguir explicam como é possível melhorar o reconhecimento de fala com algumas alterações nas frases de treinamento, nos contextos e nas entidades do seu agente.
Frases de treinamento
- Se você definir frases de treinamento com uma frase como "nariz entupido", uma expressão sonora do usuário similar é reconhecida como "nariz entupido" e não como "nariz entope pia".
- Quando você tem um parâmetro obrigatório que força o Dialogflow a usar solicitações de preenchimento de formulário, a adaptação automática de fala vai priorizar a entidade que está sendo preenchida.
Em todos os casos, a adaptação automática de fala está apenas direcionando o reconhecimento de fala, não o limitando. Por exemplo, mesmo que o Dialogflow esteja solicitando ao usuário um parâmetro obrigatório, os usuários ainda poderão acionar outras intents, como uma intent "conversar com um agente" de nível superior.
Entidades do sistema
Se você definir uma frase de treinamento que use a entidade do sistema @sys.number e o usuário final disser "Quero dois", ela poderá ser reconhecida como "para", "também", "2" ou "dois".
Com a adaptação automática de fala ativada, o Dialogflow usa a entidade @sys.number como
uma dica durante o reconhecimento de fala, e o parâmetro tem mais chances de ser
extraído como "2".
Entidades personalizadas
Se você definir uma entidade personalizada para nomes de produtos ou serviços oferecidos pela sua empresa, e o usuário final mencionar esses termos em uma frase, é mais provável que eles sejam reconhecidos. Uma frase de treinamento "Adoro o Dialogflow", em que "Dialogflow" é anotada como a entidade @product, adapta a adaptação automática de falas para o direcionamento de "Adoro Dialogflow", "Adoro o Cloud Speech" e todas outras entradas na entidade @product.
É importante definir sinônimos de entidades limpas ao usar o Dialogflow para detectar a fala. Imagine que você tenha duas entradas de entidade do @product, "Dialogflow" e "Dataflow". Seus sinônimos de "Dialogflow" podem ser "Dialogflow", "dialogue flow" ou "dialogue builder", "Speakoit", "speak to it", "API.ai", "API dot AI". Eles são bons sinônimos porque abrangem as variações mais comuns. Não é preciso adicionar "the dialogue flow builder" porque o "dialogue flow" já abrange isso.
- Os enunciados do usuário com entidades numéricas consecutivas, mas distintas, podem ser ambíguos.
Por exemplo, "Quero dois 16 pacotes" pode significar 2 quantidades de 16 pacotes ou 216 quantidades em pacotes. A adaptação de fala pode ajudar a tirar a ambiguidade desses
casos se você configurar entidades com valores ortográficos:
- Defina uma entidade
quantitycom entradas:zeroone...twenty - Defina uma entidade
productousizecom entradas:sixteen packtwo ounce...five liter - Somente sinônimos de entidade são usados na adaptação de fala. Assim, você pode definir uma entidade com o valor de referência
1e um único sinônimoonepara simplificar a lógica de fulfillment.
- Defina uma entidade
Entidades regexp
As entidades de regex podem acionar a adaptação automática de fala para sequências alfanuméricas e de dígitos, como "ABC123" ou "12345", quando configuradas e testadas corretamente.Para reconhecer essas sequências por voz, implemente todos os quatro requisitos abaixo:
1. Requisito de entrada de regex
Embora qualquer expressão regular possa ser usada para extrair entidades de entradas de texto, somente algumas expressões vão informar à adaptação automática de fala para priorizar sequências alfanuméricas ou de dígitos ao reconhecer a fala.
Na entidade de regexp, pelo menos uma entrada precisa seguir todas estas regras:
- Deve corresponder a alguns caracteres alfanuméricos, por exemplo:
\d,\w,[a-zA-Z0-9] - Não pode conter espaços em branco
ou\s, mas\s*e\s?são permitidos - Não pode conter grupos de captura ou não captura
() - Não deve tentar corresponder a caracteres especiais ou pontuação, como:
` ~ ! @ # $ % ^ & * ( ) - _ = + , . < > / ? ; ' : " [ ] { } \ |
Essa entrada pode ter conjuntos de caracteres []
e quantificadores de repetição, como *, ?, +, {3,5}.
Confira exemplos.
2. Requisito de definição de parâmetro
Marque a entidade regexp como parâmetro de formulário obrigatório para que ela seja coletada durante preenchimento. Isso permite que a adaptação automática de fala polarize o reconhecimento de sequências em vez de tentar reconhecer uma intent e uma sequência ao mesmo tempo. Caso contrário, "Onde está meu pacote para ABC123" pode ser reconhecido incorretamente como "Onde está meu pacote 4ABC123".
3. Requisito de anotação de frases de treinamento
Não use a entidade de regexp para uma anotação de frase de treinamento de intent. Isso garante que o parâmetro seja resolvido como parte do preenchimento do formulário.
4. Requisito de teste
Consulte Como testar a adaptação de fala.
Exemplos
Por exemplo, uma entidade regexp com uma única entrada ([a-zA-Z0-9]\s?){5,9} não acionará
o reconhecedor da sequência de fala porque ele contém um grupo de captura.
Para corrigir isso, basta adicionar outra entrada para [a-zA-Z0-9]{5,9}. Agora você vai
se beneficiar do reconhecedor de sequência ao corresponder "ABC123",
mas a NLU ainda vai corresponder a entradas como "ABC 123" graças à regra
original que permite espaços.
Os seguintes exemplos de expressões regulares se adaptam para sequências alfanuméricas:
^[A-Za-z0-9]{1,10}$
WAC\d+
215[2-8]{3}[A-Z]+
[a-zA-Z]\s?[a-zA-Z]\s?[0-9]\s?[0-9]\s?[0-9]\s?[a-zA-Z]\s?[a-zA-Z]
Os seguintes exemplos de expressões regulares se adaptam para sequências de dígitos:
\d{2,8}
^[0-9]+$
2[0-9]{7}
[2-9]\d{2}[0-8]{3}\d{4}
Solução alternativa de regex
O suporte integrado da adaptação automática de fala para entidades de regexp varia de acordo com o idioma.
Confira os tokens de classe de fala
para os idiomas compatíveis com
$OOV_CLASS_ALPHANUMERIC_SEQUENCE e $OOV_CLASS_DIGIT_SEQUENCE.
Se seu idioma não estiver listado, você poderá contornar essa limitação. Por exemplo, se você quiser que um ID de funcionário com três letras seguidas por três dígitos seja reconhecido com precisão, crie seu agente com as seguintes entidades e parâmetros:
- Defina uma entidade
digitque contenha 10 entradas de entidade (com sinônimos):0, 01, 1...9, 9 - Defina uma entidade
letterque contenha 26 entradas de entidade (com sinônimos):A, AB, B...Z, Z - Defina uma entidade
employee-idque contenha uma única entrada de entidade (sem sinônimos):@letter @letter @letter @digit @digit @digit - Use
@employee-idcomo parâmetro em uma frase de treinamento.
Adaptação de fala manual
A adaptação manual de fala permite configurar manualmente frases de adaptação de fala para um fluxo ou uma página. Ele também substitui os contextos de fala implícitos gerados pela adaptação automática de fala quando ela está ativada.
As configurações de adaptação de fala no nível do fluxo e da página têm uma relação hierárquica, o que significa que uma página herda as configurações de adaptação de fala do nível do fluxo por padrão, e o nível da página mais detalhado sempre substitui o nível do fluxo se a página tiver uma configuração personalizada.
Para a configuração de adaptação de fala, as configurações no nível do fluxo e da página podem ser ativadas de forma independente. Se a configuração de adaptação no nível do fluxo não estiver ativada, você ainda poderá escolher Personalizar no nível da página para ativar a adaptação de fala manual para essa página específica. Da mesma forma, se você desativar a adaptação de fala manual na configuração do fluxo, as páginas no fluxo com Personalizar selecionado não serão afetadas.
No entanto, as configurações no nível do fluxo e da página não podem ser desativadas de forma independente. Se um fluxo tiver a adaptação de fala manual ativada, não será possível desativá-la para uma página no fluxo usando a opção Personalizar. Portanto, se você quiser usar a adaptação de fala manual e automática para páginas em um fluxo, não ative a adaptação de fala manual no nível do fluxo e use apenas as configurações de adaptação no nível da página. Consulte a tabela abaixo para entender qual combinação de fluxo e configuração de página você deve usar para seu caso de adaptação.
| Efeito de segmentação | Uso recomendado das configurações adaptáveis |
|---|---|
| Desativar a adaptação automática de um fluxo | Fluxo ativado sem conjuntos de frases (as páginas no fluxo usam a configuração de fluxo por padrão). |
| Desativar a adaptação automática de uma página | Fluxo desativado e página ativada (opção Personalizar escolhida) sem conjuntos de frases. |
| Usar apenas a adaptação de fala manual para todas as páginas de um fluxo | Fluxo ativado. Personalize as páginas que precisam usar conjuntos de frases diferentes do fluxo. |
| Uso misto de adaptação automática e manual em um fluxo | Fluxo desativado. Personalize as páginas em que você quer aplicar a adaptação manual. |
| Usar apenas a adaptação automática de fala para todas as páginas de um fluxo | Fluxo desativado. |
Ativar ou desativar a adaptação de fala manual
Para ativar ou desativar a adaptação de fala manual no nível do fluxo ou da página:
Configurações de fluxo
- Abra o console do Dialogflow CX.
- Escolha o projeto do Google Cloud .
- Passe o cursor do mouse sobre o fluxo na seção Fluxos.
- Clique no botão de opções .
- Selecione Configurações do fluxo no menu suspenso.
- Marque ou desmarque a caixa de seleção Ativar adaptação de fala manual.
- Editar, adicionar ou excluir conjuntos de frases na tabela de conjuntos de frases
- Clique em Salvar.
Configurações da página
- Abra o console do Dialogflow CX.
- Escolha o projeto do Google Cloud .
- Passe o cursor do mouse sobre a página na seção Páginas.
- Clique no botão de opções .
- Selecione Configurações da página no menu suspenso.
- A opção Usar nível de fluxo é escolhida por padrão. Quando escolhida, as frases de adaptação no nível do fluxo serão reutilizadas para essa página. Escolha Personalizar para configurar frases de adaptação diferentes das configurações de nível de fluxo. Mesmo que a adaptação de fala manual esteja desativada no nível do fluxo, ainda é possível ativar e configurar a adaptação de fala manual para uma página nesse fluxo usando a opção Personalizar.
- Editar, adicionar ou excluir um conjunto de frases na tabela de conjuntos de frases de adaptação
- Clique em Salvar.
Configuração manual do conjunto de frases para melhorias no reconhecimento de fala
1. Palavras e frases
Em um conjunto de frases de adaptação, é possível definir frases de uma ou várias palavras com referências opcionais a tokens de classe de fala. Por exemplo, é possível adicionar frases como "ótima taxa", "o número de rastreamento é $OOV_CLASS_ALPHANUMERIC_SEQUENCE" ou "$FULLPHONENUM". Essas frases fornecidas aumentam a probabilidade de serem transcritas em vez de outras frases foneticamente semelhantes. Quando você adiciona uma frase com várias palavras sem nenhuma otimização, o viés é aplicado à frase inteira e às partes contínuas dela. Em geral, o número de frases precisa ser pequeno, e você só deve adicionar frases que o reconhecimento de fala não consegue acertar sem a adaptação de fala. Se a Speech-to-Text já consegue reconhecer uma frase corretamente, não é necessário adicioná-la às configurações de adaptação de fala. Se você notar que a Speech-to-Text costuma reconhecer incorretamente algumas frases em uma página ou fluxo, adicione as frases corretas às configurações adaptáveis correspondentes.
Exemplo de correção de erro de reconhecimento
Veja um exemplo de como usar a adaptação de fala para corrigir problemas de reconhecimento. Digamos que você esteja projetando um agente de troca de dispositivos telefônicos, e o usuário pode dizer algo que inclua as frases "vender telefones" ou "celular" depois que o agente fizer a primeira pergunta: "Em que posso ajudar?". Como podemos usar a adaptação de fala para melhorar a acurácia do reconhecimento nas duas frases?
Se você incluir as duas frases nas configurações de adaptação, a Speech-to-Text ainda poderá se confundir, já que elas têm sons semelhantes. Se você fornecer apenas uma das duas frases, a Speech-to-Text poderá reconhecer uma frase como a outra. Para melhorar a precisão do reconhecimento de fala para as duas frases, é necessário fornecer à Speech-to-Text mais pistas de contexto para distinguir entre quando ela deve ouvir "sell phones" e quando deve ouvir "cell phone". Por exemplo, você pode notar que as pessoas costumam usar "vender celulares" como parte de frases como "como vender celulares", "quero vender celulares" ou "você vende celulares", enquanto "celular" como parte de frases como "comprar celular", "conta de celular" e "serviço de celular". Se você fornecer essas frases mais precisas ao modelo, em vez das frases curtas originais "celular" e "vender celulares", a Speech-to-Text aprenderá que "vender celulares" como uma frase verbal tem mais probabilidade de seguir palavras como "como", "querer" e "você", enquanto "celular" como uma frase nominal tem mais probabilidade de seguir palavras como "comprar" ou ser seguida por palavras como "conta" ou "serviço". Portanto, como regra geral para configurar frases de adaptação, geralmente é melhor fornecer frases mais precisas, como "como vender smartphones" ou "você vende smartphones" em vez de incluir apenas "vender smartphone".
2. Tokens de classe de fala
Além de palavras em linguagem natural, também é possível incorporar referências a tokens de classe de fala em uma frase. Os tokens de classe de fala representam conceitos comuns que geralmente seguem um determinado formato na escrita. Por exemplo, no número de um endereço como "Rua Principal, 123", as pessoas geralmente esperam ver o formato numérico "123" em vez da versão por extenso "cento e vinte e três". Se você espera uma formatação específica nos resultados da transcrição, especialmente para sequências alfanuméricas, consulte a lista de tokens de classe compatíveis para ver quais tokens estão disponíveis para seu idioma e caso de uso.
Se a página já tiver rotas de intent ou parâmetros com referências a entidades do sistema, confira uma tabela de referência para mapeamentos entre entidades comuns do sistema e tokens de classe de fala:
| Entidades do sistema | Tokens de classe de fala |
|---|---|
@sys.date |
$MONTH $DAY $YEAR |
@sys.date-time |
$MONTH $DAY $YEAR |
@sys.date-period |
$MONTH $DAY $YEAR |
@sys.time |
$TIME |
@sys.time-period |
$TIME |
@sys.age |
$OPERAND |
@sys.number |
$OPERAND |
@sys.number-integer |
$OPERAND |
@sys.cardinal |
$OPERAND |
@sys.ordinal |
$OPERAND |
@sys.percentage |
$OPERAND |
@sys.duration |
$OPERAND |
@sys.currency-name |
$MONEY |
@sys.unit-currency |
$MONEY |
@sys.phone-number |
$FULLPHONENUM |
@sys.zip-code |
$POSTALCODE ou $OOV_CLASS_POSTALCODE |
@sys.address |
$ADDRESSNUM $STREET $POSTALCODE |
@sys.street-address |
$ADDRESSNUM $STREET $POSTALCODE |
@sys.temperature |
$OOV_CLASS_TEMPERATURE |
@sys.number-sequence |
$OOV_CLASS_DIGIT_SEQUENCE |
@sys.flight-number |
$OOV_CLASS_ALPHANUMERIC_SEQUENCE |
3. Otimizar valor
Se a adição de frases sem o valor de otimização não fornecer um efeito de polarização forte o suficiente, use o valor de otimização para fortalecer ainda mais o efeito de polarização da adaptação de fala.
A otimização aplica um viés adicional quando definida como valores maiores que 0 e não maiores que 20. Quando o boost está vazio ou é 0, o efeito de polarização padrão ajuda a reconhecer a frase inteira e as partes contínuas dentro dela. Por exemplo, uma frase não otimizada "você está aberto para vender smartphones" ajuda a reconhecer essa frase e também frases semelhantes, como "Eu vendo smartphones" e "Olá, você está aberto".
Quando o aumento positivo é aplicado, o efeito de viés é mais forte, mas só se aplica à frase exata. Por exemplo, uma frase otimizada "vender telefones" ajuda a reconhecer "você pode vender telefones", mas não "você vende telefones".
Por esses motivos, você terá os melhores resultados se fornecer frases com e sem otimização.
Valores de otimização maiores podem resultar em menos falsos negativos, que são casos em que a palavra ou frase ocorreu no áudio, mas não foi reconhecida corretamente pela Speech-to-Text (subpolarização). No entanto, a otimização também pode aumentar a probabilidade de falsos positivos, ou seja, casos em que a palavra ou frase aparece na transcrição, mesmo que não tenha ocorrido no áudio (overbiasing). Normalmente, é necessário ajustar as frases de polarização para encontrar um bom ponto de compensação entre os dois problemas de polarização.
Saiba mais sobre como ajustar o valor de otimização para frases no documento do Cloud Speech sobre otimização.
A Speech-to-Text V2 chirp_3 aceita até 1.000 frases por solicitação e
ignora valores numéricos de boost. Para limites e diretrizes de adaptação de chirp_3,
consulte Melhorar a acurácia com a adaptação de
modelo.
Quando usar a adaptação de fala automática ou manual
Em geral, se você não tiver certeza se a adaptação de fala vai melhorar a qualidade do reconhecimento de fala do seu agente (sem padrões claros de erro de transcrição em mente), recomendamos que você tente a adaptação automática de fala antes de recorrer à adaptação manual. Para decisões mais sutis, considere os seguintes fatores para decidir entre a adaptação de fala automática ou manual:
1. Preenchimento de formulário
A adaptação automática de fala funciona muito bem com o preenchimento de formulários, já que usa o contexto gramatical ABNF para os parâmetros do formulário e aplica regras gramaticais com base nos tipos de entidade. Como a adaptação de fala manual ainda não é compatível com gramáticas ABNF, a adaptação de fala automática geralmente é preferível à adaptação de fala manual para uma página de preenchimento de formulário. Ainda assim, para páginas com apenas parâmetros de entidade do sistema e entidades regexp simples compatíveis com tokens de classe de fala, também é possível usar a adaptação de fala manual para conseguir um efeito de polarização semelhante à adaptação de fala automática sem a necessidade de ajustar entidades regexp.
2. Complexidade da transição de página ou fluxo
Para uma página ou um fluxo simples com algumas rotas de intent, a adaptação automática de fala provavelmente vai gerar frases de viés representativas e ter um desempenho razoável.
No entanto, se uma página ou um fluxo tiver um grande número de rotas de intent (para uma página, considere também o número de rotas no nível do fluxo) ou se alguma das intents tiver frases de treinamento sem importância excessivamente longas ou curtas (por exemplo, uma frase inteira ou uma única palavra com apenas uma ou duas sílabas), é muito provável que o modelo de adaptação de fala não funcione bem com essas frases. Primeiro, tente desativar a adaptação de fala para as páginas abertas com alta complexidade ativando a adaptação de fala manual com conjuntos de frases vazios (substituição de adaptação vazia). Depois disso, avalie se há frases especiais não ambíguas que ainda precisam ser fornecidas à Speech-to-Text para melhorar a qualidade do reconhecimento.
Outro sintoma desse problema de complexidade é ver uma ampla variedade de problemas de viés insuficiente ou excessivo quando a adaptação automática de fala está ativada. Assim como no caso acima, você também precisa testar com a adaptação de fala desativada para a página específica primeiro. Se os comportamentos incorretos persistirem após a desativação da adaptação de fala, adicione as frases que você quer corrigir às configurações de adaptação de fala e até mesmo adicione valores de otimização para fortalecer ainda mais os efeitos de polarização, quando necessário.
Como testar a adaptação de fala
Ao testar os recursos de adaptação de fala do agente para uma determinada frase de treinamento ou correspondência de entidade, não teste diretamente a correspondência com a primeira fala de uma conversa. Use apenas entradas de voz ou de evento para toda a conversa antes da correspondência que você quer testar. O comportamento do agente quando testado dessa maneira será semelhante ao comportamento em conversas de produção reais.
Limitações
Considere as seguintes limitações:
- A adaptação de fala não está disponível para todos os modelos de fala e combinações de idiomas. Consulte a página de suporte a idiomas da Cloud Speech para verificar se a "adaptação de modelo" está disponível para seu modelo de fala e combinação de idiomas.
No momento, a adaptação de fala manual ainda não é compatível com classes personalizadas ou gramática ABNF. É possível ativar a adaptação automática de fala ou usar a solicitação de detecção de intent do ambiente de execução para usar esses recursos de adaptação.
O mesmo valor de otimização pode ter um desempenho diferente para diferentes modelos de fala e idiomas. Portanto, tenha cuidado ao configurá-los manualmente para agentes que usam vários idiomas ou modelos de fala. No momento, a adaptação de fala manual se aplica a todos os idiomas de um agente. Portanto, os agentes multilíngues só devem usar frases independentes de idioma ou dividir cada idioma em um agente separado. Como o comportamento de polarização padrão (não fornecer otimização ou otimização 0) geralmente funciona bem para todos os idiomas e modelos, não é necessário configurar valores de otimização específicos do idioma, a menos que uma polarização mais forte seja necessária para seu caso de uso de reconhecimento. Saiba mais sobre como ajustar o valor de otimização neste guia da Cloud Speech-to-Text.
- Reconhecer sequências de caracteres longas é um desafio. O número de
caracteres capturados em uma única vez está diretamente relacionado
à qualidade do áudio de entrada.
Se você seguiu todas as diretrizes de entidade de regexp
e tentou usar tokens de classe de fala relevantes
nas configurações de adaptação de fala manual,
mas ainda está com dificuldades para capturar toda a sequência em uma única rodada,
considere algumas alternativas mais conversacionais:
- Ao validar a sequência em relação a um banco de dados, faça referência cruzada a outros parâmetros coletados, como datas, nomes ou números de telefone, para permitir correspondências incompletas. Por exemplo, em vez de apenas solicitar o número de pedido ao usuário, peça também um número de telefone. Agora, quando o webhook consultar o banco de dados para verificar o status do pedido, ele poderá depender do número de telefone e retornar o pedido correspondente mais próximo dessa conta. Isso pode permitir que o Dialogflow escute "ABC" como "AVC" e ainda retorne o status correto do pedido ao usuário.
- Para sequências mais longas, crie um fluxo que incentive os usuários finais a pausar no meio para que o bot possa confirmar durante o processo.