Analytics

O que é

É uma ferramenta para a consolidação de indicadores de um chatbot por meio de painéis analíticos interativos.

Na prática

Os painéis analíticos de um chatbot são projetados para fornecer uma visão abrangente do desempenho do chatbot, permitindo que gerentes e curadores tomem decisões para otimizar a experiência do usuário, melhorar a eficácia do chatbot e atingir os objetivos estabelecidos.

Essas métricas estão divididas em duas categorias principais: indicadores gerenciais e indicadores de curadoria.

Indicadores gerenciais: fornecem uma visão abrangente do desempenho do chatbot.

Indicadores de curadoria: projetados para auxiliar os curadores no acompanhamento das interações para melhoria da experiência do usuário.

Detalhes da tela

Na parte superior do painel, encontram-se os filtros que atualizam todas as informações exibidas no painel.

Em seguida, são apresentados os Indicadores Gerenciais agrupados em informações sobre o consumo, o uso e a saúde do chatbot.

Os indicadores de consumo são as conversas do chatbot e os tokens utilizados quando o chatbot possui bases de conhecimento criadas e o motor GPT habilitado.

Os indicadores de uso são as distribuições de conversas por canal, componente, tempo.

Os indicadores de saúde são as taxas de fallback, ambiguidade e avaliação dos usuários.

Logo após, os indicadores de curadoria detalham as avaliações negativas, as mensagens não entendidas e as mensagens com ambiguidade.

No final do painel, estão os registros completos de todas as mensagens enviadas pelos usuários e as respectivas respostas.

Para saber mais

Indicadores gerenciais:

• Total de conversas: quantidade de conversas ao longo de um período, onde cada conversa é uma série contínua de interações do usuário com o chatbot.

• Total de tokens: quantidade de texto que foi processada na nuvem da Azure, onde cada palavra ou símbolo é convertido em um token para processamento. É a soma dos tokens de ingestão e tokens de interação.

• Tokens de interação: quantidade de tokens consumidos quando da interação dos usuários com o Motor GPT.

• Tokens de ingestão: quantidade de tokens consumidos no processo de carregamento de fontes de dados em bases de conhecimento do chatbot. Estes tokens são consumidos apenas quando algumas das opções para enriquecer a base de conhecimento é ativada no motor GPT.

• Média de mensagens por conversas: indica quantas mensagens, em média, são trocadas em cada conversa entre o usuário e o chatbot.

• Média de Tokens por conversa: refere-se à média de tokens em cada interação entre o usuário e o chatbot.

• Distribuição de conversas: mostra como as interações entre os usuários e o chatbot são distribuídas ao longo do tempo.

• Conversas por canal: número total de interações ou conversas que o chatbot tem com os usuários em cada canal de comunicação onde está exposto.

• Distribuição de mensagens por componente: quantidade de interações com os itens de configuração do chatbot e com os motores de conversação.

• Termos mais frequentes (Nuvem de palavras): é uma representação visual das mensagens enviados pelos usuários, onde o tamanho de cada palavra é proporcional à sua frequência.

• Taxa de fallback: percentual de interações em que o chatbot não consegue encontrar uma resposta e aciona o componente "Mensagem não entendida".

• Taxa de ambiguidades: percentual de interações em que o chatbot encontra situações nas quais a entrada do usuário é ambígua. Isso significa que a frase ou pergunta do usuário pode ser compreendida de maneiras diferentes, levando o chatbot a propor opções para a desambiguação.

• Avaliação dos usuários: é uma representação visual das opiniões dos usuários sobre a experiência que tiveram ao interagir com o chatbot.

Indicadores para fins de curadoria:

• Avaliações Negativas: quantidade de avaliações em que os usuários classificaram sua experiência como negativa.

• Mensagens não entendidas: quantidade de vezes em que o chatbot não consegue encontrar uma resposta e aciona o componente "Mensagem não entendida". .

• Mensagens com ambiguidades: quantidade de vezes em que a mensagem do usuário foi classificada ambígua pelo chatbot.

• Detalhamento das conversas: são os registros de todas as interações entre os usuários e o chatbot. Campos da log de conversas:

Campo	Descrição
msgProcStartedTime	Data e Horário do registro.
conversationId	Identificador único da conversa gerado pelo Serprobots.
channel	Canal de origem da conversa.
question	Mensagens enviadas pelo usuário.
answer	Resposta do chatbot.
chatbotName	Nome do Item de Configuração ou Motor de Conversação.
chatbotType	Tipo do Item de Configuração ou Motor de Conversação.
accurary	% do nível de confiança de classificação da pergunta pelo Motor de IA. Aplicável somente para os Motores Watson e Perguntas e Respostas.
gptTotalTokens	Quantidade de tokens consumidos. Aplicável somente para o MOtor GPT.