Em um mundo perfeito, a IA começaria a funcionar bem… perfeitamente! Infelizmente, esse é um caso raro.
O que geralmente acontece é que as respostas dos nossos bots não estão no nível sutil que uma pessoa pode fornecer, contudo. Portanto, precisamos refinar ou otimizar suas respostas para que cheguem lá. Muito disso se resume ao conhecimento que estamos fornecendo a ela.
É exatamente aqui que entram as percepções e relatórios de IA.
O que é relatório de IA e que percepções posso obter dele?
Quando se trata de IA, relatórios geralmente envolvem descobrir quão bem a IA está se saindo de acordo com o que você está pedindo para ela fazer. Boas plataformas de IA fornecem gráficos e números que você pode usar para investigar qualquer subdesempenho e encontrar soluções.
Geralmente, você examina vários pontos de dados, como:
- Número de respostas
- Taxa de desvio
- Lacunas em conhecimento/treinamento
- ROI
A partir daqui, você pode produzir algumas percepções de IA. Estas são essencialmente descrições ou avaliações que a IA faz para você. Por exemplo, uma descrição de exatamente por que a IA não conseguiu gerar uma ótima resposta para uma pergunta com base nas Páginas do Confluence que você forneceu. Ou, exemplos específicos de quais respostas foram consideradas desviadas e quais não foram.
Você deve ter uma compreensão clara do seu problema, que pode usar para encontrar possíveis soluções. Neste guia rápido, explicaremos como nossas percepções de IA podem ajudar a preencher lacunas de conhecimento em suas páginas do Confluence.
Relatórios de IA para sua IA do Confluence
Na aba Relatórios do painel, você pode encontrar dados sobre sua IA. Os dois que nos ajudarão a examinar nossas páginas do Confluence e quaisquer lacunas são:
- Lacunas no treinamento: identifique a porcentagem de respostas onde a IA não tinha todas as informações necessárias do seu Confluence – para que você possa fornecer mais informações.
- Taxa de desvio: observe a porcentagem de respostas que não precisaram de nenhuma escalonamento humano.
1. Lacunas no treinamento – quando a IA não consegue responder a uma pergunta
Sua IA é treinada com Fontes que você fornece. Uma Fonte pode ser qualquer coisa, desde um Google Doc, até um PDF ou um Centro de Ajuda. Se você está aqui, provavelmente a treinou com seu conhecimento do Confluence.
Assim como uma pessoa, um bot de IA precisa saber como responder a uma pergunta quando um cliente a faz.
O relatório de lacunas no treinamento mostra a porcentagem de respostas onde ele não consegue responder a uma pergunta, devido à falta de uma Fonte, ou porque essa Fonte (como seu Confluence) não é abrangente o suficiente para cobrir a pergunta que foi feita.
Com a eesel AI, você simplesmente clica em um gráfico e ele leva você ao histórico do seu bot. Você pode então passar o mouse sobre o ícone de ‘lacuna encontrada’ para encontrar uma pergunta específica que a IA não conseguiu responder.
Daqui você pode ver uma descrição das informações ausentes e fazer o upload de uma nova página do Confluence que preencha a lacuna. Problema resolvido!
Se você gostaria de manter uma cópia dessas percepções de IA, basta exportar suas conversas e o eesel AI lhe dará uma planilha útil.
2. Taxa de desvio – quando a IA pode responder a uma pergunta sem intervenção humana.
Desvios são algo bom. Isso significa que sua IA resolveu automaticamente o problema de quem estava falando com ela, ‘desviando’ com sucesso a questão de chegar à sua equipe.
No entanto, às vezes o bot não consegue desviar uma pergunta. Isso pode ser porque a pergunta é muito complexa para a IA responder, ou requer intervenção humana para ser executada ou respondida com precisão.
Desvios são diferentes de ‘Lacunas no treinamento’. Se um bot não está desviando, suas fontes do Confluence precisam ser ajustadas. Enquanto se houver uma lacuna no conhecimento, seu bot provavelmente está perdendo a informação completamente.
Para melhorar sua taxa de desvio, verifique suas páginas relevantes do Confluence que você importou e certifique-se de que elas estão claras e realmente resolvem o problema que seus clientes estão enfrentando.
Você pode encontrar sua taxa de desvio indo até a aba de relatórios no seu painel. Aqui você pode ver a porcentagem de respostas que foram desviadas com sucesso pela IA.
Se você clicar no gráfico, ele o levará para a aba de Histórico onde você pode obter mais detalhes. Você pode passar o mouse sobre o ícone de desvio sim ou não para uma pergunta para ver uma descrição do motivo pelo qual uma pergunta foi ou não desviada pela IA.
Para manter uma cópia dessas percepções de IA, exporte suas conversas e examine a planilha. Você aprenderá se mudanças nos prompts ou mudanças na Fonte dentro do Confluence precisam acontecer.
E agora você está preparado com percepções de IA com Confluence e eesel AI.
Há mais que você pode extrair dos dados que a IA fornece. Mas este guia introdutório, espero, lhe deu uma boa compreensão do básico. Preste atenção nos gráficos e figuras, e você estará otimizando sua base de conhecimento em IA em pouco tempo.
Se você precisar de informações mais detalhadas, entre em contato com it@eesel.app.
Se você é alguém que aprende fazendo, também pode se inscrever para um teste gratuito de 7 dias do eesel AI aqui. Você pode ter um pouco de dificuldade em obter dados suficientes para otimizar seu chatbot em 7 dias, mas isso lhe dará uma boa compreensão funcional de como o aplicativo funciona e o que você pode personalizar assim que os dados começarem a chegar.
