理想的な世界では、AIは最初から完璧に動作するでしょう…完璧に！しかし、残念ながら、それは稀なケースです。
通常、私たちのボットの応答は、まだ人間が提供できる微妙なレベルには達していません。そのため、応答を洗練させたり最適化したりして、そのレベルに到達させる必要があります。その多くは、私たちが提供する知識にかかっています。
そこでAIのインサイトとレポートが登場します。
AIレポートとは何か、そこからどのようなインサイトが得られるのか？
AIに関しては、レポートは通常、AIがあなたの要求に応じてどれだけうまく機能しているかを見つけることを含みます。優れたAIプラットフォームは、パフォーマンスが低下している部分を調査し、解決策を考え出すために使用できるグラフや数値を提供します。
通常、次のようなデータポイントを調べます:
- 返信数
- ディフレクション率
- 知識/トレーニングのギャップ
- ROI
ここから、いくつかのAIインサイトを生成できます。これらは本質的に、AIがあなたのために行う説明や評価です。例えば、提供されたConfluenceページに基づいてAIがなぜ優れた応答を生成できなかったのかの正確な説明や、どの応答がディフレクトされたと見なされたか、どれがそうでなかったかの具体的な例です。
問題を明確に理解し、それを基に可能な解決策を考え出すことができます。このクイックガイドでは、AIインサイトがConfluenceページの知識ギャップを埋めるのにどのように役立つかを説明します。
Confluence AIのためのAIレポート
ダッシュボードのレポートタブでは、AIに関するデータを見つけることができます。私たちがConfluenceページとそのギャップを調べるのに役立つ2つのデータは次のとおりです：
- トレーニングのギャップ：AIがConfluenceからすべての必要な情報を持っていなかった返信の割合を特定します。これにより、さらに情報を提供することができます。
- ディフレクション率：人間のエスカレーションを必要としなかった返信の割合を観察します。
1. トレーニングのギャップ – AIが質問に答えられないとき
あなたのAIは、提供されたソースでトレーニングされています。ソースはGoogleドキュメントからPDF、ヘルプセンターまで何でもかまいません。ここにいるということは、おそらくConfluenceの知識でトレーニングしたのでしょう。
人と同じように、AIボットも顧客が質問したときにどのように答えるかを知る必要があります。
トレーニングのギャップレポートは、ソースが欠けているため、またはそのソース（例えばConfluence）が質問をカバーするのに十分包括的でないために、質問に答えられない返信の割合を示します。
eesel AIを使用すると、グラフをクリックするだけでボットの履歴にアクセスできます。その後、「ギャップ発見」アイコンにカーソルを合わせると、AIが答えられなかった特定の質問を見つけることができます。
ここから、欠けている情報の説明を確認し、ギャップを埋める新しいConfluenceページをアップロードできます。問題解決！
これらのAIインサイトのコピーを保持したい場合は、チャットをエクスポートするだけで、eesel AIが便利なスプレッドシートを提供します。
2. デフレクション率 – AIが人間の介入なしに質問に答えられるとき。
デフレクションは良いことです。それは、AIがそれと話していた人の問題を自動的に解決し、チームに問題が持ち込まれるのをうまく「そらした」ことを意味します。
しかし、時にはボットが質問をそらせないことがあります。これは、質問がAIが応答するには複雑すぎるか、正確に実行または回答するために人間の介入が必要な場合があります。
デフレクションは「トレーニングのギャップ」とは異なります。ボットがデフレクションしていない場合、Confluenceのソースを調整する必要があります。一方、知識にギャップがある場合、ボットは情報を完全に欠いている可能性があります。
デフレクション率を向上させるには、インポートした関連するConfluenceページを確認し、それらが明確で実際に顧客が抱えている問題を解決していることを確認してください。
デフレクション率は、ダッシュボードのレポートタブに移動することで確認できます。ここでは、AIによって成功裏にデフレクションされた返信の割合を見ることができます。
グラフをクリックすると、詳細を確認できる履歴タブに移動します。質問に対してAIがデフレクションしたかどうかのアイコンにカーソルを合わせると、質問がデフレクションされた理由またはされなかった理由の説明が表示されます。
これらのAIインサイトのコピーを保持するには、チャットをエクスポートしてスプレッドシートを確認してください。プロンプトの変更やConfluence内のソースの変更が必要かどうかを学ぶことができます。
そして、Confluenceとeesel AIでAIインサイトの準備が整いました。
AIが提供するデータから得られるものはもっとあります。しかし、この入門書が基本を理解するのに役立ったことを願っています。チャートや数値に注意を払い、すぐにAI知識ベースを最適化することができるでしょう。
より詳細な情報が必要な場合は、it@eesel.appまでご連絡ください。
実践で学ぶタイプの方は、eesel AIの無料7日間トライアルにこちらからサインアップすることもできます。7日間でチャットボットを最適化するのに十分なデータを得るのは少し難しいかもしれませんが、アプリの動作やデータが入ってきたときにカスタマイズできる内容についての良い機能的理解を得ることができます。
