AIの一次回答を採点し、ナレッジの穴と人に回す基準を作る
AIの回答のどこが誤りやすいかを自分で確かめ、ナレッジの足し方と、人に回すべき問い合わせの基準を説明できるようになる。
- 所要の目安
- 3.7時間
- 6手順・分けて進めて構いません
- 費用
- 0円
- 新しい契約や有料講座は不要
- 手元に残るもの
- （1）質問ごとの正しい答えと採点表、（2）直す前と直した後のFAQ、（3）人に回す問い合わせの基準、（4）1回目と2回目の誤り件数の記録。この4つが手元に残ります。
始める前に
必要なもの
- ・問い合わせ対応の経験があること（電話・メール・チャットのいずれでも構いません）
- ・生成AIを使える環境（無料枠で足ります）
- ・表計算ソフトが使えること
- ・実際の問い合わせ履歴やお客様の情報は使いません。架空の会社で行います
費用の前提
無料の範囲で完結します。生成AIの無料枠と表計算ソフトがあれば足ります。問い合わせ管理ツールやAIチャットの有料サービスを契約する必要はありません。
機密情報を使わずに試すには
架空の通販会社を1つ決め、FAQを10問ほど作ってください（送料、返品の条件、支払い方法、配送日数、会員登録など）。あわせて、お客様からの質問を20件作ります。半分はFAQで答えられるもの、残りはFAQに無いこと・条件が組み合わさったもの・怒っている文面・個人の事情を含むものにしてください。実在の会社や人の情報は使わないでください。
手順
1質問ごとに「正しい答え」を先に書く
目安 30分20件の質問それぞれに、FAQにもとづく正しい答えを書きます。FAQに無いことは「FAQに無いので答えられない。担当者に回す」が正解です。AIの回答を見る前に書いてください。
2AIにFAQだけを渡して答えさせる
目安 30分生成AIにFAQの10問を渡し、「このFAQに書いてあることだけで答え、書いていないことは答えないで」と指示してから、20件の質問を順に入力します。回答は表計算ソフトに貼っておきます。
3回答を3段階で採点する
目安 45分正しい答えと見比べ、「正しい」「誤り」「FAQに無いことを答えた」の3つに分けます。3つ目がいちばん危険です。お客様は、それを会社の公式な回答として受け取るからです。
4誤りの原因をナレッジの側で探す
目安 40分誤った回答や勝手な回答について、FAQの書き方に原因が無いかを見ます。条件が書かれていない、例外が抜けている、似た質問と区別できない、などです。FAQの文章を直して、同じ質問でもう一度答えさせてください。
5人に回す基準を書く
目安 40分AIに答えさせないほうがよい質問を、条件として書き出します。「返金や補償の判断を含む」「怒りや不安が強い」「個人の事情で例外を求めている」「FAQに答えが無い」などです。この基準が、あなたの仕事として残る範囲になります。
6直したFAQと基準で、もう一度通す
目安 35分直したFAQを渡し、基準に当たる質問には「担当者に回す」と答えるよう指示して、20件を通し直します。採点して、1回目と比べて誤りと勝手な回答が何件になったかを記録してください。
できたかどうかの確かめ方
- FAQに無いことをAIが答えた回答を、すべて見つけられたか
- 直したFAQで、同じ誤りが再び出ていないか
- 人に回す基準を見た別の人が、同じ質問を同じように振り分けられるか
- 1回目と2回目の誤り件数を、根拠つきで言えるか
注意
- ・お客様の情報や実際の問い合わせ履歴を、社外のサービスに入れないでください。演習は架空の会社で十分です。
- ・演習で誤りが減っても、本番で同じ結果になるとは限りません。このガイドは精度を約束するものではなく、自分で採点する手順を身につけるためのものです。
- ・返金・補償・契約の判断を、AIの回答だけで確定させないでください。お客様への約束になるため、人が判断する範囲として残してください。