RAG QUALITY SELF-INSPECTION KIT

AIチャット精度セルフ診断キット(5問版)

精度
診断

お使いのAIチャットが「いま何%正解できるのか」を、御社内だけで・約15分で測るキットです。外部へのアクセス提供やデータ送信は一切不要。手順に沿って5問テストするだけで、現在地が数字になります。

STEP 1テストする質問を5つ選ぶ(約5分)

選び方が診断の精度を決めます。簡単な質問2問+「AIが落ちやすいタイプ」から3問を選んでください。落ちやすいタイプは、どんな会社のどんな文書でも共通です。

タイプ選び方
基本 ×2問現場で実際によく聞かれる、答えが文書に明記されている質問「返品の申請期限は?」
例外・条件「原則Aだが、○○の場合はB」の例外側を聞く質問「延長保証に入っている場合の保証期間は?」
数値の境界上限・下限・期限など、数字がずれると実害が出る質問「無料で交換できるのは何回目まで?」
否定・禁止「できないのはどんな場合?」と禁止事項の側から聞く質問「返品を受け付けられないのはどんな商品?」
複数またぎ答えるのに2つ以上の文書・条文を参照する必要がある質問「セール品を開封後に初期不良が見つかった場合、返品と送料は?」

STEP 2AIチャットに入力し、記入する(約5分)

選んだ質問をそのままAIチャットに入力し、返ってきた回答を要約せずに記入してください。「社内の正解」欄には、根拠となる文書名・条文も添えてください。

No.質問社内の正解(根拠文書)AIチャットの回答判定
1
2
3
4
5

STEP 3採点する(約5分)

正解と見比べて、4種類の検印で判定してください。

正解 — 内容が一致(1点)
部分正解 — 合っているが例外・条件が抜けている(0.5点)
不正解 — 内容が違う(0点)
文書にない内容 — もっともらしいが根拠がない(0点)
正答率 = 合計点 ÷ 5 × 100 = %

目安: 90%以上=業務利用に耐える水準 / 70〜80%台=惜しいが誤情報が業務に混ざるリスクあり / 60%台以下=検索や設定の見直しが必要な状態。「架」が1つでもあれば、率に関わらず要注意です — もっともらしい嘘は、間違いと気づかれないまま業務に使われます。

次に結果をどう活かすか

「誤」や「架」がついた質問、「なぜ」まで分かりましたか?

丸つけで分かるのは合否だけです。原因は回答の"外れ方"に現れていて、パターンによって直し方がまったく違います。自己流の設定変更は、直したつもりで別の質問を壊す遠回りになりがちです。うまく答えられなかった質問を1問だけ、下記のフォームからお送りください — 原因の診断と、直す順番を無料でお返しします。

この検証、文書を更新するたびに続けられますか?

本来この検証は業務全体をカバーする30〜50問の規模で、文書の更新や設定変更のたびに全問やり直す必要があります。しかも劣化はエラーとして現れず、回答が静かに古くなる形で進みます。手作業では1回6時間 — 私たちはこれを自動化し、15分で回しています。毎月測って、下がったらすぐ直す。その運用ごと提供するのが私たちのサービスです。

① 1問無料診断フォームhttps://rag-shindan.risata.co.jp/go/kitフォームQRコード
② 30分オンライン相談を予約https://rag-shindan.risata.co.jp/go/yoyaku-kit

メールでも受け付けます: contact@risata.co.jp(件名「診断キット」) — 結果の数字だけでもお気軽にどうぞ。