RAG QUALITY SELF-INSPECTION KIT
お使いのAIチャットが「いま何%正解できるのか」を、御社内だけで・約15分で測るキットです。外部へのアクセス提供やデータ送信は一切不要。手順に沿って5問テストするだけで、現在地が数字になります。
選び方が診断の精度を決めます。簡単な質問2問+「AIが落ちやすいタイプ」から3問を選んでください。落ちやすいタイプは、どんな会社のどんな文書でも共通です。
| タイプ | 選び方 | 例 |
|---|---|---|
| 基本 ×2問 | 現場で実際によく聞かれる、答えが文書に明記されている質問 | 「返品の申請期限は?」 |
| 例外・条件 | 「原則Aだが、○○の場合はB」の例外側を聞く質問 | 「延長保証に入っている場合の保証期間は?」 |
| 数値の境界 | 上限・下限・期限など、数字がずれると実害が出る質問 | 「無料で交換できるのは何回目まで?」 |
| 否定・禁止 | 「できないのはどんな場合?」と禁止事項の側から聞く質問 | 「返品を受け付けられないのはどんな商品?」 |
| 複数またぎ | 答えるのに2つ以上の文書・条文を参照する必要がある質問 | 「セール品を開封後に初期不良が見つかった場合、返品と送料は?」 |
選んだ質問をそのままAIチャットに入力し、返ってきた回答を要約せずに記入してください。「社内の正解」欄には、根拠となる文書名・条文も添えてください。
| No. | 質問 | 社内の正解(根拠文書) | AIチャットの回答 | 判定 |
|---|---|---|---|---|
| 1 | ||||
| 2 | ||||
| 3 | ||||
| 4 | ||||
| 5 |
正解と見比べて、4種類の検印で判定してください。
目安: 90%以上=業務利用に耐える水準 / 70〜80%台=惜しいが誤情報が業務に混ざるリスクあり / 60%台以下=検索や設定の見直しが必要な状態。「架」が1つでもあれば、率に関わらず要注意です — もっともらしい嘘は、間違いと気づかれないまま業務に使われます。
丸つけで分かるのは合否だけです。原因は回答の"外れ方"に現れていて、パターンによって直し方がまったく違います。自己流の設定変更は、直したつもりで別の質問を壊す遠回りになりがちです。うまく答えられなかった質問を1問だけ、下記のフォームからお送りください — 原因の診断と、直す順番を無料でお返しします。
本来この検証は業務全体をカバーする30〜50問の規模で、文書の更新や設定変更のたびに全問やり直す必要があります。しかも劣化はエラーとして現れず、回答が静かに古くなる形で進みます。手作業では1回6時間 — 私たちはこれを自動化し、15分で回しています。毎月測って、下がったらすぐ直す。その運用ごと提供するのが私たちのサービスです。
メールでも受け付けます: contact@risata.co.jp(件名「診断キット」) — 結果の数字だけでもお気軽にどうぞ。