RAG QUALITY INSPECTION

そのAIチャット、
いま何%正解できますか。

導入したものの「なんとなく使えていない」AIチャット。原因も改善の手も、まず測らなければ打てません。私たちは30問の業務テストで現在地を数字にし、毎月測って、上げ続けます。

無料で精度を測ってみる

簡易5問診断・オンライン30分・営業だけの訪問はしません

1/3

社内RAG試験運用228件のうち「良好」と評価されたのは約3分の1

80%+

失敗原因の8割以上は技術ではなくデータ品質・進め方の問題

そして大半の企業は、自社AIの正答率を一度も測っていません

出典: キヤノンITソリューションズ社内RAG導入事例(2025年4月公開)をもとに作成

30-SECOND SELF CHECK

まず30秒。御社の「測る体制」チェック。

AIチャットの精度そのものより先に、精度を「測れる状態か」が分かれ目です。10問に「はい/いいえ」で答えるだけ。入力内容が送信されることはありません。

残り10問

無料の5問診断キットを見る

SAMPLE REPORT

診断すると、こう見えます。

架空の「返品・交換規程」を読み込ませた、お客様対応のAIチャットに5問テストした例です。一見ちゃんと答えているようで、採点してみると弱点がはっきり見えます。

精度診断レポート(簡易版)

対象: お客様向け返品・交換チャットボット/テスト5問

70%

3.5 / 5問(部分正解は0.5点)

正

Q1. 不良品が届いた場合、返品の送料は誰が負担しますか?

「当社が負担いたします」— 規程第5条どおり。正解

正

Q2. 返品の申請期限はいつまでですか?

「商品到着日から14日以内です」— 規程第3条どおり。正解

部

Q3. 商品の保証期間は何年ですか?

「メーカー保証で1年間です」— 延長保証にご加入の場合は3年になる例外に触れておらず不十分。部分正解

正

Q4. 開封した商品でも返品できるのはどんな場合ですか?

「初期不良の場合に限り、開封後も返品を承ります」— 規程第4条どおり。正解

架

Q5. セール品は返品できますか?

「未開封であればご返品いただけます」— 規程には「セール品は返品の対象外」とあり、文書にない内容を回答。

最も危険なのは、もっともらしい嘘。

Q5のような回答は、間違いと気づかれないまま、そのままお客様に届きます。「答えられない」より「堂々と間違える」ほうが実害は大きい — ここを検出できるのがテストの価値です。

SILENT DECAY

壊れても、エラーは出ません。

AIチャットの劣化は、システム障害として現れません。サーバーは正常、画面も正常 — ただ回答だけが、静かに古く、不正確になっていきます。気づくのはいつも、誤った回答が業務に — あるいはお客様に — 届いたあとです。

文書を更新した日

規程の改定・料金表の差し替え。新しい文書の取り込みに一部失敗しても、通知はどこにも届きません。AIは古い規程のまま答え続けます。

組織が変わった日

部署名・承認フロー・担当の変更。文書のあちこちに散らばった古い情報が残り、回答の正誤が混ざり始めます。

何も変えていない日

AIモデルや接続サービス側の仕様変更でも回答は変わります。こちらが何もしなくても、精度は動くのです。

だから「監視」ではなく「検査」。

サーバー監視ではこの劣化を検知できません。必要なのは、正解付きのテストで回答そのものを定期的に検査すること — 健康診断と同じで、症状が出る前に数字で捕まえるのが唯一の方法です。

TRACK RECORD

「測る」を自動化してきました。

精度改善のスピードは「測る速さ」で決まります。私たちは30〜50問の全問検証を自動化し、改善サイクルそのものを高速化してきました。

1回 6時間

15分

設定変更のたびに必要な全問検証の所要時間。96%削減し、人手の検証作業をゼロに。

週1回

毎日

回せる改善サイクルの回数。試して測ってすぐ直す、が1日に何度でも可能に。

担当者の残業

攻めの時間

検証に消えていた時間を、売上をつくる仕事へ。時短の先の使い道までが成果です。

HOW IT WORKS

入口は無料。深さは段階で。

まずは無料のセルフ診断キットで、御社内だけで現在地を体感してください。その先の本診断(30〜50問)と月次運用では、セキュリティ方針に合わせて2つの接続方法から選べます。テストの実行はすべて自動化されています。

STEP 0 — 無料

ひらくセルフ診断キット

「落ちやすい質問」の選び方と採点手順の一式。御社内だけで、今日から約15分で実施できます。外部アクセスもデータ送信も不要。

ご用意いただくもの: なし(その場で開けます)

無料でキットを見る

本診断・月次運用 — TYPE A

あずける自動代行診断

診断用アカウントを一時発行いただければ、画面操作を自動化した仕組みが30〜50問のテストを実行。人が中身を覗き見ることはありません。

ご用意いただくもの: ログインID 1つ(診断後すぐ削除OK)

本診断・月次運用 — TYPE B

つなぐAPI連携診断

システム連携により、毎月決まった日に自動でテストを実行。精度の推移がグラフで蓄積されていきます。

ご用意いただくもの: API接続情報(月次運用向け)

※いずれの方法も秘密保持契約(NDA)を締結のうえ実施します。

AFTER DIAGNOSIS

診断は入口。本番は「上げ続ける」こと。

一度きりの改善では、文書が更新されるたびに精度は劣化します。私たちの主商品は、毎月測って直し続ける運用です。

無料診断

簡易5問テストで現在地を数字に。オンライン30分。

テストセット構築

御社の業務に即した30〜50問の「正解集」を一緒に作成。

毎月自動検証

文書更新・設定変更のたびに全問を自動テスト。劣化を即検知。

月次レポート&改善

正答率の推移を報告し、下がった原因を特定して改善します。

まず、測ってみませんか。

無料のセルフ診断キットは、お申し込み不要でそのままご覧いただけます。印刷して、御社内だけで約15分。他社で構築されたシステムの立て直しのご相談も歓迎です。

無料セルフ診断キットを見る 30分オンライン相談を予約

メールでも受け付けます: contact@risata.co.jp | 通常2営業日以内にご返信します

そのAIチャット、いま何%正解できますか。