生成AIチャットボットを社内問い合わせや顧客対応に導入する際、多くの企業担当者が最も気にするのが「本当に正しく答えられるのか」という精度の問題です。
特にRAGを使ったAIチャットボットでは、単に自然な文章を作れるだけでは不十分です。社内文書やWebサイト、FAQ、マニュアルなどの根拠情報に正しく到達し、文書にない内容を勝手に断定しないことが重要になります。
本記事では、SELF株式会社の生成AIチャットボット「SELFBOT」におけるRAG精度の定量評価結果をもとに、企業が導入前に確認すべきポイントを整理します。結論から言えば、SELFBOTは公開文書を使った評価で総合73/74点、98.6%を記録し、全74問で捏造ゼロという結果でした。
ただし、AIの精度は「総合的な正答率が何%だったか」だけで判断するものではありません。どの文書で、どのような設問で、どのように採点し、失敗時にどう改善できたかまで見る必要があります。
目次
◇SELFBOTとは何か
SELFBOTは、SELF株式会社が提供する法人向けの生成AIチャットボットです。
特徴は、生成AIそのものの文章生成力だけでなく、企業が保有する文書やURLを参照して回答するRAG型の仕組みを前提としている点です。社内ヘルプデスク、顧客対応、FAQ対応、ナレッジ検索、営業支援など、企業独自の情報に基づいて回答したい場面で使いやすい設計といえます。
SELFBOTの詳細は、下記のサービスページをご覧ください。
◇なぜAIチャットボットの「精度評価」が重要なのか
生成AIの企業活用は広がっていますが、導入が進むほど「不正確な回答」のリスクも無視できなくなります。
McKinseyの2025年調査では、AI利用企業の多くがまだ本格的な業務定着の途上にあり、AIの不正確さが主要なリスクとして報告されています。さらにMcKinseyの2026年AI Trust Maturity Surveyでも、AI導入が進む中で「不正確さ」と「サイバーセキュリティ」が重要なリスクとして挙げられています。
つまり、企業が見るべきなのは「生成AIを使っているか」ではなく、「業務で信頼できる回答を出せる設計と検証があるか」です。
NISTの生成AIリスク管理プロファイルでも、生成AIの能力主張は経験的に検証された方法で評価すべきこと、事前リスク測定や継続的な監視で出力の出典や引用を確認すべきことが示されています。
◇SELFBOTのRAG精度評価結果
SELF株式会社（弊社）では、SELFBOTを含む下記の4製品を対象に、公開文書を使ったブラインド比較を実施しました。
- SELFBOT
- NotebookLM
- 他社製品A
- 他社製品B
評価対象文書は、内閣府「2025年度 日本経済レポート」第2章の104ページにわたるPDFです。
今回の検証にこの文書を採用した理由は、政府公開文書であるため検証条件を説明しやすく、図表・脚注・コラムが多く、本文だけでは答えにくい設問を作れるためです。実運用に近い経済・統計系文書である点も、企業向けRAG評価として意味があると判断しました。
◆評価結果の概要
| 評価項目 | SELFBOT | NotebookLM | 他社製品A | 他社製品B |
|---|---|---|---|---|
| 第1セット | 44/44 | 44/44 | 42/44 | 43/44 |
| 難問セット | 29/30 | 30/30 | 26/30 | 30/30 |
| 総合 | 73/74 | 74/74 | 68/74 | 73/74 |
| 正答率 | 98.6% | 100% | 91.9% | 98.6% |
| 捏造・文書との矛盾 | 0件 | 0件 | 2件 | 1件 |
SELFBOTは総合73/74点、正答率98.6%でした。NotebookLMとは1点差で、資料上は統計的有意差なしの同等最高水準とされています。
特に重要なのは、全74問を通じて「文書にない事実の断定」がゼロだった点です。捏造ゼロを達成したのは、SELFBOTとNotebookLMの2製品のみでした。
◇精度評価で見られた5種類の設問
今回の評価では、単純な事実確認だけでなく、企業利用で問題になりやすい複数タイプの設問を使用しました。設問の種類は下記のとおりです。
1. 事実取得
文書中の数値や固有情報を正確に拾えるかを確認する設問です。例えば、消費者物価指数の複数項目の前年比を同時に尋ねるような問題です。
このタイプは、AIチャットボットの基本性能を測るうえで重要です。ただし、比較的易しい問題だけでは製品差が出にくいため、これだけで精度を判断するのは不十分です。
2. 複数箇所統合
文書の離れた箇所にある情報をつなげて回答できるかを測ります。社内規程、商品マニュアル、業務手順書などでは、必要な情報が1ページにまとまっていないことも多いため、実務上重要な評価軸です。
3. 図表・脚注の読み取り
本文ではなく、図表や脚注にしかない数値を取得できるかを確認します。RAG型チャットボットでは、PDF内の表、注記、グラフラベルをどこまで検索対象にできるかが回答精度に影響します。
今回の評価で、SELFBOTの唯一の失点は図表ラベルの読み取りに関する問題でした。ただし、数値を作り出すのではなく、「本文からの近似であり厳密値ではない」と限界を明示しており、失敗の仕方としては安全性が高いものでした。
4. 記載なし判定
文書に答えがない質問に対して、「記載がない」と答えられるかを測る設問です。
これはRAG精度において非常に重要です。AIチャットボットは、回答できないときにもっともらしい文章を作ってしまうことがあります。企業利用では、間違った商品仕様、料金、法務情報、社内規程を断定すると、業務上のリスクにつながります。
5. トラップ設問
質問文に誤った前提を含め、AIが通念や訓練知識に引っ張られず、文書の記載に忠実に答えられるかを確認します。
例えば、実世界の知識ではなく、登録された文書に書かれている内容を優先できるかが問われます。社内AIでは、古い一般知識よりも、最新の社内ルールや公式資料を優先できることが重要です。
◇SELFBOTの評価で特に重要なポイント
ポイント1：高得点だけでなく、捏造ゼロだった
SELFBOTの総合正答率は98.6%でしたが、企業導入でより重視すべきなのは「捏造ゼロ」という結果です。
AIチャットボットの回答品質では、多少回答が不足することよりも、文書にない内容を自信ありげに断定することの方が危険な場合があります。特に顧客対応、契約関連、金融、医療、社内規程、セキュリティ手順などでは、誤った断定が問い合わせ増加や信頼低下につながります。
今回の評価では、他社製品で「文書に存在しない備蓄米価格を、実在ページの引用付きで回答する」事例が観測されています。これは、引用表示があるからといって回答が正しいとは限らないことを示しています。
SELFBOTが捏造ゼロだった点は、RAG型AIチャットボットを選ぶうえで重要な判断材料になります。
ポイント2：精度を左右したのは生成AIの賢さより検索品質だった
RAGの精度評価では、回答品質を分ける要因として「生成AIの賢さ」よりも「検索が正しい箇所に届くか」が重要です。
これはRAG導入でよく見落とされる点です。LLM自体が高性能でも、参照すべき文書やチャンクに到達できなければ、正しい回答は出せません。逆に、正しい根拠箇所に到達できれば、各社とも原文の言葉を使って正確に回答できる傾向がありました。
企業がRAG型AIチャットボットを導入する際は、モデル名だけでなく、以下を確認する必要があります。
- 文書分割、チャンク設計が適切か
- PDF、表、脚注、図表ラベルを検索対象にできるか
- 複数箇所の情報を統合できるか
- 文書にない質問に「記載なし」と答えられるか
- 回答ログをもとに改善できるか
ポイント3：初回結果だけでなく、改善後のホールドアウトでも確認
SELFBOTの評価では、初回評価で見つかった弱点を修正した後、調整に使っていない初見の難問15問で再評価しました。これは、既知問題への個別対応ではなく、改善が新しい質問にも通用するかを確認するホールドアウト検証にあたります。
初回測定では44点満点中41点で、弱点は検索起因でした。その後、チャンクサイズ設定の改善と、評価用Botに他ファイルが混入していたミスの解消を行い、確定測定では44/44を達成しています。
さらに重要なのは、その後に初見の難問15問を使ったホールドアウト検証を行っている点です。結果は29/30、96.7%、捏造ゼロでした。
これは、単に一度出た問題に合わせて調整しただけではなく、初見問題でも改善が一定程度汎化したことを確認したものといえます。企業がAIチャットボットを評価する際も、既知のFAQだけでなく、初見の質問や難問で試すことが重要です。
◇企業がRAGの精度を導入前に確認する方法
◆自社文書でテスト設問を作る
公開文書での評価結果は参考になりますが、最終的には自社文書で確認する必要があります。なぜなら、社内規程、製品マニュアル、FAQ、提案資料、業務手順書では、文書構造や表現の癖が異なるためです。
導入前のPoCでは、以下のような設問を用意すると実態に近い精度を確認しやすくなります。
- よくある問い合わせ
- 複数資料をまたぐ質問
- 表や注記にしか答えがない質問
- 文書に答えがない質問
- 誤った前提を含む質問
- 最新版と旧版の区別が必要な質問
◆正答率だけでなく「失敗の質」を見る
AIチャットボットの評価では、単純な正答率だけでなく、失敗したときの挙動を見ることが重要です。
たとえば、同じ不正解でも、次の2つではリスクが大きく異なります。
| 失敗の種類 | 業務上のリスク |
|---|---|
| 「文書には記載がありません」と答える | 回答不足だが、誤案内は起きにくい |
| 文書にない内容を断定する | 顧客誤案内、社内判断ミス、信頼低下につながる |
| 引用付きで誤答する | 利用者が信じやすく、リスクが大きい |
| 限界を明示して近似回答する | 判断保留や人への確認につなげやすい |
SELFBOTの評価で注目すべきなのは、唯一の失点でも数値を作らず限界を明示した点です。これは、業務利用における安全性という観点で重要です。
◆運用後に改善できる仕組みを見る
RAG型AIチャットボットは、導入時点で完璧な精度を出すことよりも、運用しながら改善できることが重要です。
問い合わせログ、低評価回答、未回答、誤回答、検索失敗パターンを確認し、文書整備やチャンク設定、回答ルール、検索対象の見直しにつなげる必要があります。
SELFBOTの評価では、「弱点の特定、修正、初見問題での汎化確認」までの改善ループが実施されています。これは、企業がAIチャットボットを本番運用するうえで参考になる評価姿勢です。
◇精度評価から見えるSELFBOT導入メリット
SELFBOTの評価結果から見えるメリットは、単に「高正答率」という点だけではありません。
第一に、文書に基づいた回答を重視する業務に向いていることです。社内FAQ、規程確認、製品説明、問い合わせ対応など、根拠資料をもとに正確に答える場面で活用しやすいと言えます。
第二に、捏造リスクへの配慮が確認できることです。文書にないことを断定しない設計や、限界を明示する挙動は、企業利用では大きな安心材料になります。
第三に、改善運用を前提にできることです。AIチャットボットは導入して終わりではなく、運用中に精度を上げ続ける必要があります。今回の検証でも、検索起因の弱点を特定し、設定調整後に初見問題で検証する流れを確認しています。
◇注意点：すべての業務で同じ精度が出るわけではない
一方で、今回の評価結果をそのまま全業務に当てはめることはできません。
評価に使われたのは内閣府の公開PDFであり、実際の企業文書とは構造や内容が異なる場合があります。例えば、スキャンPDF、古いマニュアル、表記ゆれの多いFAQ、複数部署が更新する文書、画像化された表、権限管理が必要なファイルなどでは、別途検証が必要です。
また、今回の評価でも図表ラベルの検索対象化は今後の改善テーマとして挙げられています。表やグラフを多く含む業務で使う場合は、自社文書で図表読み取りの精度を確認するとよいでしょう。
◇RAGの精度は「高得点」より「検証と改善の設計」で見るべき
SELFBOTは、今回のRAG精度評価で、総合73/74点、正答率98.6%、捏造ゼロという結果を示しています。NotebookLMと1点差の同等最高水準であり、特に文書にない内容を断定しなかった点は、企業利用において重要な評価ポイントです。
ただし、AIチャットボットの精度は、単一のスコアだけで判断するものではありません。評価文書、設問タイプ、採点方法、失敗時の挙動、改善ループ、ホールドアウト検証まで含めて見る必要があります。
SELFBOTの評価結果から分かるのは、RAG型AIチャットボットの精度を高める鍵は、LLMの性能だけでなく、正しい根拠に到達する検索品質と、運用後に改善できる仕組みにあるということです。
社内問い合わせや顧客対応でAIチャットボットを導入する場合は、まず自社文書を使ったテスト設問を作り、正答率だけでなく、捏造の有無、記載なし判定、図表読み取り、改善可能性を確認することをおすすめします。
SELFBOTは無料で精度検証が可能
SELFBOTは管理画面の全標準機能が利用できる無料トライアルを提供しています。
本格的なPoCの前に、担当者や数名のチーム規模でSELFBOTの精度や機能性を検証可能です。
無料トライアルは、簡単なお打合せの後、即時アカウント発行可能です。詳しくは下記のリンクよりお気軽にお問合せください。
出典：
McKinsey「State of AI trust in 2026」：https://www.mckinsey.com/capabilities/tech-and-ai/our-insights/tech-forward/state-of-ai-trust-in-2026-shifting-to-the-agentic-era
内閣府「2025年度 日本経済レポート」第2章：https://www5.cao.go.jp/keizai3/2025/0210nk/pdf/n25_2.pdf
NIST「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」：https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf
McKinsey「The state of AI in 2025」：https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai
統合AIサービス「SELFBOT」を提供するSELF株式会社のマーケティングチーム。同社の専門分野であるRAGの技術や最新の市場状況を解説する記事をはじめ、AIエージェント、AIアバターなど同社サービスと関連の深い記事を発信しています。
