AIチャットボット導入が失敗する原因は？PoCで確認すべき5つのポイント

生成AIを活用したAIチャットボットは、社内問い合わせ、ナレッジ検索、カスタマーサポートなど、さまざまな業務で活用されています。

SELF株式会社では、AIチャットボット「SELFBOT」を数多くの企業に提供していますが、導入時に多くのご担当者から「どのくらい正確に回答できるか」というご質問をいただきます。

AIチャットボットを選定する際、正答率を重視するのは当然です。しかし、正答率ばかりに目を向けていると、PoCでは問題がなくても本番環境で思わぬ壁にぶつかってしまうことがあるのです。

本記事では、弊社サービスチームの視点から、AIチャットボット導入で見落としやすい5つのポイントと、PoCでの具体的な確認方法を解説します。

◇AIチャットボット導入が失敗しないための５つの視点
◇ AIチャットボットPoCで使える「30問テスト」
◇ SELFBOTでは自社データを使って検証できる
◇まとめ｜AIチャットボット導入に失敗しない考え方

◇AIチャットボット導入が失敗しないための５つの視点

1. そもそも回答の根拠となる情報が存在するか

AIチャットボットの回答が悪いと、まず「AIの精度が低い」と考える方は少なくありません。しかし実際は、そもそも社内に正解となる情報が存在しないことが原因となっているケースが多くあります。

たとえば社員が、

「海外出張で休日をまたぐ場合、日当はどう計算しますか？」

と質問したとします。

ところが、そのルールが就業規則や経費マニュアルに書かれておらず、実際には総務や経理の担当者が個別に判断している場合、どれだけ高性能なAIを使っても社内ルールに基づく正しい回答はできません。

企業内には、

担当者しか知らない
過去のメールやチャットにしか残っていない
部署によって回答が違う
正式な文書と実際の運用が異なる

といった情報も少なくありません。

AIチャットボットを導入すると、こうした社内ナレッジの欠落や矛盾が表面化することがあります。

▪️PoCでの確認ポイント

まず、実際に現場で発生している質問を30問程度集めることをおすすめします。
いきなりAIに回答させるのではなく、人間が先に、

・正解は何か
・その根拠はどの資料のどこにあるか

を確認してください。
人間でも根拠を特定できない質問が多ければ、最初に取り組むべきなのはAIのチューニングではなく、社内ナレッジの整備です。

2. 正しい文書・箇所を検索できているか

AIチャットボットの精度評価では、最終的な回答文だけを見るのは危険です。

たとえば、現在の経費申請期限が「翌月5日まで」だったとします。

「経費はいつまでに申請すればいいですか？」

という質問にAIが、

「翌月5日までです」

と回答すれば、一見すると正しい情報を答えているように見えます。

しかし、参照していたのが古い「経費精算マニュアル」だった場合はどうでしょうか。

たまたま旧版と最新版で期限が同じだったため、正しい情報を得ることができましたが、AIは本来参照すべき情報を見つけられていません。この場合、社内ルールが変更された瞬間に、AIの回答は誤情報となる可能性があります。

そのためPoCでは、

最終的な回答内容が正しいか
正しい資料・箇所を参照しているか

を分けて評価する必要があります。

▪️PoCでの確認ポイント

RAG（検索拡張生成）型のAIチャットボットでは、回答を生成する前に、登録された文書から関連情報を検索します。つまり、LLMが高性能でも、検索段階で間違った情報を取得すれば、回答品質は安定しません。

AIチャットボットを比較するときは、LLMのモデル名だけではなく、正しい文書の正しい箇所を参照できるかを確認することが重要です。

3. 答えがないときに「答えない」ことができるか

PoCでは、回答できる質問ばかりを試してしまいがちです。しかし、本番環境では、登録された資料に答えが存在しない質問も発生します。

たとえば、社内向けAIチャットボットに、

「取引先A社との契約更新日はいつですか？」

と質問したものの、A社の契約書がAIの参照データに含まれていなかったとします。

この場合、望ましい回答は、もっともらしい日付を生成することではありません。

「参照できる資料には契約更新日の記載がありません」

と回答し、必要に応じて担当者への確認を案内することです。

企業利用では、回答できないことより、根拠のない内容を断定してしまうことの方が大きなリスクになります。

▪️PoCでの確認ポイント

精度検証に使用する質問セットのうち数問は、意図的に登録文書に答えが存在しない質問にします。

さらに、

「出張時の宿泊費上限5万円を申請する方法を教えて」

のように、実際の規程とは異なる前提を含む質問も有効です。

ここで確認したいのは、正解を生成できるかではありません。情報が足りないときに回答を捏造せず、「答えられない」という事実を出力できるかどうかです。

4. 回答を読めばユーザーが業務を完了できるか

AIチャットボット導入の目的が問い合わせ削減であれば、「回答できた件数」だけをKPIにするのは不十分です。

たとえば社員が、

「経費申請の方法を教えて」

と質問し、AIが、

「社内ポータルの経費精算システムから申請してください」

と回答したとします。
内容としては正しくても、その後に、

「社内ポータルのどこですか？」
「交通費の場合も同じですか？」
「申請期限はいつですか？」

と質問が続き、最終的に総務へ問い合わせたのであれば、業務負荷はあまり減っていません。

AIチャットボットのゴールは、質問に回答することではなく、ユーザーが問題を自己解決できる状態を作ることです。

▪️PoCでの確認ポイント

導入効果を見る場合は、たとえば次の指標が重要です。

・AIだけで自己解決した割合
・人への問い合わせに切り替わった割合
・問い合わせ対応時間がどれだけ減ったか

回答そのものについても、

・必要なURLが示されているか
・手順が分かるか
・例外条件が説明されているか
・人への確認が必要なケースが明確か

まで確認すると、実運用に近い評価になります。

5. 情報変更後も正しく回答できるか

AIチャットボットは、導入時に高精度だったからといって、その状態が自動的に維持されるわけではありません。

たとえば4月に就業規則を登録し、6月に制度が改定されたとします。

新しい就業規則が社内ポータルに掲載されても、AIチャットボット側に古い情報が残っていれば、7月以降も旧ルールを案内する可能性があります。

ここで問題なのはAIモデルではなく、情報変更からAIへの反映までの運用です。
実運用において、一つの情報が更新された際に、関連する資料を全て修正してアップロードし直す、といった手間は大きな負担になります。管理画面から手軽に情報を修正したり、情報を検索して自動更新できる機能を備えたツールを選びましょう。

▪️PoCでの確認ポイント：「更新できるか」ではなく「どのくらいで反映できるか」を確認する

製品比較では、単に「データ更新可能」と書かれているかを見るだけでは不十分です。
実際に、

・管理者自身で更新できるか
・ベンダーへの依頼が必要か
・元ファイルを差し替えるだけでよいか
・古いファイルを確実に除外できるか
・更新後、どのくらいで検索対象に反映されるか

を確認しましょう。
PoCでは、テストに使用した資料の一部を書き換え、同じ質問をもう一度試してみる方法も有効です。たとえば、申請期限を「5日」から「7日」に変更し、新しい情報が正しく反映され、古い回答が残っていないかを確認します。

導入時の回答精度だけではなく、運用しながら正しい状態を維持できるかまで含めて評価することが重要です。

◆ RAG定量評価から見る導入判断

ここまで述べた通り、AIチャットボットの導入判断には単純な「正答率」だけでなく、正答・誤答に至った要因やその可観測性、さらに精度を改善できるかどうかまで視野に入れておく必要があります。

こうした詳細な精度検証が難しい場合は、各ベンダーが公開している自社製品の精度検証レポートなどが参考になります。

SELF株式会社が実施したSELFBOTの精度検証では、内閣府「2025年度日本経済レポート」を使い、単純な事実取得だけでなく、複数箇所の情報統合、図表・脚注、文書に答えがない質問、誤った前提を含む質問などを評価しています。

その結果、SELFBOTは74問中73点、正答率98.6％となり、全74問を通じて「文書にない事実の断定」は0件でした。

検証条件や結果の詳細は、「生成AIツール『SELFBOT』の精度を徹底検証｜RAG定量評価から見る導入判断のポイント」で公開しています。

◇ AIチャットボットPoCで使える「30問テスト」

ここまでの5つの観点を確認するために、大規模な評価環境を用意する必要はありません。まずは実際の問い合わせを30問程度集めるところから始められます。

ここでいう30問は、通常の問い合わせに加えて、「複数の情報を組み合わせる質問」「資料に答えがない質問」「誤った前提を含む質問」などを複数含めながら、PoCの初期段階でも人手で確認しやすい規模としての目安です。

本格的に製品間の精度差を比較したり、正答率を定量評価したりする場合は、対象業務や質問の種類に応じて設問数を増やす必要があります。

実際の質問セットは、たとえば次のような構成で用意します。

15問：通常のFAQ
- 申請期限、制度、手順などの事実確認
5問：複数情報を組み合わせる質問
- 複数の規程や条件を確認しないと答えられない質問
5問：答えが存在しない質問
- AIが無理に回答しないかを確認
5問：難易度の高い質問
- 誤った前提、曖昧な表現、表・注記を含む質問など

各質問には、あらかじめ「期待する回答」と「根拠資料」を設定します。

そのうえで、次の5項目を評価します。

評価領域	PoCで確認すること
情報	正解となる情報と根拠資料が存在するか
検索	正しい文書・箇所を参照できているか
回答	根拠に沿って回答し、情報がなければ無理に答えないか
行動	回答だけで次の手続き・行動に進めるか
更新	情報変更後も正しい回答を維持できるか

この方法なら、「デモで自然に答えていたから」という感覚的な判断ではなく、実際の業務に耐えられるかを比較しやすくなります。