AIチャットボットの「精度」はどう測る？「正答率」との違いも解説

近年、生成AIを活用し、生産性向上を図る企業が増えています。
米OpenAI社のChatGPTをはじめ、生成AI技術が世界的に普及しつつある一方、企業が生成AIを活用する上での課題も浮き彫りになっています。
この記事では、AIチャットボットの最大の課題である「精度」について解説します。

◇AIチャットボットの今

近年、様々なサービスやツールに取り入れられている生成AIですが、中でも急速に普及しつつあるのがAIチャットボットです。AIチャットボットはその名の通り、ユーザーとチャットを行うAIボットの総称です。ChatGPTなどのLLM（大規模言語モデル）が登場する以前からAIチャットボットは存在していましたが、LLMの登場以降、その状況は大きく変化しています。
LLMの自然言語処理によって高度な自動応答が可能となり、RAG（検索拡張生成）技術によって正確な情報に基づいた生成が可能となりました。
しかし、それでもAIチャットボットの「精度」はビジネスシーンでの活用においては未だ十分に解決されていない課題となっています。

◆精度への懸念がAI導入を遅らせている

アメリカの調査会社、ルシッドワークスが2024年7月に公表した調査結果によると、2024年にAI支出を増やす予定の企業（製造業）は60％未満に止まり、前年（2023年）の93％という数値からの大幅な減少となりました。この調査結果では、多くの企業がAIへの支出に慎重姿勢を見せはじめた理由として、AIの「精度」が課題となっているとされています。

出典：”Manufacturers Slow to Deploy Planned Generative AI Initiatives As Concerns Around Accuracy Spike”Lucid Works

◇AIチャットボットの「精度」とは？

そもそも、「精度」とはなんでしょうか。辞書を引くと下記のように説明されています。

測定する際や、また、器械などの正確さ・精密さの度合い。また、仕事などの正確さの度合い。「—の高い時計」
出典：デジタル大辞泉（小学館）

要するに「精度」とは、「正確さ、精密さの度合い」です。
AIチャットボットの文脈においても、「精度＝ボットが提供する情報の正確さ、精密さ」と言って差し支えはないでしょう。問題は、AIチャットボットの正確さや精密さを、どう測るかです。

◆チャットボットの正答率とは

ChatGPTのようなLLM（大規模言語モデル）が登場する以前から、チャットボットの性能を測る指標として「正答率」という指標が使われてきました。「正答率」とはつまり、「ユーザーからの質問に対してチャットボットが正しい回答を提供できる割合」のこと。ユーザーからの質問数を分母として、正しく答えられた数を分子として算出します。

◆正答率が高い＝精度が高い？

ただし、何をもって「正しい回答」とするかという点には、明確な定義がありません。
たとえば、下記のような質問をチャットボットに投げかけたとします。

Q.2020年のオリンピックはどこで行われましたか？

この質問への回答として、下記のテキストが出力されたとします。

A 「東京都で行われました」
B 「日本で行われました」
C 「2020年にオリンピックは行われていません」
D 「2020年に開催予定だったオリンピックは、新型コロナウイルスの影響により延期され、2021年に日本の東京都で行われました」

上記4つのテキストは、いずれも誤りとは言えません。
（2021年に行われたオリンピックは正式名称が「2020年東京オリンピック競技大会」とされているため、A,Bも正答とします）
いずれの回答も正答率の計算上は、「正答」にあたる回答といえるでしょう。ですが、これらの回答がすべて同じ「精度（＝正確さ、精密さの度合い）」といえるでしょうか。

４つの回答のうち、質問文に含まれる誤りを指摘した上で、質問者の意図に沿う情報を提供できているのは「D」の回答のみです。

◆求められるのは「精密さ」

上述したように、

精度＝回答の正確さ、精密さの度合い
正答率＝正しく答えられた割合

と定義すると、「精度」に含まれる「正確さの度合い」は「正答率」で表すことができますが、一方で「精密さの度合い」は基準が曖昧なため、定量的には測りようがないといえます。

「精密」という言葉を辞書で引くと「極めて細かい点にまで注意が行き届いていること」とあります。つまり、チャットボットの回答に対してユーザーや管理者が求める「精度」とは、「正しいことは大前提として、細かい点にまで注意や配慮が行き届いた回答」といえるのではないでしょうか。

◆SELFの考えるAIチャットボットの「精度」

生成AIチャットボット「SELFBOT」を提供する弊社では、上述した「精度の高さ」を次のように定義しています。

1. 正確な情報提供ができること
2. ユーザーに合わせた情報提供ができること
3. 管理者の意図に沿った情報提供ができること

ハルシネーション（誤情報の出力）を抑え、正しい情報を提供できるだけでは「精度が高い」とは言えません。チャットボット運用において、大切なのは「ユーザーの求める情報を提供し、課題解決へと導く」こと。たとえ正しく答えられていたとしても、それがユーザーにとって役に立たない情報であれば意味がありません。

そして、ユーザーに提供される回答が「管理者（企業）の意図に沿ったものであること」も重要です。たとえば、企業の問い合わせ対応用に導入されたチャットボットが、その企業と全く関係のない質問に答えたり、競合他社の商品に言及する、といった挙動は、多くの場合において不適切とされるでしょう。また「正しく答えられているものの、言い回しが不親切」といった場合も考えられます。
そういった場合に、管理者の意図通りに出力内容をコントロールできてこそ、本当に「精度の高いチャットボット」であると弊社では考えています。

◇精度で選ばれるAIチャットボット

◆SELFBOTとは

弊社の提供する「SELFBOT」はChatGPTと連携した生成AIチャットボットです。
RAG（検索拡張生成）の仕組みによって社内データに基づいた精度の高い回答をユーザーに提供することができます。
しかし、ただRAGを使っているというだけで「精度が高い」と謳っているわけではありません。SELFBOTにはRAGを前提として、さらにボットの回答精度を高める数々の独自機能が搭載されています。

◆SELFBOTが高精度を実現できる３つの理由

・正確な情報提供

SELFBOTはLLMのハルシネーション抑制に効果的とされるRAG（検索拡張生成）の仕組みに加え、独自のデータ処理機構、プロンプトエンジニアリング 、チャンキング戦略によって、ハルシネーションを徹底的に抑制し、正確な情報提供を実現しています。

（※ハルシネーションを完全に防止することを保証するものではありません）

・ユーザーに合わせた情報提供

SELFBOTは、精度向上に寄与する「カテゴリ設定機能」を搭載しています。
この機能は、ユーザーの入力テキストや閲覧中のページ情報、アカウント情報などに基づいて、参照するデータ範囲を絞り込む機能です。ユーザーの状況と関連度の高い情報のみに基づいて回答を生成することで、よりユーザーの意図に沿った情報提供が可能となります。
また、ユーザーとのチャット履歴を参照して曖昧な入力文を自動で補完し、RAGの検索精度を高める機能も有しています。この機能により、それのみでは意図が測りきれないような曖昧な入力文に対しても、ユーザーの意図を汲んだ的確な回答を返すことが可能となるのです。

・管理者の意図に沿った情報提供

SELFBOTは企業の顧客対応（カスタマーサポート）を前提に設計されているため、管理者（企業）が細かく回答を制御するための「回答コントロール機能」が搭載されています。
この機能は、特定の質問に対して管理者が「理想とする回答」を事前に登録しておくことで、ユーザーからの質問に対して過不足のない意図通りの回答を出力させる機能です。
この機能を使えば、AIチャットボット運用下で問題となる下記のような状況に対処できます。

• 正しい情報を答えられているものの、情報量が少なすぎて不親切
• 回答文が長すぎてユーザーの負担が大きい
• いかにもAIが生成しました、という文章で愛想がない
• 競合他社のサービスや商品名に言及してしまう

他に、SELFBOTは類義語や表記揺れを自動的に補正する機能を備えており、この機能を活用することで商品名や品番、LLMの学習範囲に含まれなれない専門用語の入出力にも柔軟に対応することが可能となります。

◆実際の事例が示す回答精度

・回答精度が50％→80％に向上

SELFBOTは業界を問わず数多くの企業で導入されており、その回答精度によって高い評価を得ています。
その一例として、SELFBOTを導入いただいた株式会社ビューティガレージ様の事例ではチャットボットの回答精度が大きく改善されたとご評価をいただきました。

株式会社ビューティガレージ
担当者様のコメント

「以前のシナリオ型のチャットボットでは質問に対して妥当な回答ができた確率が50％前後だったものが、SELFBOTに切り替えた後の回答の精度は80％以上になりました。お客様の自己解決率および顧客体験を高められていると感じています」

引用：生成系AIはCX向上に寄与する？ChatGPT搭載チャットボット「SELFBOT」の活用から考える

◇AIチャットボットの精度を確かめる方法

生成AIチャットボット（RAG型）の回答精度は連携する外部データベースの質や情報量、チャンキング戦略など様々な要因によって変動し得るものです。「精度が高い」と言われているサービスでも、自社データと連携した際に高精度の回答を出力できるかどうかは、試してみないとわかりません。それは、弊社の提供するSELFBOTにも同様のことが言えます。

そのため、生成AIチャットボット導入を検討する際はぜひ、開発・提供元の実施する体験会やトライアルを利用して、実際に自社データを読み込ませた際の回答精度を検証することをおすすめします。

◆無料体験セミナー

弊社ではSELFBOTの無料体験セミナーを定期的に開催しています。
無料体験セミナーでは、SELFBOTの管理画面を使って、データベース構築から運用、改善の流れをハンズオンでご体験いただけます。無料体験セミナーへのお申し込み、その他SELFBOTに関するご質問、資料請求等は、下記よりお気軽にお問い合わせください。