AIエージェントを監視する方法は？AIオブザーバビリティで本番運用を安定させる実践ガイド

2026年7月、AIエージェントの監視と封じ込めの重要性を示すセキュリティ事案が相次いで公表されました。

OpenAIの内部テストでは、GPT-5.6 Solなど複数のモデルが、隔離された評価環境の未知の脆弱性を利用してインターネットへ接続。AI開発プラットフォーム「Hugging Face」の本番環境へ侵入し、サイバー能力テストの解答を取得しようとしました。
（出典：OpenAI公式発表、Hugging Faceによる技術報告）

この公表を受けてAnthropicが調査したところ、Claudeがテスト環境から意図せずインターネットへ接続し、3つの組織の実システムへ不正アクセスしていた事案も判明しています。
（出典：Anthropic公式調査報告）

ただし、これらは一般向けのChatGPTやClaudeが通常利用中に攻撃を始めた事案ではありません。サイバー能力を測るために通常の安全機能を一部無効化した特殊なテストであり、Anthropicも独自目的による行動ではなく、評価環境と運用設計の不備が大きな要因だったと分析しています。

それでも、AIエージェントに強い実行能力を与えた場合、目標設定、権限、ネットワーク制御、監視のいずれかが不十分なだけで、テスト内の処理が実環境へ波及し得ることが示されました。企業がAIエージェントを顧客対応、社内ヘルプデスク、営業支援、バックオフィスへ導入する際も、「回答できたか」だけを見ていては十分ではありません。

AIがどの情報を参照し、どのツールを呼び出し、どの権限で何を実行したのかを追跡し、異常時に止められる仕組みが必要です。そこで注目されているのが、AIエージェントの可観測性を意味する「AIオブザーバビリティ」です。

本記事では、従来のログ監視との違いから、企業が確認すべき指標、異常検知と緊急停止、人への引き継ぎ、継続改善の方法まで、2026年の最新動向を踏まえて解説します。

◇ AIエージェントの監視が重要になっている背景

AIエージェントは、質問に文章で回答するだけの生成AIとは異なり、ナレッジの検索、業務システムからの情報取得、外部ツールの操作、申請や通知といった複数の処理を連続して実行します。

処理範囲が広がるほど、「最終的な回答は間違っているが、参照した情報は正しかった」「回答は正しいが、不要なツールを繰り返し呼び出した」といった複雑な問題が発生します。最終出力だけを見ても、原因は分かりません。

2026年6月にLangChainが1,300人以上を対象に実施した調査では、回答者の57.3％がAIエージェントを本番環境で運用していました。また、89％が何らかの可観測性を導入し、62％は個々の処理やツール呼び出しを確認できる詳細なトレーシングを実施しています。ベンダーによる調査という点には留意が必要ですが、開発から安定運用へ企業の関心が移っていることを示す結果です。
（出典：LangChain「State of Agent Engineering」）

Google Cloudも2026年に、標準化されたOpenTelemetry準拠の情報を使って、エージェント、ツール、API間の処理経路を確認する「Agent Observability」を発表しました。OpenAIが同年7月に発表した企業向けの「Presence」でも、本番セッション、エスカレーション、品質シグナルを継続的な改善に使う設計が示されています。
（出典：Google Cloud Next ’26発表、OpenAI Presence公式発表）

◇ AIオブザーバビリティとは

AIオブザーバビリティとは、ログ、メトリクス、トレース、品質評価などを組み合わせ、AIシステムの内部で何が起きているかを把握できる状態にする考え方です。

◆ 監視と可観測性の違い

一般的な監視は、事前に決めた指標が基準値を超えていないかを確認します。例えば「エラー率が5％を超えた」「応答時間が10秒を超えた」といった異常の検知です。

可観測性は、異常を見つけるだけでなく、その原因を調べられる状態まで含みます。AIエージェントであれば、次の情報を関連付けて確認します。

• ユーザーからどのような依頼を受けたか
• どのモデル、プロンプト、ナレッジを使用したか
• どのツールを、どの順番で呼び出したか
• 各処理にかかった時間とコスト
• 人の承認やエスカレーションが適切に行われたか
• 最終的に業務上の目的を達成できたか

Microsoftは、トークン使用量、遅延、エラー率、ツール呼び出し回数などに加え、1件の依頼を端から端まで追跡すること、品質・安全性を継続評価すること、通常状態からの逸脱を検知することを推奨しています。
（出典：Microsoft「Observability for Generative AI and agentic AI systems」）

◆ AIエージェントの状態を把握する4つの情報と仕組み

AIエージェントの可観測性は、単一の監視機能によって実現するものではありません。実行中に発生した出来事を記録する「ログ」、状態を数値で捉える「メトリクス」、一連の処理経路を追う「トレース」を組み合わせ、さらに「評価」によって出力や行動の妥当性を判定します。

このうち、ログ・メトリクス・トレースは、システムの状態を観測するために収集する情報です。これらは総称して「テレメトリデータ」と呼ばれます。一方、評価はデータの種類ではなく、AIエージェントが業務上適切に動作したかを確認するための判定プロセスです。

1. ログ：実行中に起きた出来事を記録する

ログは、AIエージェントの実行中に発生した個別のイベントを時系列で記録したものです。

例えば、利用者から受けた依頼、参照した文書、呼び出したツール、発生したエラー、人の承認結果などが該当します。「いつ、誰が、何を実行したか」を確認できるため、障害調査や監査の基礎資料になります。

ただし、ログを保存するだけでは、処理全体のどこに問題があったかを把握しにくい場合があります。個人情報や機密情報が含まれる可能性もあるため、記録範囲、マスキング、閲覧権限、保存期間の設計が必要です。

2. メトリクス：運用状態を数値で把握する

メトリクスは、AIエージェントの動作や成果を継続的に測定する数値です。

応答時間、エラー率、処理完了率、ツール呼び出し回数、トークン使用量、処理コストなどを集計することで、通常時との違いや長期的な傾向を把握できます。

例えば、平均応答時間の急増や処理完了率の低下を検知し、運用担当者へ通知できます。一方、数値だけでは、なぜ問題が起きたのかまでは分かりません。原因の調査にはログやトレースが必要です。

3. トレース：一連の処理経路を関連付けて追跡する

トレースは、1件の依頼が完了するまでにAIエージェントが通過した処理を、関連付けて表示する仕組みです。

例えば、「依頼を受ける」「ナレッジを検索する」「検索結果を基に判断する」「外部ツールを実行する」「人の承認を受ける」という流れを一つの処理として追跡します。

これにより、誤回答の原因がナレッジ不足にあるのか、検索の失敗にあるのか、ツールの選択ミスにあるのかを切り分けやすくなります。複数のモデルや業務システムをまたぐAIエージェントでは、特に重要な情報です。

4. 評価：出力や行動が業務上適切だったかを判定する

評価は、AIエージェントの回答や行動を、あらかじめ決めた基準に照らして判定するプロセスです。

正確性、根拠性、社内ルールへの準拠、ツール選択の妥当性、目的達成の有無などを、人によるレビューや自動評価で確認します。

例えば、システム上はエラーなく処理を完了していても、誤った返金判断をしていれば業務上は失敗です。評価を組み合わせることで、「正常に動いたか」だけでなく「正しい結果を出したか」まで確認できます。

▪️4つを組み合わせて原因特定と改善につなげる

4つの役割を整理すると、次のようになります。

要素	位置付け	主な役割	答えられる問い
ログ	記録データ	個別の出来事を残す	何が起きたか
メトリクス	数値データ	状態や傾向を測る	異常が起きているか
トレース	経路データ	一連の処理を関連付ける	どこで問題が起きたか
評価	判定プロセス	出力や行動の妥当性を測る	結果は業務上正しかったか

企業のAIエージェント監視では、いずれか一つを導入すれば十分というわけではありません。メトリクスで異常を見つけ、トレースとログで原因を調べ、評価によって業務上の影響を判断する。この一連の流れを、停止、人への引き継ぎ、ナレッジやワークフローの改善につなげることが、AIオブザーバビリティの基本です。

◇ 企業が監視すべき4つの領域

AIエージェントの監視項目は、技術指標だけで決めると業務成果との関係が見えなくなります。企業では、次の4領域を一つのダッシュボードや定例レビューで確認することが重要です。

※ 画像はイメージであり、数値は特定企業の実績ではありません。

1. 業務成果

問い合わせの自己解決率、処理完了率、対応時間の削減、商談準備の完了数など、導入目的に直結する指標です。利用回数だけではなく、「AIを使った結果、業務が完了したか」を確認します。

2. 回答・判断の品質

正答率、根拠の提示率、社内ルールへの準拠率、回答不能時の適切な案内率などを測ります。顧客対応では、文面の自然さだけでなく、契約条件や返品ルールに沿っているかも重要です。

3. 運用品質

応答時間、エラー率、ツール呼び出し回数、再試行回数、処理コストを確認します。回答は正しくても、同じ検索を繰り返して時間と費用が増えている場合は、ワークフローの見直しが必要です。

4. リスク

権限外データへのアクセス、個人情報の出力、プロンプトインジェクションの兆候、未承認操作、異常な連続実行などを監視します。高リスクの操作では、検知後に通知するだけでなく、処理を止めて人へ引き継ぐ設計が欠かせません。

◇ AIエージェント監視を導入する4ステップ

ステップ1：監視の目的を業務単位で決める

最初に「何を防ぎ、何を改善するための監視か」を明確にします。社内ヘルプデスクであれば回答精度と有人転送率、営業支援であれば提案準備時間と情報の鮮度など、業務ごとに目的は異なります。

ステップ2：端から端まで追跡できる項目を設計する

依頼ID、利用者、使用モデル、プロンプトの版、参照したナレッジ、ツール呼び出し、承認結果、最終結果を関連付けます。複数のAI基盤を使う場合は、OpenTelemetryなどの標準仕様に合わせると、ツールをまたいだ追跡がしやすくなります。

ただし、プロンプトやトレースには個人情報や機密情報が含まれる可能性があります。記録範囲、マスキング、閲覧権限、保存期間を先に決めておく必要があります。

ステップ3：異常時の停止と人への引き継ぎを決める

「異常を検知したが、誰も対応しない」という状態を避けます。例えば、返金、契約変更、外部送信などは人の承認を必須とし、失敗が一定回数続いた場合は自動停止させます。

緊急停止の担当者、確認期限、利用者への案内、再開条件まで運用手順に含めることが重要です。

ステップ4：実データを評価して改善する

本番ログから、失敗例、有人転送例、低評価の会話を定期的に抽出します。原因を「ナレッジ不足」「検索失敗」「指示の曖昧さ」「ツール連携エラー」「承認設計の不足」に分類し、担当部門を決めて改善します。

変更後は、過去の成功例と失敗例を使って再評価し、品質が下がっていないことを確認してから反映します。

◇「SELFBOT AIエージェント」の可観測性

統合AIサービス「SELFBOT」のAIエージェントは、優れた可観測性を備えています。
ユーザーの依頼とエージェントの業務成果は管理画面の「エージェントログ」から確認でき、ユーザーが直接利用する画面でもエージェントの「実行ログ」や「参照した情報ソース」が確認できます。
これにより管理者・利用者はエージェントの動きを詳細に把握しながら、安心して複雑な業務をAIに任せることができます。

また、SELFBOTのAIエージェントは「スキル機能」により、管理者があらかじめエージェントのアクションを指定して一連の業務フローとして登録しておくことができます。この機能を活用することで、想定外の挙動を防止し、安定した本番運用を実現することができます。

◇ AIエージェントの監視で避けたい3つの失敗

1つ目は、取得できるデータをすべて保存することです。ログが増えすぎると分析できず、機密情報を保持するリスクも高まります。改善や監査に必要な項目から設計します。

2つ目は、応答時間やエラー率だけを見ることです。システムが正常でも、回答や業務判断が間違っている可能性があります。技術指標と品質・業務成果を組み合わせる必要があります。

3つ目は、監視を情報システム部門だけに任せることです。回答の妥当性や業務完了の定義は、事業部門でなければ判断できません。IT、事業部門、セキュリティ、法務・コンプライアンスが役割を分担することが重要です。

◇ 監視できる範囲からAIエージェントの自律性を広げる

AIエージェントの本番運用では、動いていることと、正しく業務を完了していることは同じではありません。依頼からナレッジ参照、ツール実行、人の承認、最終結果までを追跡し、業務成果・品質・運用・リスクの4領域で評価する必要があります。

最初からすべてを自動化する必要はありません。まずは対象業務を一つに絞り、監視できる範囲で実行権限を与えます。失敗を検知し、止め、原因を調べ、改善できる体制が整ってから自律性を段階的に広げることが、安定したAI活用につながります。

▪️安心して利用できるAIサービスなら「SELFBOT」

SELF株式会社は、優れた可観測性を持つAIエージェント機能を備えた統合AIサービス「SELFBOT」を開発・提供しています。

実行ログや参照情報の確認などのオブザーバビリティに加え、権限管理やIPアドレスによるアクセス制御などのセキュリティ機能も充実しており、あらゆる企業が安心してAIに業務を任せられる環境を整えています。

無料トライアルも提供しておりますので、お気軽にお問い合わせください。