Copilot Studio エージェント 本番運用ガイド｜SLO・監視・コスト・改善サイクル

「作って終わり」になりがちな課題

Copilot Studioで作ったエージェントは、POCで動かして満足し本番運用設計がないまま放置されるのがよくある失敗パターンです。1〜2か月は珍しさで使われるものの、回答精度が下がり、コストが膨らみ、誰もメンテせず、半年後には全社で使われなくなる——という末路を辿るエージェントを多数見てきました。

本記事では、Copilot Studioで作ったエージェント（FAQボット、業務エージェント、Autonomous Agent）を「本番サービスとして3年以上回し続ける」ための運用設計を、SLO・監視・コスト・改善サイクル・ガバナンスの5領域で解説します。導入フェーズの内容はCopilot Studio vs Power Automate vs DifyとFAQボット構築ガイドを参照してください。

SLOの設計

「うちのエージェントは順調か？」を客観的に評価するにはSLO（Service Level Objective）を最初に決めます。推奨の3指標：

SLOを下回ったら原因分析と是正——というサイクルを月次で回します。

監視ダッシュボードの作り方

Copilot Studio標準の「Analytics」とPower BI／Microsoft Sentinelを組み合わせて、運用ダッシュボードを構築します。

標準Analytics（Copilot Studio管理画面内）

• セッション数、ユーザー数、メッセージ数
• 解決率（「Resolution rate」）
• エスカレーション率（人間オペレーターへの引き継ぎ比率）
• 応答時間中央値
• トピック別の利用頻度
• 満足度（GoodResponse／BadResponseの集計）

Power BI連携で追加すべき指標

• 応答時間のP50／P95／P99（標準は中央値のみ）
• 時間帯別利用パターン（朝礼前、月末、休日深夜等）
• ユーザーリピート率（同じユーザーが何回使っているか）
• 「BadResponse」だった会話の全文（改善ネタの宝庫）
• コスト消費メッセージ数

Sentinel連携で監視する項目

• 異常な大量利用（DoS的なリクエスト、外部スパム）
• 機密情報を含む質問の頻度
• エージェント権限を踏み台にした不正アクセス試行
• エージェントの応答に機密データが含まれていないか

Sentinel側の設計はSentinelコスト削減ガイドのテーブル設計を参考にしてください。

コスト監視と最適化

Copilot Studioの課金はメッセージ消費＋Premiumコネクタ実行がメイン。利用が増えると一気に膨らみます。

月次で確認するコスト指標

• メッセージ消費数：Copilot Studio管理画面 → Capacity
• Premiumコネクタ実行数：Power Platform管理センター → Analytics
• 1問あたりの平均コスト：（総コスト）÷（解決数）
• ユーザー1人あたりの月コスト

コスト最適化のテクニック

• 定額プラン契約：月25,000メッセージで約3万円。従量課金より安くなる閾値を把握
• RAG最適化：参照ドキュメントを増やしすぎると精度が下がるだけでなくコスト増。30〜50文書程度に絞る
• 不要なAutonomous Agent停止：使われていないエージェントを四半期で棚卸し
• Premiumコネクタの代替検討：高価なコネクタはGraph API直接呼び出しで削減可能
• キャッシュ的な実装：同じ質問への応答を一時保存して再利用

応答品質の継続改善サイクル

「最初は精度70%だったが3か月で85%まで上がった」という改善は、運用次第で実現可能です。月次改善サイクルの推奨手順：

週次（情シス担当）

• 「BadResponse」評価された会話を全件確認
• 明らかな誤回答パターンを記録
• 緊急対応が必要な事項（規程と矛盾する回答等）は即時修正

月次（情シス＋業務部門）

• SLO達成状況のレビュー
• 未対応質問トップ20の確認（解決できなかった質問）
• ナレッジソースの更新が必要なエリアを特定
• システムプロンプト改善（Topicの構成、トリガーフレーズ）
• 新規Topic追加（よく聞かれる新規質問への対応）

四半期次（情シス＋経営層）

• ROI評価（削減できた工数、CSAT、解決件数）
• SLO目標の見直し
• 新規ユースケース展開検討
• 不要エージェントの廃止判断

Agent 365 Registryでのガバナンス

2026年5月にGAしたAgent 365により、エージェントの「誰が／いつ／何を作ったか」が一元管理できるようになりました。本番運用時は次の運用ルールを徹底します。

• すべてのエージェントをRegistryに登録：シャドウエージェント禁止
• 各エージェントにオーナー部門・責任者を割当：退職時の引継ぎフローを定義
• リスク分類タグ：機密データ参照／外部API呼出／自動アクション実行の有無で3段階
• 四半期ごとの棚卸し：使われていないエージェントを停止
• 変更管理：本番エージェントの大幅変更は承認フローを通す
• 監査ログのPurview集約：エージェントの全操作を90日以上保管

詳細はAgent 365 GA後の5ステップを参照。

インシデント対応とロールバック

「エージェントが誤った業務指示を出し続けている」「機密情報を回答してしまった」——本番では必ず想定外の事象が起きます。事前準備が必要です。

準備すべき手順

1. 緊急停止手順：管理者がエージェントを即座に無効化できる手順を文書化
2. ロールバック：前バージョンへの即時切り戻し（Copilot Studioのソリューション履歴を活用）
3. 影響範囲特定：問題発生から検知までの会話履歴をPurviewで全件抽出
4. 本人通知：影響を受けたユーザーへの説明・是正対応
5. 根本原因分析：プロンプト／ナレッジ／コネクタの何が原因か特定
6. 再発防止：ガードレール強化、テストケース追加、変更管理プロセス見直し

運用体制：誰が何をやるか

300名規模で10エージェントを運用する場合、情シス1名で運用可能。ただし「エージェントオーナーを業務部門から指名する」のが定着の最重要ポイントです。

よくある運用失敗パターン

• SLOを決めずに運用開始：「順調か」が分からず改善が進まない
• BadResponseを誰もレビューしない：改善ネタが死蔵される
• ナレッジソースが古いまま：規程改訂や新サービス追加時に更新されていない
• 使われていないエージェントが残り続ける：コストとガバナンス負荷の無駄
• 緊急停止手順が無い：トラブル時に右往左往する
• 業務部門のオーナーが不在：情シス頼みで業務知識が反映されない
• セキュリティレビュー不実施：機密情報漏えいリスク見落とし
• ロールバック方法を試したことがない：いざという時に動かない

「本番運用開始」チェックリスト

• □ SLO（応答時間／回答精度／稼働率）を定義した
• □ 月次の運用レビュー会議を設定した
• □ オーナー部門と運用担当者を明確化した
• □ 監視ダッシュボード（Power BI／Sentinel）を構築した
• □ コスト消費の月次レポートを準備した
• □ Agent 365 Registryに登録した
• □ 緊急停止手順を文書化した
• □ ロールバック動作をテストした
• □ ナレッジソースの更新フローを定義した
• □ ユーザー教育資料を用意した
• □ ガードレール（禁止話題、機密データ拒否）を設定した
• □ プライバシー監査を受けた

まとめ

Copilot Studioのエージェントは「サービスとして運用する」覚悟を最初から持つことで初めて、3年以上使われ続けます。SLO設計・監視ダッシュボード・コスト最適化・継続改善サイクルの4本柱を最初に整え、Agent 365でのガバナンスを組み合わせれば、ひとり情シスでも10エージェント規模の本番運用は十分可能です。

BTNコンサルティングでは、AI365でCopilot Studio構築から本番運用設計・SLO設定・運用伴走支援までを提供しています。「POCで止まったエージェントを本番化したい」「コスト・品質を改善したい」など60分の無料相談からお気軽にご相談ください。