Monitoring
読み: モニタリング
モニタリングとはAI監視の要
AIモデルを本番環境に導入した直後から発生する予測精度の劣化や異常な挙動を継続的に検知しビジネスへの悪影響を未然に防ぐための品質管理プロセス。
かんたんに言うと
生鮮食品の温度管理である。出荷時にどれだけ新鮮でも店頭の冷蔵ケースの温度が狂えば商品は腐る。モデルも同じで現実のデータという外気に触れ続ければ必ず劣化する。
デプロイ直後から始まるAIモデルの劣化を検知する監視プロセス
本番環境にデプロイされたAIモデルは初日が最も賢い。そこから先は劣化の一途をたどる。多くの現場では開発段階のテストスコアに満足してそのまま放置する。だが現実世界のデータは生き物である。MLOpsの文脈でMonitoringが叫ばれる理由はここにある。昨日まで正しく動いていたモデルが今日も正常とは限らない。例えば物流部門の配送ルート最適モデル。道路工事や新しいバイパスの開通といった環境変化をモデルは自力で学習しない。結果として遠回りのルートを平然と出力し始める。これを放置すれば配送コストは跳ね上がる。監視プロセスを組み込んでいないシステムは時限爆弾を抱えているようなもの。
データドリフトとコンセプトドリフトを検知する仕組み
劣化の原因は主に2つある。入力データの傾向が変わるデータドリフトと予測対象の前提ルールが変わるコンセプトドリフトである。経理部門の経費精算チェックモデルを想像してほしい。インボイス制度の導入で領収書のフォーマットが激変した。これがデータドリフトである。一方、会社がリモートワーク手当の支給要件を突然変更したとする。モデルが学習した過去の不正検知ルールそのものが通用しなくなる。これがコンセプトドリフトである。これらをどう検知するか。通常は入力データの分布や予測結果の統計値をリアルタイムで計算しダッシュボードに可視化する。閾値を超えれば異常として通知を飛ばす。ただどこまでを異常とみなすかの線引きは常に悩ましい。
物流や経理における活用事例と代表的なツール
監視ツールは群雄割拠の様相を呈している。AWS環境にどっぷり浸かっているならAmazon SageMaker Model Monitor一択になることが多い。インフラとの統合がスムーズだからである。だがシステム全体を俯瞰したいならDatadogのAPMと連携させるアプローチもある。インフラの死活監視とモデルの精度監視を同じ画面で追えるのは運用担当者にとってありがたい。機械学習に特化した専用基盤を求めるならArize AIが候補に挙がる。特徴量レベルでのドリフト分析や原因究明の深さは他の一歩先を行く。どのツールを選ぶかは既存の技術スタック次第で判断が分かれる。
継続的監視がもたらすビジネス上の利点と運用コストの壁
監視のメリットはSLAの維持と直結する。だが現場を待っているのはアラート疲労という泥沼である。少しデータの分布がブレただけでSlackに警告が飛び交う。最初は真面目に確認していた担当者も1週間で通知をミュートする。オオカミ少年化した監視システムに価値はない。通知のチューニングには専任のエンジニアが必要になる。ここでROIの壁にぶつかる。モデルの再学習コストと監視システムの維持費がビジネス上の損失回避額を上回ってしまえば本末転倒である。監視すればするほど赤字になるプロジェクトは実在する。
自社にAI監視体制が必要かを判断するための評価基準
すべてのモデルに重厚な監視が必要なわけではない。PoCの延長で動かしている社内向けの簡易ツールなら月に1回情報システム部門がログを眺める程度で十分なこともある。問うべきはKPIへの影響度である。そのモデルが狂ったときビジネスにどれだけの損害が出るか。人事部門の退職予測モデルが外れても即座に会社は傾かない。だが製造ラインの不良品検知モデルが1時間機能不全に陥れば数百万の損害が出る。高度な監視ツールを入れる前にまずはモデルが間違えたときの被害額を算定する。話はそれからである。
当社の見解
当社は機密情報のマスキング処理を全てローカルAIで行っている。これにより機密情報を外部に送信せずにAI処理できるようになった。だが、AIが嘘をつくハルシネーションの問題は依然としてある。確認していないのに「確認しました」と言う。当社はこの前提で運用を設計している。事実と推測の強制分離、ファクトチェック機能、3つのAIと人間の同士の三重検証を行っている。どこまでいっても、AIは完璧ではない。理論上100%安全設計をしていても、AIも人間も想定しないことは起こるものだ。その万が一に備えておくことが、AIを使う上では前提になっている。だろうではなく、かもしれない運用がAIを使う上での安全基盤となっている。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。