MLOps / LLMOps
読み: エムエルオプス / エルエルエムオプス
MLOpsとはAI運用基盤の全体像
かんたんに言うと
買ったばかりの高級車を車検もオイル交換もせずに乗り続ける人はいない。AIも同じで定期的なメンテナンスと監視の仕組みがなければすぐに使い物にならなくなる。
MLOpsとLLMOpsがAIモデルのビジネス価値を維持する運用基盤の全体像
MLOpsとLLMOpsは機械学習や大規模言語モデルを単発の開発で終わらせず継続的に成果を出すための仕組み。ソフトウェア開発におけるDevOpsの概念をAIに持ち込んだものと考えていい。
モデルはデプロイした瞬間から劣化が始まる。
入力されるデータ傾向の変化によって精度が落ちるからである。これを放置すれば現場の信頼を失い使われなくなる。だからこそ継続的な監視と再学習のサイクルを回す基盤を構築しなければならない。ただどこまで厳密な基盤を組むかは悩ましい。事業規模やモデルの重要度によって求められる堅牢性は全く異なるからである。
開発から運用までを回すライフサイクル
データ収集からモデル学習デプロイ監視再学習に至る一連のプロセスをCI/CDパイプラインとして組み上げる。ここで厄介なのがデータドリフトへの対応である。
昨日まで正しかった予測が今日は外れる。
物流部門の需要予測モデルを例に挙げよう。天候不順や突発的なトレンド変化で入力データの分布が変わるとモデルの出力は使い物にならなくなる。これを検知して再学習をトリガーする仕組みがMLOpsの肝である。LLM特有のプロンプト管理やRAGの参照データ更新もLLMOpsの領域になる。出力の揺らぎをどう制御するかは現場ごとに判断が分かれる。
現場のリアルと代表的な管理ツール
経理部門の領収書読み取りや法務の契約書チェックなど実業務への組み込みが進むにつれ管理ツールの選定がシビアになる。
MLflowやAmazon SageMakerは定番だが設定項目が多すぎて持て余す現場を山ほど見てきた。
最近はLLMのプロンプトや実行ログを追跡するためにLangSmithやVertex AIを導入するケースが増えている。特にLangSmithはトレース機能が優秀でどのステップでLLMが幻覚を見たのか特定しやすい。だがツールを入れただけで運用が回るわけではない。誰がアラートを見てどう対処するのか。人間の運用体制こそがになりやすい。
運用基盤がもたらす投資対効果と技術的障壁
品質の安定化や属人化排除といったメリットは大きい。しかし初期構築コストやデータサイエンティストの確保という限界とのトレードオフになる。
ROIを計算しようとしても運用コストの予測が難しいため稟議が通らないことは珍しくない。
クラウドベンダーのフルマネージドサービスに依存すればベンダーロックインのリスクも跳ね上がる。AWSやGCPの独自仕様にどっぷり浸かると後から別の環境へ移行するのは地獄である。自前で組むかマネージドに乗るか。正解はない。予算と技術力の現実を見て妥協点を探るしかない。
自社に最適なAI運用基盤を見極める評価基準
TCOとガバナンスのバランスをどう取るか。これが運用基盤を見極める最大のポイントになる。
PoCの段階で立派なMLOps基盤を組むのは愚の骨頂である。
まずは手動で運用を回しどこにがあるのかを洗い出す。その上で必要な部分だけをツールで置き換えていく。最初から完璧なパイプラインを目指すと運用ルールに縛られて身動きが取れなくなる。撤退基準を明確にすることも忘れてはならない。運用コストがビジネス価値を上回ったらいつでもモデルを捨てる覚悟が必要である。AIはあくまで道具であり維持すること自体が目的になってはならない。
当社の見解
当社は機密情報のマスキング処理を全てローカルAIで行っている。これにより機密情報を外部に送信せずにAI処理できるようになった。だが、AIが嘘をつくハルシネーションの問題は依然としてある。確認していないのに「確認しました」と言う。当社はこの前提で運用を設計している。事実と推測の強制分離、ファクトチェック機能、3つのAIと人間の同士の三重検証を行っている。どこまでいっても、AIは完璧ではない。理論上100%安全設計をしていても、AIも人間も想定しないことは起こるものだ。その万が一に備えておくことが、AIを使う上では前提になっている。だろうではなく、かもしれない運用がAIを使う上での安全基盤となっている。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。