リスクアセスメント
読み: リスクアセスメント
リスクアセスメントとはAI導入の要点
リスクアセスメントは組織が直面するリスクを洗い出し、その発生確率と影響度を評価し、対策の優先順位を決めるプロセス。AI導入においてはモデルの誤判定、データ漏洩、バイアスの混入など固有のリスクが加わるため、従来のITリスク管理の枠組みを拡張する必要がある。
かんたんに言うと
何がどれくらい危ないかを数え上げて、手を打つ順番を決める作業である。
AI導入リスクを見逃さないためのリスクアセスメント3ステップ
リスクアセスメントは一般に3段階で進める。
最初のステップであるリスク特定では、起こりうる脅威と、それが影響する資産を洗い出す。AI関連でいえば、学習データの偏り、モデルの過学習、APIキーの流出、推論結果の誤りなどが候補になる。
次のリスク分析では、各リスクの発生確率と発生した場合のビジネスへの影響を見積もる。定量的に数値化する方法と、高・中・低のようなレベルで分類する定性的な方法がある。
最後のリスク評価では、分析結果をもとに対策が必要なリスクの優先順位を付ける。全てのリスクに等しくリソースを割くことはできないため、影響度と発生確率の掛け合わせで上位に来るものから手を打つのが基本的な考え方になる。
AI特有のリスクが従来の枠組みでは捉えきれない理由
従来のITリスクアセスメントは、システム障害やサイバー攻撃を主な対象としていた。サーバーが落ちる確率、不正アクセスの可能性といった事象は、過去の実績データがあるため見積もりやすい。
AIのリスクは性質が異なる。モデルの出力は確率的であり、同じ入力に対して常に同じ結果を返すとは限らない。どのタイミングでどんな誤りを出すかを事前に網羅的に予測することが難しい。
バイアスの問題も厄介で、学習データに含まれる偏りがモデルの判定に反映されるが、どこにどの程度のバイアスがあるかは外部から見えにくい。採用、融資、保険といった領域でAIの判定にバイアスが含まれていた場合、法的リスクに直結する。
ISO 31000とNIST AI RMFの実務での使い方
リスクマネジメントの国際規格であるISO 31000は、リスクアセスメントの基本フレームワークを提供している。業種やリスクの種類を問わず適用できる汎用的な枠組みで、多くの企業がこれをベースに自社のリスク管理体制を構築している。
AI固有のリスクに対応するフレームワークとしては、米国NISTが公開したAI RMFがある。MAP、MEASURE、MANAGE、GOVERNの4機能で構成され、AIシステムのライフサイクル全体にわたるリスク管理の指針を示している。
実務では、ISO 31000の枠組みにAI RMFの観点を追加する形で運用するのが現実的である。既存のリスク管理プロセスを一から作り直す必要はなく、AI固有のチェック項目を既存の評価シートに追加する方法が多く採られている。
AI導入プロジェクトでのリスクアセスメントの進め方
AI導入プロジェクトでは、企画段階からリスクアセスメントを組み込むことが望ましい。完成後に評価しようとしても、設計に起因するリスクは手戻りが大きくなる。
具体的には、プロジェクト開始時にリスク台帳を作成し、データ品質、モデルの公平性、セキュリティ、コンプライアンス、運用体制の5カテゴリでリスクを洗い出す。各リスクに対して許容水準を設定し、その水準を超えた場合の対応策を事前に決めておく。
データガバナンスがそもそも整備されていない組織では、AIのリスクアセスメント以前の問題として、データの所在、アクセス権限、品質管理の基盤を先に固める必要がある。
形骸化させないための運用上の注意点
リスクアセスメントは一度やって終わりではない。AIモデルは運用中にデータの分布が変わることで性能が劣化する。新しい規制が施行されれば、コンプライアンス上の評価基準も変わる。
半年に1回、あるいはモデルの大幅な更新時にアセスメントを再実施するサイクルを設けるのが一般的である。
形骸化を防ぐには、アセスメントの結果を経営層に定期的に報告し、予算配分や意思決定に反映させる仕組みが欠かせない。報告書を作って終わりになっている組織では、リスクアセスメント自体がコストにしかなっていないケースも散見される。
当社の見解
当社はAIの安全運用のために3層防御を設計・実装している。万が一インシデントが発生しても数分以内に復旧できるバックアップ体制を持つ。実際にAIが暴走してテスト環境を停止させた経験があり、その教訓から「失敗を防ぐ」だけでなく「失敗しても戻せる」設計が本質だと確信している。加えて、AIは事実でないことを断定する。この前提で事実/推測の強制分離とファクトチェックを実装した。安全性は仕組みで担保するものだ。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。