SHAP
読み: シャップ
SHAPとはAIの判断根拠を可視化
SHAPはSHapley Additive exPlanationsの略で、ゲーム理論のShapley値をベースにAIモデルの予測結果における各入力特徴量の貢献度を数学的に算出する手法。LIMEと並び、説明可能AIの実装手段として広く採用されている。
かんたんに言うと
AIの予測結果に対してどの入力が、どれくらいプラスまたはマイナスに効いたかを数値で示す仕組みである。ゲーム理論の貢献度の公平な分配という考え方を借りている。
ノーベル経済学賞の理論をAI説明に応用したShapley値の仕組み
Shapley値はもともと、協力ゲームにおいて各プレイヤーの貢献度をどう公平に分配するかを解く理論である。1953年にロイド・シャプレーが提唱し、2012年にノーベル経済学賞の受賞対象となった。
AIの文脈では、プレイヤーが入力特徴量に、ゲームの報酬がモデルの予測値に置き換わる。年収、勤続年数、借入額といった特徴量が、融資審査スコアという報酬にどれだけ貢献しているかを算出する。
Shapley値の計算は、全ての特徴量の組み合わせについてモデルの出力を比較するため、特徴量がn個あれば2のn乗通りの計算が必要になる。これが計算量の問題である。
TreeSHAPとKernelSHAPの使い分け
厳密なShapley値の計算は特徴量が増えると現実的ではなくなるため、近似手法が開発されている。
TreeSHAPは、決定木ベースのモデルに特化したアルゴリズムである。XGBoost、LightGBM、ランダムフォレストの木構造を活用して効率的にShapley値を算出できるため、計算速度が格段に速い。表形式データの機械学習では最も実用的な選択肢となる。
KernelSHAPは、モデルの種類を問わない汎用的な手法である。ディープラーニングを含む任意のモデルに適用できるが、計算コストはTreeSHAPより高くなる。
ディープラーニング向けにはDeepSHAPというバリアントもあり、ニューラルネットワークの構造を利用して近似計算を行う。
実務では、モデルの種類に応じて適切なバリアントを選ぶのが基本である。
可視化のパターンと実務での読み解き方
SHAPの出力は数値の羅列であるが、可視化ツールが充実しているため、非エンジニアにも伝わりやすい。
Force Plotは、1件の予測について各特徴量の貢献を横棒で表示する。赤がプラス方向、青がマイナス方向。ベースラインからどれだけ押し上げ・押し下げられたかが一目でわかる。
Summary Plotは、全データに対する特徴量の重要度を一覧で示す。各データ点がドットで表示され、特徴量の値の大小と予測への影響の関係性を読み取れる。
注意すべきは、SHAPの値が因果関係を示すわけではない点である。年収が高いほど審査スコアが上がるとSHAPが示しても、年収を上げれば必ずスコアが上がるという因果は保証されない。相関と因果を混同した解釈は、誤った意思決定に繋がる。
LIMEとの比較と、規制対応における位置づけ
LIMEとSHAPはどちらも個別予測の説明手法であるが、理論的な性質が異なる。
SHAPはShapley値の公理を満たすため、数学的な正当性が高い。同じ入力に対して毎回同じ説明が返る決定論的な手法でもある。LIMEはサンプリングベースのため、実行ごとに結果がぶれることがある。
一方で、SHAPは計算時間が長くなりがちである。特にKernelSHAPを大規模データに適用すると、実用に耐えない速度になることもある。
規制対応の観点では、SHAPの方が監査人に受け入れられやすい傾向がある。数学的な根拠が明確であり、この説明手法を選んだ理由の正当化が容易なためである。
とはいえ、SHAPもLIMEも万能ではない。複雑なモデルの判断を単純化した近似である以上、説明の正確さには限界がある。説明可能AIのツールを導入すること自体が目的化しないよう、何のために説明が必要かを先に明確にすべきである。
当社の見解
技術の選定で最も避けるべきは「流行っているから」という理由で導入することだ。当社は複数のAIツール・フレームワークを実際に検証した上で、自社の用途に合うものだけを採用している。検証せずに導入したツールは、ほぼ例外なく3か月以内に使わなくなった。実装指示した人間側が実装したことも忘れて、気が付けば動いていない機能があった、ということも起きる。さらに、MCPやフックやルールを増やしすぎてAIが情報過多で機能しなくなった経験もある。どんなにルールや機能を付け足しても機能しなければ意味がない。足し算より引き算。1週間の検証期間が、3か月の手戻りを防ぐ。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。