Precision
読み: プレシジョン
適合率とはAIの誤検知を防ぐ指標
AIが正と予測したデータのうち、実際に正解であった割合を示す評価指標。誤検知を防ぐ能力を測る基準となる。
かんたんに言うと
採用面接で「合格」と判定した候補者のうち、実際に入社後活躍した人材の割合。
AIが正解と判定したデータの信頼性を測るPrecisionの構造
AIが「これは正解だ」と出力したデータ群の中に、本物の正解がどれだけ含まれているか。これがPrecisionの正体である。
混同行列というマトリクスで言えば、AIが正と予測して実際に正だったTrue Positiveを、AIが正と予測した全数で割った値になる。分母にはTrue Positiveと、誤って正と予測したFalse Positiveの両方が含まれる。
計算式自体は小学生でもわかる。
だが、現場でこの数字だけを見て喜ぶのは素人である。False Positiveを極端に嫌う設定にすれば、Precisionは簡単に100%に近づく。確実なものしか正と判定しない、安全牌しか打たないAIの出来上がりである。実務で使える代物ではない。
営業や人事における活用事例と代表的ツール
では、どんな場面でこの指標を追うべきか。営業部門がSalesforce Einsteinを使って成約見込みの高いリードを抽出するケースを考えてほしい。
ここでFalse Positiveが多いとどうなるか。
営業担当者はAIが「絶対売れる」と太鼓判を押したリストに電話をかけまくり、結果的に門前払いを食らい続ける。現場のAIへの信頼は一瞬で消え失せる。
人事部門がGoogle Cloud AutoMLで退職リスクの高い社員を予測する場合も同じである。誤検知で「辞めそうだ」と判定された社員に無駄な引き留め面談を実施すれば、かえって不信感を買う。Amazon Personalizeを使ったECサイトのレコメンドならまだ笑い話で済むが、対人間の業務では誤検知の代償は重い。
誤検知を防ぐメリットと網羅性低下のトレードオフ
Precisionを上げれば、無駄撃ちは減る。
しかし、ここで厄介な問題が起きる。見逃しが増えるのである。
本当に退職しそうな社員や、本当に買ってくれるはずだった顧客をAIが「白」と判定してしまう。これがRecallの低下である。PrecisionとRecallは完全にトレードオフの関係にある。
どちらを優先すべきか。
両方のバランスを取るためにF値という調和平均を見るのがセオリーだが、現場のビジネス要件はそんなに単純ではない。スパムメールのフィルタリングなら、重要なメールをスパム扱いするのは致命的だからPrecisionを極限まで高める。一方で、製造業の不良品検知なら、良品を不良品と誤検知してでも不良品の市場流出を防ぎたいからRecallを優先する。
自社のAI導入で適合率を重視すべきビジネス要件
自社のプロジェクトでどちらの指標をKPIに据えるか。これはエンジニアではなくビジネス側が決定すべき事項である。
PoCの段階で「精度が80%出ました」と報告を受けたとき、それがPrecisionなのかRecallなのかを問い詰めないマネージャーは失格だと言っていい。
投資に対するリターン、つまりROIを計算する際も、誤検知による無駄なコストと、見逃しによる機会損失のどちらが自社のビジネスにダメージを与えるかを天秤にかける必要がある。
経理部門の不正経費検知システムを導入するとしよう。全社員の経費精算を厳しくチェックしてPrecisionを下げるか、明らかな不正だけを弾いてPrecisionを上げるか。
正解はない。企業文化や監査の厳しさによって判断が分かれるところである。AIのチューニングは、結局のところ経営判断そのものに行き着くから悩ましい。
当社の見解
技術の選定で最も避けるべきは「流行っているから」という理由で導入することだ。当社は複数のAIツール・フレームワークを実際に検証した上で、自社の用途に合うものだけを採用している。検証せずに導入したツールは、ほぼ例外なく3か月以内に使わなくなった。実装指示した人間側が実装したことも忘れて、気が付けば動いていない機能があった、ということも起きる。さらに、MCPやフックやルールを増やしすぎてAIが情報過多で機能しなくなった経験もある。どんなにルールや機能を付け足しても機能しなければ意味がない。足し算より引き算。1週間の検証期間が、3か月の手戻りを防ぐ。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。