Precisionとは
Precisionとは、AIが正と予測したデータのうち、実際に正解であった割合を示す評価指標
読み: プレシジョン
誤検知を防ぐ能力を測る基準となる。
かんたんに言うと
採用面接で「合格」と判定した候補者のうち、実際に入社後活躍した人材の割合。
AIが正解と判定したデータの信頼性を測るPrecisionの構造
AIが「これは正解だ」と出力したデータ群の中に、本物の正解がどれだけ含まれているか。これがPrecisionの正体である。
混同行列というマトリクスで言えば、AIが正と予測して実際に正だったTrue Positiveを、AIが正と予測した全数で割った値になる。分母にはTrue Positiveと、誤って正と予測したFalse Positiveの両方が含まれる。
計算式自体は小学生でもわかる。
だが、現場でこの数字だけを見て喜ぶのは素人である。False Positiveを極端に嫌う設定にすれば、Precisionは簡単に100%に近づく。確実なものしか正と判定しない、安全牌しか打たないAIの出来上がりである。実務で使える代物ではない。
営業や人事における活用事例と代表的ツール
では、どんな場面でこの指標を追うべきか。営業部門がSalesforce Einsteinを使って成約見込みの高いリードを抽出するケースを考えてほしい。
ここでFalse Positiveが多いとどうなるか。
営業担当者はAIが「絶対売れる」と太鼓判を押したリストに電話をかけまくり、結果的に門前払いを食らい続ける。現場のAIへの信頼は一瞬で消え失せる。
人事部門がGoogle Cloud AutoMLで退職リスクの高い社員を予測する場合も同じである。誤検知で「辞めそうだ」と判定された社員に無駄な引き留め面談を実施すれば、かえって不信感を買う。Amazon Personalizeを使ったECサイトのレコメンドならまだ笑い話で済むが、対人間の業務では誤検知の代償は重い。
誤検知を防ぐメリットと網羅性低下のトレードオフ
Precisionを上げれば、無駄撃ちは減る。
しかし、ここで厄介な問題が起きる。見逃しが増えるのである。
本当に退職しそうな社員や、本当に買ってくれるはずだった顧客をAIが「白」と判定してしまう。これがRecallの低下である。PrecisionとRecallは完全にトレードオフの関係にある。
どちらを優先すべきか。
両方のバランスを取るためにF値という調和平均を見るのがセオリーだが、現場のビジネス要件はそんなに単純ではない。スパムメールのフィルタリングなら、重要なメールをスパム扱いするのは致命的だからPrecisionを極限まで高める。一方で、製造業の不良品検知なら、良品を不良品と誤検知してでも不良品の市場流出を防ぎたいからRecallを優先する。
自社のAI導入で適合率を重視すべきビジネス要件
自社のプロジェクトでどちらの指標をKPIに据えるか。これはエンジニアではなくビジネス側が決定すべき事項である。
PoCの段階で「精度が80%出ました」と報告を受けたとき、それがPrecisionなのかRecallなのかを問い詰めないマネージャーは失格だと言っていい。
投資に対するリターン、つまりROIを計算する際も、誤検知による無駄なコストと、見逃しによる機会損失のどちらが自社のビジネスにダメージを与えるかを天秤にかける必要がある。
経理部門の不正経費検知システムを導入するとしよう。全社員の経費精算を厳しくチェックしてPrecisionを下げるか、明らかな不正だけを弾いてPrecisionを上げるか。
正解はない。企業文化や監査の厳しさによって判断が分かれるところである。AIのチューニングは、結局のところ経営判断そのものに行き着くから悩ましい。
PrecisionとRecallの比較
| 比較項目 | Precision | Recall |
|---|---|---|
| 評価対象(正解と予測の分母) | モデルが「正例」と予測したデータ全体が分母 | 実際の「全ての正例」データ群全体が分母となる |
| 重視すべきビジネスケース(誤検知抑制vs取りこぼし防止) | 誤検知(偽陽性)による無駄なコスト負担を抑制 | 実際に見逃す(偽陰性)ことによる致命傷を未然防止 |
| トレードオフの関係 | 予測した中での正確性が高まるためF値を牽引 | 見つけ出す能力が高まるためF値の底上げに寄与 |
| F値との関わり | 初期導入から実運用までの学習・運用コスト | 複雑なカスタマイズに応じた拡張的な運用コスト確保 |
| 定義式 | シンプルなユースケースに適合し利用シナリオが限定的 | エンタープライズや複雑なビジネス要件等に適合する |
誤検知を減らしたいならPrecision、取りこぼしを減らしたいならRecall。どちらを優先するかは業務の性質で決まる。
売上の頭打ちを打破して、毎年20%成長を目指す経営者へ
1人の社員が4つのAIエージェントを使いこなせば、
1日8時間 × 4エージェント × 20営業日 = 月間640時間相当の実行余力を生み出せます。
その時間を、営業改善・商品改善・顧客対応・業務効率化に再投資できれば、
毎年20%成長を目指せる組織基盤は現実的に作れます。
初回30分の無料相談で、貴社の業務のどこにAIを入れるべきか、
640時間相当の実行余力を生み出すための導入ステップをご提案します。