特徴量エンジニアリング
読み: トクチョウリョウ エンジニアリング
特徴量設計とはモデル精度の鍵
特徴量エンジニアリングは、機械学習モデルの入力データを加工し、予測精度を高めるための特徴量を設計・生成する工程を指す。生のデータをそのまま投入するよりも、業務知識に基づいて変換したデータのほうがモデルの性能を大きく左右する。
かんたんに言うと
料理でいう下ごしらえにあたる。素材のままでは味が出ないように、データも適切に加工してからモデルに渡さないと、まともな結果は返ってこない。
モデル精度を左右する最も地味で最も重要な工程
機械学習のプロジェクトで最も時間を食うのは、モデルの選定でもハイパーパラメータの調整でもない。データの前処理と特徴量の設計である。
Kaggleのコンペティションで上位に入る常連は、モデルのアーキテクチャよりも特徴量の作り込みで差をつけている。売上予測であれば「先月の売上」をそのまま入れるのではなく、「前年同月比」「移動平均」「曜日別の偏差」といった派生変数を大量に作り、そこからモデルに効くものを選別する。
地道な作業に見えるが、この工程の質がプロジェクトの成否を分ける。
具体的な手法と現場での使い分け
特徴量エンジニアリングの手法は多岐にわたる。代表的なものを挙げると、カテゴリ変数のOne-hotエンコーディング、数値変数の対数変換やビニング、時系列データのラグ特徴量、テキストデータからのTF-IDF抽出などがある。
現場で重要なのは、どの手法を選ぶかよりも、業務の文脈を理解しているかどうかである。ECサイトの離脱予測で「最終ログインからの経過日数」という特徴量を思いつけるのは、ユーザー行動の実態を知っている人間だけである。統計的に正しい変換をしても、業務的に意味のない特徴量はノイズにしかならない。
テキストや画像のような非構造化データの場合、ディープラーニングが特徴量抽出を自動で行う。とはいえ、入力データの前処理が不要になったわけではない。
AutoMLが変えたこと、変えなかったこと
Google Cloud AutoMLやAmazon SageMaker Autopilotといったサービスは、特徴量の生成と選択を自動化する機能を備えている。特徴量の候補を網羅的に生成し、モデルの精度に寄与するものだけを自動選別する。
この自動化によって、データサイエンティストが手作業で特徴量を試す工数は確かに減った。
ただし、AutoMLが生成する特徴量は統計的なパターンに基づいている。「この変数とあの変数を掛け合わせると業務的に意味がある」という発想は、ドメイン知識がなければ出てこない。現場感覚のある人間が仮説を立て、AutoMLがそれを検証するという分業が現時点では最も効率がいい。
LLM時代に特徴量エンジニアリングは不要になるのか
LLMの登場で、テキスト系タスクでは人間が特徴量を設計する必要がほぼなくなった。モデルが文脈を丸ごと理解するため、TF-IDFで単語の重みを計算するような作業は過去のものになりつつある。
一方、構造化データの予測タスクでは事情が異なる。売上予測、在庫最適化、与信判断といった領域では、依然として特徴量エンジニアリングの質が精度を決定する。
LLMが強いのは「言葉の意味を理解する」タスクであり、「数値の関係性からパターンを見つける」タスクでは従来の機械学習モデルのほうが適している場面が多い。使い分けの判断を誤ると、高い推論コストをかけた割に精度が出ないという残念な結果になる。
実務で陥りがちな落とし穴
特徴量を増やせば精度が上がるという思い込みは危険である。数百の特徴量を投入すると、モデルが学習データに過剰にフィットする過学習が起きやすくなる。
もうひとつ厄介なのが、データリーケージと呼ばれる問題である。予測時点では本来知りえない未来の情報が特徴量に混入すると、学習時の精度は高いのに本番で使い物にならない。月次売上を予測するモデルに、当月の売上合計を特徴量として入れてしまうような初歩的なミスは、締め切りに追われたプロジェクトで意外と発生する。
特徴量エンジニアリングは技術であると同時に、業務理解の深さが試される工程である。
当社の見解
技術の選定で最も避けるべきは「流行っているから」という理由で導入することだ。当社は複数のAIツール・フレームワークを実際に検証した上で、自社の用途に合うものだけを採用している。検証せずに導入したツールは、ほぼ例外なく3か月以内に使わなくなった。実装指示した人間側が実装したことも忘れて、気が付けば動いていない機能があった、ということも起きる。さらに、MCPやフックやルールを増やしすぎてAIが情報過多で機能しなくなった経験もある。どんなにルールや機能を付け足しても機能しなければ意味がない。足し算より引き算。1週間の検証期間が、3か月の手戻りを防ぐ。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。