Foundation Model
読み: ファウンデーション・モデル
基盤モデルとは事前学習の全容
Foundation Modelはインターネット上の膨大なデータを用いて事前学習され文章作成から画像生成まで多様な業務に転用可能な次世代AIの土台となるモデルである。
かんたんに言うと
Foundation Modelはあらゆる料理のベースとなる万能出汁である。そのままでは味が決まらないが、醤油や味噌を少し足すだけで和食にも中華にも化ける。
特定タスク特化を過去にした汎用基盤モデルの基本概念
Stanford Institute for Human-Centered Artificial Intelligenceが提唱したこの概念は、特定のタスクに特化していた従来のAI開発を過去のものにした。インターネット上のテキストや画像を無差別に飲み込み、言語の構造や世界の法則を事前学習する。汎用AIへの足掛かりとも言われるが、現場の感覚からすると少し違う。
ただの巨大な統計マシーンである。
だが、その統計の精度が異常に高い。だからこそ、我々実務家はこれをどう使い倒すかに頭を悩ませている。ゼロからモデルを構築する時代は終わった。今は誰かが作った巨大な土台の上に、自社のビジネスロジックをどう乗せるかを考えるフェーズである。
事前学習とファインチューニングによる適応の仕組み
Transformerアーキテクチャの登場が全てを変えた。自己教師あり学習によって、モデルは人間がラベル付けしなくてもデータから勝手にパターンを見つけ出す。しかし、事前学習を終えただけのモデルは、ただのおしゃべりな箱にすぎない。実務で使えるレベルに引き上げるには、ファインチューニングやRAGによる知識の注入が必須になる。自社の就業規則や過去の判例をRAGで読み込ませるだけで、法務部門の契約書チェックの精度は跳ね上がる。どこまでモデル自体をいじり、どこから外部データで補うか。この線引きは常に悩ましい。
安易にファインチューニングに手を出すと、元のモデルが持っていた汎用的な推論能力が壊れる現象、いわゆる破滅的忘却に直面する。現場の落とし穴はこういうところに潜んでいる。
現場を動かす代表的な基盤モデルと実務への適用
GPT-4やClaude 3.5 Sonnet、Gemini 1.5 Proといったモデルが市場を席巻している。最近ではMetaのLlama 3のようなオープンモデルも無視できない存在になった。製造業の生産ラインにおける異常検知のログ分析や、経理部門での複雑な請求書データの突合処理など、適用範囲は広い。特にClaude 3.5 Sonnetの長文脈理解は、数百ページに及ぶ技術仕様書の読み込みで他を寄せ付けない。
あなたの現場では、どのモデルの特性が活きるだろうか。
適材適所で使い分けるのが今の定石だが、APIの仕様変更に振り回されるのは日常茶飯事である。昨日まで動いていたプロンプトが、モデルのサイレントアップデートで突然ゴミを出力し始める。実務家にとって、これほど胃の痛くなる瞬間はない。
汎用性がもたらす恩恵と運用上の限界
何でもできることは、何も保証しないことと同義である。計算資源の暴力で構築されたブラックボックスを、我々は完全には制御できない。オンプレミスでLlama 3を動かして機密データを守るか、リスクを承知でクラウドのAPIを叩くか。
判断が分かれるところである。
法務や人事のデータを扱う際、閉域網での運用を求める声は根強い。しかし、自社でインフラを維持するコストと運用負荷は想像を絶する。結局のところ、技術の進化にベットしてクラウドに依存し続けるのか、それとも自前で泥臭く環境を維持するのか。我々はその選択を迫られ続けている。完璧な正解など存在しない。目の前の制約の中で、最もマシな選択肢を拾い上げるだけの泥臭い作業が続く。
当社の見解
当社は機密情報のマスキング処理を全てローカルAIで行っている。これにより機密情報を外部に送信せずにAI処理できるようになった。だが、AIが嘘をつくハルシネーションの問題は依然としてある。確認していないのに「確認しました」と言う。当社はこの前提で運用を設計している。事実と推測の強制分離、ファクトチェック機能、3つのAIと人間の同士の三重検証を行っている。どこまでいっても、AIは完璧ではない。理論上100%安全設計をしていても、AIも人間も想定しないことは起こるものだ。その万が一に備えておくことが、AIを使う上では前提になっている。だろうではなく、かもしれない運用がAIを使う上での安全基盤となっている。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。