言語モデル
読み: げんごモデル
言語モデルとはAI生成の根幹技術
言語モデルは、テキストの出現確率を計算することで次にどの単語が来るかを予測する数理モデルの総称。大規模言語モデルはこの言語モデルを巨大なパラメータ数とデータ量で拡張したものであり、ChatGPTやClaudeの根幹を成す技術である。
かんたんに言うと
おはようの次にございますが来る確率が高い、と計算する仕組みである。この確率予測を精緻にしたものがGPTやClaudeの正体となる。
言語モデルがn-gramからTransformerへ進化してきた歴史と仕組み
言語モデルの歴史は古い。最もシンプルな形式はn-gramモデルで、直前のn個の単語から次の単語の出現確率を計算する。東京の天気はの次に晴れが来る確率を、大量のテキストから統計的に算出する。
2013年にWord2Vecが登場し、単語を数百次元のベクトルで表現できるようになった。意味的に近い単語はベクトル空間上でも近くに配置されるという発見は、自然言語処理の方向性を変えた。
2017年のTransformer論文が転換点となる。Attention機構により、文の中で離れた位置にある単語同士の関係を効率よく捉えられるようになった。この構造を大規模にスケールさせたのが、GPTやBERT、そしてClaudeに至る現在の大規模言語モデルである。
確率的な予測がテキスト生成に変わる仕組み
言語モデルがテキストを生成しているように見える裏側では、確率計算の繰り返しが行われている。
入力テキストに続く次のトークンの確率分布を算出し、その中からサンプリングで1つを選ぶ。選ばれたトークンを入力に追加し、再び次のトークンの確率を計算する。これを指定した長さに達するまで繰り返すのが自己回帰型の生成プロセスである。
Temperatureパラメータは、この確率分布の鋭さを調整する。値を低くすると最も確率の高いトークンが選ばれやすくなり、出力は定型的になる。値を高くするとランダム性が増し、創造的だが不安定な出力になる。
同じ入力でも毎回異なる回答が返る理由は、このサンプリング過程にある。確率が最も高い選択肢を常に選ぶGreedy Decodingもあるが、文章の多様性が失われるため実用では使い分けが必要になる。
SLMとLLMの使い分けが焦点になっている背景
言語モデルは大きければ良いというわけではない。パラメータ数が数十億規模のモデルは、高性能なGPUが必要であり、推論コストも高い。
SLMは、特定のタスクに絞ることで実用的な精度を維持しつつ、計算リソースを抑えるアプローチである。MicrosoftのPhi-3やGoogleのGemma 2がこのカテゴリに入る。
社内のFAQ回答や定型的な文書作成であれば、SLMで十分な精度が出るケースは少なくない。一方、複雑な推論や多言語対応、長文の要約といったタスクでは、LLMの性能が依然として優位にある。
何に使うかによってモデルの規模を選ぶという当たり前の判断が、コスト意識の高い企業では改めて重視されるようになっている。
言語モデルの限界と、過信が生むリスク
言語モデルは次に来る確率の高いトークンを並べる装置に過ぎない。事実を理解しているのではなく、学習データ中の統計的パターンを再現しているだけである。
この構造的な限界から、ハルシネーションが発生する。存在しない論文を引用したり、架空の統計データを提示したりするのは、モデルがもっともらしいトークン列を生成しているだけで、正しさを検証する機構を持たないからである。
AIが言ったから正しいと受け取る組織は、遅かれ早かれ問題を起こす。言語モデルの出力は常に検証対象であり、最終判断は人間が下すという運用設計が欠かせない。
当社の見解
当社は機密情報のマスキング処理を全てローカルAIで行っている。これにより機密情報を外部に送信せずにAI処理できるようになった。だが、AIが嘘をつくハルシネーションの問題は依然としてある。確認していないのに「確認しました」と言う。当社はこの前提で運用を設計している。事実と推測の強制分離、ファクトチェック機能、3つのAIと人間の同士の三重検証を行っている。どこまでいっても、AIは完璧ではない。理論上100%安全設計をしていても、AIも人間も想定しないことは起こるものだ。その万が一に備えておくことが、AIを使う上では前提になっている。だろうではなく、かもしれない運用がAIを使う上での安全基盤となっている。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。