Temperature
読み: テンパレチャー
テンプレチャーとはAI出力の調整
Temperatureは大規模言語モデルが文章を生成する際の単語選択のランダム性を決定し、回答の正確性と創造性のバランスを調整する中核的な制御パラメータである。API経由でシステムを構築する際、必ず直面する設定項目である。
かんたんに言うと
サイコロの重心をいじるようなものである。0に近づければ常に同じ目が出るイカサマダイスになり、1に近づければ予測不能な暴れ馬になる。
回答の固さと揺らぎを数値で制御するTemperatureの仕組み
LLMが文章を紡ぐプロセスは、次に続く確率が最も高い単語を計算し続けるだけの単純作業といえる。この確率分布の計算結果に対して、どの程度の揺らぎを許容するかを決めるのがTemperatureである。
数値を0に設定すると、モデルは常に確率が最も高い単語だけを愚直に選び続ける。結果として出力は固定化され、何度実行しても同じテキストが返ってくる。
本当にそれだけでいいのか。
実はそう単純ではない。確率のトップを走り続けるだけの文章は、機械翻訳の初期のような無味乾燥なテキストになりがちである。逆に数値を上げると、あえて2番目や3番目に確率の高い単語を拾いに行くようになる。この揺らぎが人間らしい自然な表現を生む。ただ、どこまで揺らぎを許容するかは常に悩ましい。
数値の変動がもたらす創造性と正確性のトレードオフ
数値を上げれば表現は豊かになるが、同時にハルシネーションのリスクが跳ね上がる。存在しない判例をでっち上げたり、架空の製品仕様を語り始めたりする。
現場の落とし穴はここにある。
プロンプトの指示をどれだけ緻密に書き込んでも、Temperatureが1.5を超えていればモデルは指示を無視して暴走する。逆に0.1のような低すぎる数値を設定すると、今度はプロンプトで求めた多様なアイデアを全く出せなくなる。
正確性と創造性は常にトレードオフの関係にある。どちらを取るか。
業務の性質によって判断が分かれるところである。テキストの要約なら低め、キャッチコピーの生成なら高めといった具合に、用途に応じたチューニングが求められる。
業務目的別の最適値と主要AIツールでの設定方法
法務部門が契約書の条項チェックを行う場合、Temperatureは0一択である。ここで創造性を発揮されては困る。一言一句の正確性が求められる業務で揺らぎは単なるノイズでしかない。
一方で、製造部門が過去の不良品データから新しい改善策のアイデアを抽出するようなケースでは、0.7あたりを設定すると予期せぬ視点が得られることがある。
OpenAI APIやAnthropicのClaude、GoogleのGeminiなど、主要なモデルはすべてAPIのリクエストボディでこの数値を指定できる。デフォルト値はモデルによって異なるが、だいたい0.7から1.0の間に設定されていることが多い。GUIのチャット画面で使っている限りこの数値はブラックボックスだが、API経由でシステムに組み込むなら明示的な制御が必須になる。
自社のAI活用フェーズに応じた最適な運用戦略
社内システムにLLMを組み込む際、Temperatureの値を誰がどう管理するのか。
開発者が適当に決めた固定値で運用を始めてしまうケースが後を絶たない。しかし、業務部門から回答が固すぎる、たまに嘘をつくというクレームが来たとき、プロンプトの修正だけで対応しようとするのは悪手である。
まずはPoCの段階で、対象業務における最適な数値を検証すべきである。
ガバナンスの観点からも、部門ごとに許容されるパラメータの範囲を定義しておく必要がある。経理のシステムと営業の企画立案システムで同じ設定を使うのは正気の沙汰ではない。システム設計の初期段階でこのパラメータの制御方針を確定させないと、後から運用でカバーするのは骨が折れる。
当社の見解
当社は機密情報のマスキング処理を全てローカルAIで行っている。これにより機密情報を外部に送信せずにAI処理できるようになった。だが、AIが嘘をつくハルシネーションの問題は依然としてある。確認していないのに「確認しました」と言う。当社はこの前提で運用を設計している。事実と推測の強制分離、ファクトチェック機能、3つのAIと人間の同士の三重検証を行っている。どこまでいっても、AIは完璧ではない。理論上100%安全設計をしていても、AIも人間も想定しないことは起こるものだ。その万が一に備えておくことが、AIを使う上では前提になっている。だろうではなく、かもしれない運用がAIを使う上での安全基盤となっている。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。