ToT
読み: ティーオーティー
ToTとはAIの木構造推論手法
ToTは大規模言語モデルが複数の思考経路を分岐させながら自己評価を繰り返し、最も精度の高い最適解を探索する高度な推論手法である。単一の経路を辿る従来の手法とは異なり、推論の途中で誤りに気づき軌道修正できる点に特徴がある。
かんたんに言うと
迷路で行き止まりにぶつかったとき、来た道を戻って別の分かれ道を試すネズミの動きに似ている。
一本道の推論が招く誤りをToTの分岐探索で回避する
CoTが単一の思考プロセスを一直線になぞるのに対し、ToTは途中で複数の仮説を立てて分岐する。
GPT-4oやClaude 3.5 Sonnetに複雑な条件を与えたとき、途中の計算ミスに気づかず最後までもっともらしい嘘を出力された経験はないだろうか。
あれは一本道しか歩けないから起きる悲劇である。
ToTは推論の途中で立ち止まり、自らの出力を評価する。間違っていれば前の分岐点まで戻る。プロンプトエンジニアリングの領域で語られることが多いが、実態は探索アルゴリズムの再発明に近い。単なるプロンプトの工夫で片付けるには惜しい技術。
複数の思考経路を評価し最適解を導く探索アルゴリズムの仕組み
ToTの根幹は、幅優先探索や深さ優先探索といった古典的なアルゴリズムをLLMの推論に持ち込んだ点にある。
AIが自ら複数の案を生成し、それぞれの見込みをスコアリングする。見込みが薄い経路はその時点で切り捨てる。この自己評価プロセスが組み込まれているため、最終的な出力の精度が劇的に上がる。
ただ、どの探索手法を選ぶかは悩ましい。
深さ優先探索はメモリ消費が少ないが、局所的な最適解に陥るリスクがある。幅優先探索は網羅的だが、計算量が膨れ上がる。現場の要件に合わせてどちらを採用するか、エンジニアの判断が分かれるところである。
物流や法務の複雑な要件を解きほぐすToTの実用例と実装アプローチ
例えば物流業界での配送計画の策定。トラックの積載量、ドライバーの休息時間、渋滞予測など変数が多すぎる要件をLLMに投げると、通常は途中で論理が破綻する。
ToTを使えば、複数のルートを並行してシミュレーションし、休息時間の制約に引っかかった時点でその経路を破棄できる。法務におけるM&A;の契約書レビューでも同様である。複数の条項が絡み合うリスク評価において、ToTは威力を発揮する。
実装にはDSPyやSemantic Kernelといったフレームワークを使うか、Pythonで直接OpenAI APIの呼び出しを再帰的に記述する泥臭いコードを書くことになる。手軽な魔法の杖ではない。
ToTを活用するビジネス上の利点と導入時に直面する技術的限界
精度が上がる代償として、APIのトークン消費量は跳ね上がる。
1つの回答を得るために裏で数十回のAPIコールが発生することも珍しくない。Azure OpenAI Serviceの利用明細を見て、桁を読み間違えたかと目を疑うことになる。
さらに深刻なのがレイテンシである。
ユーザーがチャット画面で質問してから回答が返ってくるまでに数分かかる。Webサービスに組み込んだ場合、大半のユーザーは待てずにブラウザを閉じるだろう。バッチ処理で裏側で動かすならともかく、リアルタイム性が求められるシステムにToTを組み込むのは無謀である。
自社のAIプロジェクトにToTを組み込むべきかの判断基準
すべてのプロンプトをToTに置き換える必要は全くない。
社内FAQの検索や単純な翻訳なら、ゼロショットやCoTで十分である。ToTの出番は、人間の専門家が数時間かけてウンウン唸るような複雑な推論タスクに限られる。
予算と時間の制約の中で、本当にその精度が必要なのか。
現場のエンジニアは常にこの問いを突きつけられる。最新の手法だからといって飛びつくと、運用フェーズでコストの重圧に押し潰される。技術の限界を把握し、引き算の設計ができるかどうかが問われている。
当社の見解
技術の選定で最も避けるべきは「流行っているから」という理由で導入することだ。当社は複数のAIツール・フレームワークを実際に検証した上で、自社の用途に合うものだけを採用している。検証せずに導入したツールは、ほぼ例外なく3か月以内に使わなくなった。実装指示した人間側が実装したことも忘れて、気が付けば動いていない機能があった、ということも起きる。さらに、MCPやフックやルールを増やしすぎてAIが情報過多で機能しなくなった経験もある。どんなにルールや機能を付け足しても機能しなければ意味がない。足し算より引き算。1週間の検証期間が、3か月の手戻りを防ぐ。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。