Chatbot Arena
読み: チャットボット アリーナ
チャットボットアリーナとはLLM実力比較
Chatbot Arenaは、UC BerkeleyのLMSYS Orgが運営するLLMのオープン評価プラットフォームである。2つのモデルの回答を匿名で並べ、ユーザーの投票によって優劣を判定する。チェスのEloレーティングと同じ仕組みでモデルのランキングを算出しており、ベンチマークスコアでは見えない実力差を浮かび上がらせる。
かんたんに言うと
AIの格闘技大会のようなものである。2体のAIが同じ質問に答え、観客の投票で勝敗が決まる。どちらのAIかは伏せられているため、ブランド名に惑わされない素の評価が出る。
ベンチマークスコアでは見えないLLMの実力を測るChatbot Arenaの基本概念
LLMの性能評価は長らくベンチマークテストに依存してきた。MMLUやHumanEvalといった選択式・コード生成テストでスコアを測り、論文に載せる。
問題は、ベンチマークの数値が高くても、実際に使ってみると期待外れなモデルが少なくないことにある。テスト問題に似たデータで学習していれば数字は出るが、ユーザーが日常的に聞くような曖昧な質問にはうまく答えられない。
ベンチマーク汚染と呼ばれる現象も報告されている。テスト問題がインターネット上に公開されているため、学習データに混入してしまうケースがある。スコアは高いのに実力が伴わないモデルが生まれる構造的な問題である。
こうした不信感が、人間の主観評価を重視するChatbot Arenaへの関心を高めた。
対戦形式とEloレーティングの仕組み
ユーザーがChatbot Arenaにアクセスすると、同じプロンプトに対して2つのモデルが匿名で回答を返す。ユーザーはどちらが良いかを投票し、投票後に初めてモデル名が明かされる。
この投票結果を、チェスの国際レーティングシステムであるElo方式で集計する。強いモデルに勝てばレーティングが大きく上がり、弱いモデルに負ければ大きく下がる。数十万件の投票データが蓄積されており、統計的に信頼性の高いランキングが形成されている。
興味深いのは、このランキングがベンチマークスコアの順位と必ずしも一致しないことである。MMLUで高得点のモデルがArenaでは中位に沈み、ベンチマークでは目立たないモデルがユーザー評価で上位に食い込むケースがある。
モデル選定にどう活かすか
企業がLLMを選定する際、Chatbot ArenaのEloランキングはベンチマークスコアと並ぶ判断材料になる。
ただし、注意点がある。Arenaの投票者はAIに関心のある個人ユーザーが中心であり、評価対象も一般的な会話や知識問題が多い。業務固有のタスク、たとえば法務レビューや金融データの分析といった専門領域での実力は、Arenaのランキングだけでは判断できない。
実務での選定プロセスとしては、Arenaのランキングで候補を3つほどに絞り、そのうえで自社の業務データを使った個別評価を行うのが現実的である。Arenaは「足切り」に使い、最終判断は自社のユースケースで検証する。
評価の公平性と限界
Chatbot Arenaの強みはオープンであること。投票データは公開されており、ランキングの算出方法も論文で詳述されている。特定企業の意向でランキングが操作される余地は小さい。
とはいえ、完全に公平とは言い切れない部分もある。投票者は英語圏のユーザーに偏っているため、日本語での回答品質が正確に反映されているかは疑問が残る。日本語特化の評価カテゴリも追加されてはいるが、投票数が英語と比べて圧倒的に少ない。
また、投票者の好みによるバイアスも存在する。長くて丁寧な回答のほうが短い回答よりも高評価を得やすい傾向が指摘されている。業務利用では簡潔な回答のほうが望ましい場面も多いが、その観点ではArenaの評価は割り引いて見る必要がある。
当社の見解
当社は機密情報のマスキング処理を全てローカルAIで行っている。これにより機密情報を外部に送信せずにAI処理できるようになった。だが、AIが嘘をつくハルシネーションの問題は依然としてある。確認していないのに「確認しました」と言う。当社はこの前提で運用を設計している。事実と推測の強制分離、ファクトチェック機能、3つのAIと人間の同士の三重検証を行っている。どこまでいっても、AIは完璧ではない。理論上100%安全設計をしていても、AIも人間も想定しないことは起こるものだ。その万が一に備えておくことが、AIを使う上では前提になっている。だろうではなく、かもしれない運用がAIを使う上での安全基盤となっている。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。