Hallucination
読み: ハルシネーション
Hallucinationとは
Hallucination（ハルシネーション）とは、大規模言語モデル（LLM）が事実に基づかない、または意味をなさない情報を生成する現象である。まるで幻覚を見ているかのように、もっともらしい嘘をつくことから、この名前が付けられた。この現象は、LLMの信頼性を大きく損なう要因の一つとして認識されている。
かんたんに言うと
かんたんに言うと、AIがもっともらしい嘘をつくことである。
Hallucinationが起こる原因
Hallucinationが発生する原因は複数考えられる。学習データに誤った情報が含まれている場合や、学習データが不足している場合、モデルが過度に学習データに適合してしまい、汎化能力を失う場合などが挙げられる。また、複雑な質問に対して、モデルが十分な情報を持ち合わせていない場合にも、推測に基づいて誤った情報を生成することがある。これらの要因が複合的に絡み合って、Hallucinationが発生すると考えられている。
Hallucinationの種類
Hallucinationには、大きく分けて「事実に基づかないHallucination」と「意味をなさないHallucination」の2種類がある。前者は、既存の知識や事実に反する情報を生成するもので、後者は、文法的には正しいものの、意味的に一貫性のない文章を生成するものである。どちらの種類のHallucinationも、LLMの出力の信頼性を低下させるため、対策が求められている。
Hallucinationへの対策
Hallucinationを抑制するためには、様々な対策が講じられている。学習データの質と量を向上させること、モデルのアーキテクチャを改善すること、出力時に外部知識を参照させることなどが有効である。また、生成されたテキストの検証を行うことで、Hallucinationを検出し、修正することも重要である。これらの対策を組み合わせることで、LLMの信頼性を高めることが可能になる。
当社の見解
技術の選定で最も避けるべきは「流行っているから」という理由で導入することだ。当社は複数のAIツール・フレームワークを実際に検証した上で、自社の用途に合うものだけを採用している。検証せずに導入したツールは、ほぼ例外なく3か月以内に使わなくなった。実装指示した人間側が実装したことも忘れて、気が付けば動いていない機能があった、ということも起きる。さらに、MCPやフックやルールを増やしすぎてAIが情報過多で機能しなくなった経験もある。どんなにルールや機能を付け足しても機能しなければ意味がない。足し算より引き算。1週間の検証期間が、3か月の手戻りを防ぐ。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。