In Context Learning (ICL)
読み: インコンテキストラーニング
In-Context Learning (ICL)とは
In-Context Learning (ICL)は、大規模言語モデル（LLM）が、明示的な学習やパラメータ更新なしに、プロンプトに含まれる文脈（コンテキスト）からタスクを学習し、実行する能力のことである。少数の例（few-shot）や指示をプロンプトに含めることで、モデルは新たなタスクに適応できる。この手法は、特にファインチューニングが難しい場合や、データが限られている場合に有効である。
かんたんに言うと
In-Context Learningは、大規模言語モデルに例を見せるだけで、新しいタスクを学習させる方法である。
In-Context Learningの仕組み
In-Context Learningは、プロンプトにタスクの例や指示を含めることで機能する。大規模言語モデルは、これらの例からパターンを認識し、同様のタスクを実行できるようになる。モデルは、プロンプトに含まれる情報を利用して、自身の内部知識を調整し、適切な応答を生成する。このプロセスは、モデルのパラメータを更新することなく行われる点が重要である。
In-Context Learningの利点
In-Context Learningの主な利点は、柔軟性と効率性である。特定のタスクのためにモデルをファインチューニングする必要がないため、時間と計算資源を節約できる。また、少数の例から学習できるため、データが限られている場合でも有効である。さらに、In-Context Learningは、モデルの汎化能力を高める可能性も秘めている。
In-Context Learningの課題
In-Context Learningには、いくつかの課題も存在する。プロンプトの設計が重要であり、適切な例や指示を提供する必要がある。また、モデルのサイズやアーキテクチャによって、In-Context Learningの性能が大きく左右される。さらに、モデルがプロンプトに含まれるノイズや誤った情報に影響を受けやすいという問題も存在する。
当社の見解
自然言語処理は英語中心で発展してきた技術だ。日本語で使うと、英語では起きない問題に頻繁にぶつかる。このAI用語集1,500ページを日本語で生成・運用する中で経験したのは、トークン化の方式によって出力品質が大きく変わること。英語のベンチマークで高得点のモデルが、日本語では使い物にならないケースがある。日本語で使うなら、日本語で検証してから選ぶべきだ。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。