Soft Promptingとは
Soft Promptingとは、大規模言語モデル（LLM）のプロンプトを最適化する手法の一つである
読み: ソフトプロンプティング
大規模言語モデル（LLM）のプロンプトを最適化する手法の一つである。モデルのパラメータを直接変更するのではなく、入力テキスト（プロンプト）を調整することで、望ましい出力を得ることを目指す。これにより、モデルの汎用性を維持しつつ、特定のタスクに対する性能を向上させることが可能になる。
かんたんに言うと
Soft Promptingは、大規模言語モデルに指示を出す際の言葉遣いを工夫して、より良い結果を引き出す技術である。
Soft Promptingの仕組み
Soft Promptingでは、学習可能な連続的なベクトル（ソフトプロンプト）を、モデルへの入力テキストに追加する。このソフトプロンプトは、特定のタスクやドメインに関する知識をモデルに伝える役割を果たす。モデルは、このソフトプロンプトと入力テキストに基づいて出力を生成するため、より適切な応答が得られるようになる。ソフトプロンプトは、通常、モデルの学習データを用いて最適化される。
Hard Promptingとの違い
従来のプロンプトエンジニアリング（Hard Prompting）では、自然言語を用いてプロンプトを設計する。一方、Soft Promptingでは、自然言語ではなく、連続的なベクトルを用いる点が大きく異なる。Hard Promptingは直感的で理解しやすいが、最適なプロンプトを見つけるのが難しい場合がある。Soft Promptingは、自然言語の制約を受けないため、より柔軟なプロンプト設計が可能になる。
Soft Promptingのメリット
Soft Promptingの主なメリットは、モデルのパラメータを更新せずに、特定のタスクに対する性能を向上させられる点である。これにより、モデルの汎用性を維持しつつ、様々なタスクに対応できる。また、Hard Promptingと比較して、より効率的に最適なプロンプトを見つけられる可能性がある。さらに、Soft Promptingは、自然言語の知識がなくても利用できるため、プロンプトエンジニアリングの専門家でなくても、モデルの性能を改善できる。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。