Doc to LoRAとは
Doc to LoRAとは、Sakana AIが開発した
読み: ドックトゥローラ
Doc to LoRAは、Sakana AIが開発した、文書の内容をLLM（大規模言語モデル）に効率的に反映させるための革新的な手法である。従来のRAG（Retrieval-Augmented Generation）やファインチューニングとは異なるアプローチで、LLMの知識拡張を可能にする。
かんたんに言うと
Doc-to-LoRAは、文書の内容を学習（トレーニング）することなく、LoRA（Low-Rank Adaptation）アダプターとしてLLMに組み込む技術を指す。これにより、特定の文書に関する情報をLLMに迅速かつ柔軟に反映させることが可能となる。
Doc-to-LoRAの仕組み
Doc-to-LoRAは、入力された文書から重要な情報を抽出し、その情報をLoRAアダプターという形で表現する。このLoRAアダプターを既存のLLMに適用することで、LLMは元のLLMの能力を維持しつつ、新しい文書の内容を理解し、活用できるようになる。重要な点として、このプロセスはLLM全体のパラメータを更新するファインチューニングとは異なり、LoRAアダプターのみを調整するため、計算コストが大幅に削減される。
Doc-to-LoRAのメリット
Doc-to-LoRAの主なメリットは、以下の通りである。
迅速な情報反映: 学習（トレーニング）が不要なため、新しい情報をLLMに迅速に反映させることが可能となる。
計算コストの削減: ファインチューニングと比較して、計算コストを大幅に削減できる。
Doc-to-LoRAの活用例
Doc-to-LoRAは、様々な分野での活用が期待される。例えば、企業のナレッジベースをLLMに反映させ、社内faq-automation”faq-automation“FAQの自動生成や、顧客からの問い合わせ対応の効率化“効率化に役立てることができる。また、研究論文の内容をLLMに反映させ、研究支援ツールとしての活用も考えられる。さらに、特定の業界の専門知識をLLMに反映させ、専門的なtask“タスクの実行を支援することも可能となる。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。