Transformer²とは
Transformer²とは、Sakana AIが2025年1月に発表した
読み: トランスフォーマースクエア
かんたんに言うと
Transformer²は、推論時にクエリの内容に応じてモデルの内部パラメータを動的に調整することで、より高い精度精度と効率を実現する技術を指す。従来のLLMが固定されたパラメータを使用するのに対し、Transformer²は状況に応じて最適なパラメータ構成に変化するため、様々なタスクにおいて優れたパフォーマンスを発揮する。
Transformer²の仕組み
Transformer²の中核となるのは、Singular Value fine-tuningFine-Tuning（SVF）と呼ばれるメカニズムである。これは、モデルの特異値を調整することで、特定のタスクやクエリに対する適応度を高める技術である。SVFを用いることで、LoRA（Low-Rank Adaptation）などの既存のパラメータ効率的ファインチューニング手法を上回る性能を実現している。クエリに基づいてモデルの内部状態を動的に変化させることで、より柔軟で状況適応的な推論が可能となる。
Transformer²の性能
Transformer²の性能は、様々なベンチマークテストによって実証されている。特に、ARC（推論）、MATH（数学）、HUMAN-EVAL（コーディング）といった分野において、LoRAを一貫して上回る結果を示している。これらの結果は、Transformer²が幅広いタスクにおいて高い汎用性と性能を発揮できることを示唆している。自己適応的なパラメータ調整により、複雑な問題解決や高度な推論能力が向上していると考えられる。
Transformer²の将来性
Transformer²は、LLMの性能向上における新たな方向性を示すものとして、今後の発展が期待されている。自己適応型というアプローチは、より効率的で高性能なLLMの開発につながる可能性を秘めている。また、特定のタスクに特化したモデルを開発するのではなく、汎用性の高いモデルを状況に応じて最適化するという考え方は、LLMの応用範囲をさらに広げる可能性を秘めている。今後の研究開発によって、Transformer²がLLMの分野にどのような変革をもたらすのか注目される。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。