GGUF
読み: ジー・ジー・ユー・エフ
GGUFとは
GGUFは、大規模言語モデル（LLM）を扱うためのファイル形式である。特にCPU環境での推論に最適化されており、以前のGGML形式に代わるものとして登場した。モデルのロード、保存、共有を容易にする目的を持つ。
かんたんに言うと
GGUFは、LLMをCPUで動かしやすくするための新しいファイル形式である。
GGUFの概要
GGUFは、GGML形式の課題を解決するために開発された。GGMLは、モデルの構造や重みを保存するために使用されていたが、拡張性やメタデータの管理に限界があった。GGUFは、これらの問題を克服し、より柔軟で効率的なモデルの取り扱いを可能にする。これにより、様々なハードウェア環境でのLLMの利用が促進される。
GGUFの利点
GGUF形式の主な利点は、CPU環境での高いパフォーマンスである。特に、少ないリソースでLLMを実行する必要がある場合に有効また、メタデータを豊富に含めることができるため、モデルに関する情報を詳細に管理できる。さらに、拡張性が高く、新しい機能やアーキテクチャへの対応が容易である。
GGUFの利用
GGUF形式のモデルは、llama.cppなどのライブラリを通じて利用できる。これらのライブラリは、GGUF形式のモデルをロードし、推論を実行するためのAPIを提供する。GGUF形式のモデルは、Hugging Face Hubなどのプラットフォームで公開されており、簡単にダウンロードして利用を開始できる。今後、GGUFはLLMの標準的なファイル形式の一つになると考えられる。
当社の見解
技術の選定で最も避けるべきは「流行っているから」という理由で導入することだ。当社は複数のAIツール・フレームワークを実際に検証した上で、自社の用途に合うものだけを採用している。検証せずに導入したツールは、ほぼ例外なく3か月以内に使わなくなった。実装指示した人間側が実装したことも忘れて、気が付けば動いていない機能があった、ということも起きる。さらに、MCPやフックやルールを増やしすぎてAIが情報過多で機能しなくなった経験もある。どんなにルールや機能を付け足しても機能しなければ意味がない。足し算より引き算。1週間の検証期間が、3か月の手戻りを防ぐ。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。