統合メモリ
読み: トウゴウメモリ
統合メモリとはCPUとGPUが共有するメモリ構造
統合メモリとは、CPUとGPUが同一のメモリプールを共有するアーキテクチャ。データのコピー待ち時間がゼロになり、128GB以上の巨大モデルをローカルで動かせる。AppleシリコンやNVIDIA DGX Sparkが採用。
かんたんに言うと
CPUとGPUが「同じ作業台」で仕事する構造。データの引っ越しが不要になるため、処理が圧倒的に速くなる。
データコピー不要による速度革命
従来はCPUのRAMからGPUのVRAMにPCIeバスでデータをコピーする必要があった。統合メモリではCPUとGPUが同じ場所のデータに直接アクセスするため、タイムラグがほぼゼロ。DGX Sparkは128GBの統合メモリでNVLink-C2C接続。PCIe Gen 5の5倍の帯域。
ディスクリートGPUとの使い分け
通常のGPUはVRAMが12〜24GB程度。統合メモリなら128GB以上の巨大LLMをローカルで丸ごとメモリに載せて動かせる。TurboQuantやRotorQuantと組み合わせることで、さらに大規模なモデルをデスクトップで処理可能に。
当社の見解
当社は機密情報のマスキング処理を全てローカルAIで行っている。これにより機密情報を外部に送信せずにAI処理できるようになった。だが、AIが嘘をつくハルシネーションの問題は依然としてある。確認していないのに「確認しました」と言う。当社はこの前提で運用を設計している。事実と推測の強制分離、ファクトチェック機能、3つのAIと人間の同士の三重検証を行っている。どこまでいっても、AIは完璧ではない。理論上100%安全設計をしていても、AIも人間も想定しないことは起こるものだ。その万が一に備えておくことが、AIを使う上では前提になっている。だろうではなく、かもしれない運用がAIを使う上での安全基盤となっている。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。