NPU
読み: エヌピーユー
NPUとはAI専用プロセッサ
NPUは人間の脳の神経回路を模したニューラルネットワークの膨大な計算処理を低消費電力かつ高速で実行するために設計されたAI専用プロセッサであり端末側でAIを動かすオンデバイスAIの普及を牽引する中核技術である。
かんたんに言うと
NPUは、特定の料理だけを猛烈なスピードで作り続ける専門の料理人である。何でも作れる総料理長であるCPUや、大量の単純作業をこなす調理補助のGPUとは違い、AI処理という一品に特化して腕を振るう。
クラウド依存の限界を突破するオンデバイスAI専用チップの必然性
これまでAIの推論処理はAWSやGoogle Cloud上の強力なサーバーに頼りきりだった。だが、すべてのデータをクラウドに投げて結果を待つアーキテクチャは限界を迎えている。通信遅延やサーバーコストが膨れ上がるからである。
そこでエッジAIやオンデバイスAIと呼ばれる、手元の端末で処理を完結させるアプローチが急浮上した。
ただ、既存のチップでは電力を食いすぎる。
スマートフォンのバッテリーが数時間で尽きては使い物にならない。そこでニューラルネットワークの処理に特化し、少ない電力で高速に動くNeural Processing Unitが生まれた。AppleのNeural Engineが先行したが、今やWindows陣営も追従している。クラウドから端末へ、処理の主戦場が移りつつある。
行列演算の並列処理に特化したニューラルネットワーク駆動の仕組み
パソコンの頭脳といえばCPUだが、これは複雑な条件分岐を順番にこなすのが得意な汎用プロセッサである。一方のGPUは、画面描画のために単純な計算を大量に同時並行で行う。AIの学習ブームでNVIDIAのGPUが飛ぶように売れたのは記憶に新しい。
ではNPUの出番はどこにあるのか。
AIの推論、つまり学習済みのモデルを使って回答を生成する際、内部では膨大な行列演算が行われている。NPUはこの行列演算のデータフローを物理的な回路レベルで最適化している。GPUほど電力を浪費せず、CPUよりはるかに速くニューラルネットワークを処理できる。
適材適所という言葉がこれほどしっくりくるハードウェアも珍しい。用途を絞り込んだからこそ得られた性能である。
法務や人事の現場で威力を発揮するローカル処理の実力
実際の業務でNPUはどう活きるのか。
例えば法務部門が扱う未公開のM&A契約書や、人事部門が抱える従業員のメンタルヘルス記録。これらをパブリッククラウドのAIに読み込ませるのは、いくら規約で保護されているとはいえ躊躇する企業が多い。
ここでNPU搭載PCが活きる。
ローカル環境で動く小規模なLLMを使えば、ネットワークを遮断した状態でも契約書の要約や面談記録の構造化が可能になる。Microsoft Copilotのローカル処理機能や、Zoomの背景ぼかしやノイズキャンセリングもNPUの恩恵である。Adobe Creative Cloudの画像生成機能の一部も端末側で処理されるようになり、デザイナーの待ち時間を削っている。機密保持と利便性の両立は、現場の切実な願いである。
低消費電力の代償となる汎用性の欠如と大規模モデルへの不適合
NPUの最大の武器は、優れた電力効率である。出張中の新幹線でローカルAIを回しても、バッテリー残量を気にして冷や汗をかくことは減るだろう。
だが、万能ではない。
NPUは推論処理には強いが、AIモデルを一から鍛え上げる学習フェーズには全く向かない。そこは依然として巨大なGPUクラスターの独壇場である。また、扱うモデルのサイズにも厳しい制限がある。数十億パラメータの軽量モデルなら軽快に動くが、GPT-4クラスの巨大モデルをローカルのNPUで動かすのは物理的なメモリ帯域の壁に阻まれる。
どこまでの処理を端末に任せ、どこからをクラウドに投げるか。この境界線の設計は、システム構築において常に悩ましい。
自社のAI戦略におけるNPU搭載端末の導入判断基準
結局のところ、自社にNPU搭載PCを配備すべきか。
Intel Core UltraやSnapdragon X Eliteを積んだ最新機種は、決して安くない。単にブラウザと表計算ソフトを使うだけの営業担当者に配るのは、明らかなオーバースペックである。
判断の分水嶺は、機密データをAIで処理する頻度にある。
製造業の未発表の設計図面や、経理部門の未監査の財務データなど、外に出せない情報を日常的に扱う部署から優先的に導入するのが現実的である。ハードウェアの更新時期が来た部署から順次入れ替えていくのも手だが、TCOに見合うリターンが得られるかは判断が分かれる。
クラウドの進化も止まっていない。ローカル処理に固執しすぎて、最新のAIモデルの恩恵を取り逃がすリスクも頭の片隅に置いておくべきである。
当社の見解
当社は機密情報のマスキング処理を全てローカルAIで行っている。これにより機密情報を外部に送信せずにAI処理できるようになった。だが、AIが嘘をつくハルシネーションの問題は依然としてある。確認していないのに「確認しました」と言う。当社はこの前提で運用を設計している。事実と推測の強制分離、ファクトチェック機能、3つのAIと人間の同士の三重検証を行っている。どこまでいっても、AIは完璧ではない。理論上100%安全設計をしていても、AIも人間も想定しないことは起こるものだ。その万が一に備えておくことが、AIを使う上では前提になっている。だろうではなく、かもしれない運用がAIを使う上での安全基盤となっている。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。