NVIDIA DGX Spark
読み: エヌビディア・ディージーエックス・スパーク
NVIDIA DGX Sparkとはデスクトップ型AIスーパーコンピューター
NVIDIA DGX Sparkとは、AIモデルの開発・検証をローカル環境で行うためのパーソナルAIスーパーコンピューター。GB10 Grace Blackwell Superchipを搭載し、FP4で最大1 PetaFLOPSの演算性能を持つ。128GBの統合メモリで200Bパラメータモデルの推論が可能。
かんたんに言うと
手のひらサイズに近い筐体に、データセンター級のAI計算能力を詰め込んだ製品。自分のデスクの上でLLMを動かせる。
GB10 Grace Blackwell Superchipの性能
本体サイズは150mm×150mm×50.5mm、重量約1.2kg。20コアArm CPUとBlackwellアーキテクチャGPUを統合した「GB10 Grace Blackwell Superchip」を搭載している。
FP4データ形式で最大1 PetaFLOPSの演算性能を叩き出す。128GBのLPDDR5x統合メモリ（帯域幅273 GB/s）をCPUとGPUで共有するアーキテクチャで、最大200Bパラメータの推論と、最大70Bパラメータのファインチューニングに対応する。
2台クラスタとローカルLLMの実用性
ConnectX-7を搭載しており、専用ケーブルで2台のDGX Sparkを接続すれば合計256GBメモリのクラスタを構成できる。
クラウドにデータを送らずにローカルLLMを運用できるため、機密データを扱う法務部門や研究機関にとっては魅力的な選択肢になる。ただし、学習済みモデルの推論が中心であり、大規模な事前学習には向かない。この製品の立ち位置は「PoC環境の民主化」だろう。
当社の見解
当社は機密情報のマスキング処理を全てローカルAIで行っている。これにより機密情報を外部に送信せずにAI処理できるようになった。だが、AIが嘘をつくハルシネーションの問題は依然としてある。確認していないのに「確認しました」と言う。当社はこの前提で運用を設計している。事実と推測の強制分離、ファクトチェック機能、3つのAIと人間の同士の三重検証を行っている。どこまでいっても、AIは完璧ではない。理論上100%安全設計をしていても、AIも人間も想定しないことは起こるものだ。その万が一に備えておくことが、AIを使う上では前提になっている。だろうではなく、かもしれない運用がAIを使う上での安全基盤となっている。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。