On-premise
読み: オンプレミス
オンプレミスとは自社AI運用
オンプレミスとは自社の施設内に専用のサーバー機器を設置し外部ネットワークから独立した安全な環境でAIモデルを構築および運用するシステム形態を指す。
かんたんに言うと
自宅の敷地内に専用の発電機を置くようなものである。外部の電力網がダウンしても動き続けるが、燃料の調達からメンテナンスまですべて自前でやらなければならない。
データを社外に出さない絶対的な優位性を持つオンプレミスの基本概念
クラウドコンピューティング全盛の時代に、わざわざ自社内に物理サーバーを置く。SaaSの手軽さに慣れきった層からすれば時代錯誤に映るかもしれない。
だが、ローカル環境でのAI運用は特定の条件下で絶対的な優位性を持つ。
外部ネットワークに一切データを外出ししない。この一点に尽きる。法務部門が扱う未公開のM&A契約書や、製造現場の歩留まりデータなど、絶対に漏洩が許されない情報を処理する場合、クラウドの利用規約をいくら読み込んでも不安は拭えない。物理的に遮断された環境で動かすしかないのである。一度でも外部のサーバーを経由すれば、その時点でコントロールを失う。自社の敷地内でデータを処理し完結させるという選択は、データを人質に取られないための防衛策でもある。
オンプレミス型AIが稼働する仕組みと必要なインフラ
自社でAIを動かすには強靭なハードウェアが要る。
具体的にはNVIDIAのハイエンドGPUである。H100を搭載したサーバーを数台調達するだけで数千万円が飛んでいく。さらにそれを冷却するための空調設備や、安定した電源供給網も自前で用意しなければならない。
閉域網の中でモデルを動かす仕組み自体はシンプルである。インターネットから切り離されたネットワーク内で、推論用のサーバーを立ち上げ、社内の端末からAPIを叩く。
ただ、インフラの構築と維持は想像以上に泥臭い。GPUのドライバ更新で環境が壊れることは日常茶飯事である。バージョン依存の沼にハマり、数日間システムが停止することも珍しくない。インフラエンジニアの胃に穴が空く現場を何度も見てきた。
オンプレミス環境で活用される主要AIツールと導入事例
自社サーバーにインストールして使うモデルの選択肢は増えた。
MetaのLlama 3やMistral AIのオープンモデルをローカルで動かすケースが多い。パラメータ数が70Bクラスのモデルでも、量子化すればなんとか自社サーバーのメモリに収まる。
NVIDIA AI Enterpriseのような商用プラットフォームを導入し、エンタープライズ水準のサポートを受けながら運用する企業もある。
ある製薬会社では、新薬の分子構造データを解析するためにオンプレミスでLlamaをファインチューニングして使っている。機密の塊である創薬データを外部に出すわけにはいかないからである。用途に合わせてどのモデルをローカルに落とし込むか。モデルの選定は常に悩ましい。
自社運用がもたらすセキュリティの利点とコストの壁
情報漏洩リスクを物理的にゼロに近づけられる。コンプライアンス要件が厳しい業界ではこれだけで導入の理由になる。
だが、コストの壁は厚い。
初期投資だけでなく、膨大な電気代や保守要員の人件費といったランニングコストが重くのしかかる。TCOを計算すると、クラウドの数倍に跳ね上がることも珍しくない。
ハードウェアの陳腐化も早い。3年前に数千万円で買ったGPUが、最新モデルの足元にも及ばなくなる。この投資サイクルをどう正当化するか。経理部門との折衝は常に難航する。最新のAIを追い求めるほど、オンプレミスの設備投資は底なし沼の様相を呈してくる。
クラウドかオンプレミスか自社に最適なAI環境を選ぶ基準
すべてのシステムをオンプレミスに戻す必要はない。
人事部門が扱う従業員のメンタルヘルス情報や、法務の訴訟リスク評価など、情報セキュリティポリシー上クラウドに出せないデータだけをローカルで処理する。それ以外の一般的な業務はクラウドに任せる。ハイブリッドクラウドの構成が現実的な落としどころになることが多い。
自社のデータにどれだけの価値があり、それを守るためにいくら払えるか。
ROIの算出は一筋縄ではいかない。リスクを金額に換算する基準は企業によって判断が分かれる。守るべきデータと捨てるべきデータを仕分けられない企業に、オンプレミスのAIを運用する資格はない。
当社の見解
当社はツール選定において実用性を第一方針にしている。カタログスペックやベンチマークスコアではなく、実務で1週間使い倒して初めて判断する。フレームワークを増やすほど管理コストが増える経験もした。フックを増やしすぎてAIが情報過多でパニックになったこともある。足し算だけでなく、引き算の判断が選定の質を決める。検証せずに導入したツールは、ほぼ例外なく3か月以内に使わなくなった。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。