SLM
読み: エスエルエム
SLMとは軽量AIモデルの実力
SLMはパラメータ数を意図的に抑えることでスマートフォンや自社サーバー環境でも高速かつ低コストで動作するよう設計された小規模言語モデルである。
かんたんに言うと
巨大な図書館の全蔵書を持ち歩くのではなく、特定の専門分野のハンドブックだけをポケットに入れて現場に向かうようなものである。
クラウド依存から脱却するSLM小規模言語モデルの基本概念
GPT-4やClaude 3のようなLLMは確かに賢い。だが、数千億のパラメータを動かすために莫大なクラウド費用と通信遅延を許容できる現場がどれだけあるだろうか。物流倉庫のハンディターミナルや製造ラインの検査機器で、いちいちクラウドに問い合わせて数秒待たされるのは致命傷になる。ここでSLMが活きる。エッジコンピューティングの文脈で、端末側で完結して推論を回せる軽さが最大の武器である。通信が途絶しても止まらない。外部のサーバー障害に巻き込まれることもない。この独立性と安心感は、24時間稼働を前提とする現場の運用担当者にとって何より代えがたい。
限られた計算資源で精度を絞り出す技術的仕組み
モデルサイズを削れば当然アホになる。そう思っていないだろうか。実はそうでもない。知識蒸留という手法で、巨大モデルの優秀な推論パターンや論理展開のプロセスを小さなモデルに叩き込むことができる。さらに量子化によって計算精度を意図的に落とし、メモリ消費を劇的に下げる。この状態で自社の専門データを使ってファインチューニングをかける。するとどうなるか。特定の業務に限れば、巨大モデルと遜色ない回答を叩き出すようになる。ただ、このチューニングの塩梅が非常に悩ましい。特定のタスクに過剰に適合させすぎると、元の汎用的な推論能力が崩壊して使い物にならなくなるからである。
法務や経理の現場で躍動する代表的モデル
MicrosoftのPhi-3はスマートフォンでも動く軽さでありながら、論理推論のベンチマークで驚異的なスコアを叩き出した。GoogleのGemmaやMetaのLlama 3の軽量版も、オープンモデルとして猛威を振るっている。これらをどこで使うか。例えば法務部門の契約書チェックである。機密情報の塊である未発表の契約データを外部のAPIに投げるのは正気の沙汰ではない。社内の閉じたネットワークでGemmaを動かし、過去の契約書データでチューニングする。経理部門の領収書読み取りと費目推論も同様である。外部に出せないデータを扱うなら、これ一択になる。
オンプレミス運用における限界と導入の分水嶺
ランニングコストを抑え、データプライバシーを完全に守れる。オンプレミスでのSLM運用は理想的に見えるかもしれない。だが現場の落とし穴は深い。SLMは知らないことを適当にでっち上げるハルシネーションの頻度がLLMより高い。広範な一般知識を削ぎ落としているのだから当然である。PoCの段階で特定のタスクに極限まで絞り込まないと、もっともらしい嘘を吐き続けるガラクタが完成する。ROIを計算する際、初期の学習コストやインフラ構築費をどう見積もるか。クラウドのAPIを叩き続ける費用と、自社でSLMを飼い慣らす手間のどちらを取るべきか。この判断は常に分かれる。
当社の見解
当社は機密情報のマスキング処理を全てローカルAIで行っている。これにより機密情報を外部に送信せずにAI処理できるようになった。だが、AIが嘘をつくハルシネーションの問題は依然としてある。確認していないのに「確認しました」と言う。当社はこの前提で運用を設計している。事実と推測の強制分離、ファクトチェック機能、3つのAIと人間の同士の三重検証を行っている。どこまでいっても、AIは完璧ではない。理論上100%安全設計をしていても、AIも人間も想定しないことは起こるものだ。その万が一に備えておくことが、AIを使う上では前提になっている。だろうではなく、かもしれない運用がAIを使う上での安全基盤となっている。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。