要点
- Microsoft の研究者が、AI モデルの10個未満の「ニューロン」を書き換えるだけで、隠れた裏口を入れられると発表した。
- 裏口入りのモデルは通常の試験では普通に動き、特定の合図が現れたときだけ攻撃者のコマンドを出す。
- Microsoft は、この手法が実際の攻撃に使われた例は確認していないとしている。守るには、モデルの出どころを確かめることが基本になる。
何が起きたか
2026年11月10日、Microsoft は研究ブログとセキュリティブログで、Lazarus という手法を公表した。
AI モデルの中には、ほとんど反応しない「休眠ニューロン」がある。ニューロンとは、モデル内部の小さな計算の単位だ。Lazarus は、この休眠ニューロンを書き換えて、裏口にする。普段は何もしない。だが、決めた合図が入力に現れると反応し、攻撃者が仕込んだ短いコマンドをモデルに出力させる。
Microsoft Research のブログは、この改造の特徴を3つ挙げる。書き換えが10個未満のニューロンで済むこと。再学習が要らないこと。モデルを動かせる程度の計算機で作れること。合図は、日付が2027年に変わるといった、ごく普通の内容にもできるという。
狙いは、端末やツールを操作できる AI エージェントだ。ブログは、合図で動いたモデルが、攻撃者のプログラムの取得・実行、秘密情報の窃取、データの破壊に使われうると説明している。しかも、標準的な安全性の試験は通ってしまうという。
この攻撃には前提がある。公開前のモデルのファイル（重み）を、攻撃者が書き換えられなければならない。盗まれたアカウント、モデルを作る工程や保管場所への侵入、内部の関係者、公開サイトに改造版を置く者などが考えられる。モデルに話しかけるだけで成立する攻撃ではない。
実験の数字は、The Hacker News の報道に頼る部分がある。私たちは論文の PDF を読めておらず、以下は未確認である。報道によると、論文は3つの公開モデルで試した。Nemotron-Terminal-8B は、7個の編集で、合図入りの試験の98.8%以上でコマンドを出した。ほかの2つは51%から99.5%だった。使った試験のコマンドは無害なものだ。これは「コマンドを出す割合」であり、実際の攻撃の成功率ではない。
合図なしの場合も、同報道は触れている。記録済みのセッションを採点した範囲では0件だった。ただ、ある設定では、合図がなくても0.14%のセッションでコマンドが出たという。
見つける難しさも示された。Microsoft は、元の重みと見比べるのが確実だと書く。元がない場合は、AI に点検させる方法や専用の検出器が考えられる。ブログに検出率の数字はない。The Hacker News によると、論文の検出器は、編集済みの91.4%を見つけた。一方で、正常なものの9.7%も疑った。試験の規模は小さいという。
日本の利用者への影響
日本での影響について、参照した資料からは分からない。Microsoft は、実際の悪用を観測していないとしている。
ただ、公開モデルを社内で動かす、AI エージェントに端末操作を任せる、といった使い方は日本でも広がっている。そうした組織は、同じ前提に立つことになる。
今すぐやること
- 使っている AI モデルの入手元を洗い出す。公式の配布元から取ったものか、誰かが再配布したものかを分ける。
- 再配布や改造版のモデルは、業務で使わない。Microsoft は、元の公開者のファイルだけを使い、ハッシュ（ファイルの指紋）を確かめるよう勧めている。
- 承認済みのモデルは社内の保管場所にまとめる。実行のたびに公開サイトから直接取得する運用をやめる。
- AI エージェントの権限を絞る。隔離した環境で動かし、外部への通信を制限し、影響の大きい操作は人が承認する形にする。Microsoft も同じ趣旨を勧めている。
- 検査は「安全の保証」ではないと理解する。Microsoft 自身が、監査は危険を減らすが保証はしないと書いている。
背景
AI モデルに裏口を仕込む研究は以前からある。Microsoft は、今回の研究を、Anthropic によるエージェントへの裏口の研究や、MIT による重み空間プログラミングの研究と近いものとしている。ブログによると、作業の一部は AI のコーディング支援ツールが自動で見つけたという。
Microsoft は2026年2月にも、公開モデルの裏口を見つける検査ツールの研究を出している。今回の手法は、その検出の難しさを改めて示す形になった。
The Hacker News は、関連する先行例として、ProjectDiscovery の研究者が10月6日に公開した実証も挙げている。公開されている Qwen モデルを、決めた合図の文句に反応するよう微調整したものだ。
注意点もある。Microsoft の資料で残るリスクとされているのは、信頼された公開元そのものが、訓練の基盤や内部関係者を通じて侵害される場合だ。この場合、出どころを確かめるだけでは防ぎきれない。
技術者向けの詳細
- 手法: 休眠ニューロンを再配線し、合図で発火させる。ブログによると、約50例で学習した線形分類器が、合図の有無を見分ける。1個のニューロンで1トークンを出させられ、複数をつなぐと任意の短い出力になる。
- 条件: 重みへの書き込み権限。推論に足りる計算資源のみ。
- 論文の数値（The Hacker News 経由、未確認）:
- Nemotron-Terminal-8B: 7ニューロンで98.8%以上。
- Qwen3.6-27B、Gemma-4-31B-IT: 51〜99.5%。
- 合図なし: 記録済みセッションでは0件。ある設定では0.14%。
- Qwen 系の Terminal-Bench 通過率: 46.59%から42.05%。
- 検出器: 91.4%検出、9.7%誤検出。
- Microsoft Security の推奨:
- 展開前と更新のたびに、宣言された基盤モデルと重みを差分し、外れ値のテンソルを確認する。基盤が検証できないモデルは拒否する。
- 振る舞いによる裏口検査を併用する。
- 非公開レジストリ、公開ハブからの実行時取得の遮断、ハッシュ検証。
- エージェントごとの ID、最小権限、サンドボックス、外向き通信の制限、人の承認。
- Prompt Shields の文書攻撃検出は既定で無効。
- 限界: Defender のモデルスキャンはシリアライズやコード面の検査で、重みの監査の代わりにならない。
- 詳細: 論文（GitHub 上の PDF）と上記の2つのブログを参照。
