情報被害の話ではない

Claude Opus 5.5 の推論低下の指摘、1400件分析の中身

Claude Code を使う開発者が、Opus 5.5 の考え方が11月3日ごろ変わったと指摘。1400セッションの分析の方法と限界、Anthropic の説明の有無、自分で確かめる方法をまとめる。

要点

  • Claude Code を使う開発者の Shane Melaugh 氏が、約1400セッションを分析し、Opus 5.5 の「考え方」が11月3日ごろに急に変わったと X で指摘した。
  • モデル名は同じままだ。中身が変わっても利用者には気づく手段がほとんどなく、そこが信頼の問題になる。
  • ただし、この分析は本人も「科学的に厳密ではない」と認めており、能力が本当に落ちたかは確認されていない。Anthropic の説明は、確認できた範囲では見つけられていない。

何が起きたか

Melaugh 氏は X に、自分の Claude Code のログ約1400セッション(10月9日から11月7日)を AI に分析させた結果を投稿した。名前は同じ Opus 5.5 のまま、推論のしかたが11月3日ごろから大きく変わった、という主張だ。

GIGAZINE が紹介する分析には、変化の指標が多数ある。「I’m」で始まる文の増加、「I should」「I need to」の減少、ダッシュ記号の減少、思考トークンの減少、エラー指標の悪化などだ。ここでは、わかりやすい数字を選んで書く。

まず、作業の最初の操作までに使う思考トークン(モデルが考えるために使う量)の中央値だ。84から54に、約36%減ったとされる。次に、スクリプトの実行やプログラム編集に関するエラー指標で、47%増えたという。そして文の書き出しだ。画面に出る「考え」のうち「I’m」で始まる文が、従来の20〜30%程度から61.3%に増えたとされる。

努力レベル(モデルにどこまで考えさせるかの設定)の差を示す事例も紹介されている。xhigh は約0.85ドルで不具合を直した。同じ不具合を high で試すと、約3時間・約13ドルを使っても直らなかったという。ただし、これは1件の事例だ。

別の見方もある。開発者の Theo 氏は、約45万8000件の応答履歴を調べた。Anthropic が「考え」を要約する仕組みを、アカウントごとに順に切り替えている可能性を指摘している。GIGAZINE によると、切り替えの時期はアカウントで異なり、10月30日から11月4日にわたる。Theo 氏は、自分の環境では能力低下の兆候は見つからなかったと述べたとされる。この見方に立てば、変わったのは画面に出る要約の部分だけかもしれない。Theo 氏の X 投稿は一次情報に近いので、出典に挙げた。

別の報告もある。GitHub の issue #105112 では、ある利用者が自分のログから、10月19日以降は答えが訂正される割合が5.2%から25.4%に増えたと報告している。時期も指標も Melaugh 氏の話とは別で、1人の自己計測だ。この利用者は、Anthropic から返事がないとも書いている。

日本の利用者への影響

日本での被害や影響の報告は、確認できていない。品質が静かに変わるのだとすれば、請求額や作業のやり直しという形で、どの国の利用者にも響きうる。

今すぐやること

  1. 慌てて乗り換えない。能力低下は未確認で、反証にあたる報告もある。
  2. 重要な作業では、AI の出力を、テストとレビューで必ず確かめる。モデルの調子に関係なく必要な習慣だ。
  3. 「最近おかしい」と感じたら、日付・設定・同じ依頼の結果をメモに残す。後で比べられる。
  4. 難しい作業で結果が悪ければ、努力レベルを上げて試す。Melaugh 氏の紹介事例では結果が大きく違った。ただし1件の事例で、費用も増えうる。
  5. Anthropic の公式な告知やステータスページを確認する。確認できた範囲では、この件の説明は見つかっていない。GIGAZINE も、説明や追加の検証が待たれると書いている。

背景

AI の提供側が、同じモデル名のまま設定や配信の仕組みを変えることは、利用者から見えにくい。GIGAZINE によると、Anthropic は2026年4月、Claude Code の品質低下について調べた結果を自ら公表している。過去にそうした経緯があるため、今回のような指摘は信頼の問題として見られやすい。

今回の分析の限界は大きい。1人のログで、分析に使ったのも別の AI だ。文の出だしの変化は、考えの中身ではなく要約の書き方が変わっただけでも起きうる。エラー指標の上昇も、因果までは示していない。

技術者向けの詳細
  • 主張: Melaugh 氏の X 投稿(Gemini 4 Argon による約1400セッションの分析、本人は「not scientifically bulletproof」と表現)。
  • 変化の時刻: 日本時間11月4日の午前3時ごろ(GIGAZINE による)。
  • 比較に使った対話数: 11月3日以前が約14,560、以後が約14,871。思考トークンがない対話は約40.5%。
  • Theo 氏: 約45万8000件の応答で、10月30日〜11月4日にアカウント単位で順に変更。能力低下は見られないとする(報道経由の情報)。
  • GitHub issue #105112: 10月19日前後からの訂正率 5.2%→25.4%(5,738件と900件)。クライアントは 2.1.303 で、システムプロンプトやツール定義のハッシュは前後で同じ。サーバー側の変更を疑っているが、未確認。
  • 自分で確かめる方法: 手元の Claude Code の会話ログから、日付ごとの訂正率・思考トークン量・エラー率を集計して比べる。同じ課題を固定し、努力レベルを変えて繰り返すのもよい。
  • 注意: 出力の変化が、プロンプトやメモリの変更、要約の変更によるものか切り分ける必要がある。

出典

一次情報

報道

参考

記事は、運営者が生成 AI を活用して作成し、内容を確かめたうえで公開しています。 誤りに気づいたら編集方針の連絡先へ。

次に読む

同じタグの記事

情報

Claude Code、既存ゲームの「再現」を断るように Opus 5.5 に指示を追加

Anthropic は、Claude Code で Opus 5.5 を使うときの指示に2文を足し、特定の既存ゲームの再現を避けるようにした。オリジナルやジャンルもののゲームは引き続き作れるとしている。個人開発や同人ゲームへの影響と著作権の考え方を整理する。

#Claude Code#Anthropic#著作権#ゲーム開発#AI エージェント