アンソロピック、Claude Codeの品質低下の背後にある3つのプロダクト層の変更を特定—モデルの問題ではない

ゲートニュース（4月23日）— アンソロピックのエンジニアリングチームは、過去1か月間にユーザーから報告されたClaude Codeの品質低下は、APIや基盤となるモデルの問題ではなく、3つの独立したプロダクト層の変更に起因することを確認した。3つの問題はそれぞれ4月7日、4月10日、そして4月20日に修正され、最終版は現在v2.1.116となっている。

最初の変更は3月4日に発生した。チームは、推論の強度が高いOpus 4.6で、ときおり極端なレイテンシのスパイクが発生するのを抑えるため、Claude Codeのデフォルトの推論エフォートレベルを「high」から「medium」に引き下げた。パフォーマンス低下に関する広範なユーザーの不満を受けて、チームは4月7日にこの変更を元に戻した。現在のデフォルトは、Opus 4.7は「xhigh」、その他のモデルは「high」となっている。

2つ目の問題は3月26日に導入されたバグだった。システムは、会話が1時間以上非アクティブになると古い推論レコードを消去して、セッション復旧コストを下げるよう設計されていた。しかし実装上の欠陥により、消去がその後のすべてのターンで繰り返し実行される一方で、1回だけ実行されるべきところが、そのためにモデルが以前の推論コンテキストを段階的に失っていく原因になった。これは、忘れっぽさの増加、繰り返し操作、異常なツール呼び出しとして現れた。このバグはまた、すべてのリクエストでキャッシュミスを発生させ、ユーザーの利用クォータ消費を加速させた。再現条件を覆い隠す、互いに関係のない2つの社内実験が行われたため、デバッグが1週間以上に及んだ。4月10日に修正した後、チームはOpus 4.7を使って問題のあるコードをレビューし、Opus 4.7ならバグを特定できる一方でOpus 4.6ではできないことを確認した。

3つ目の変更は、Opus 4.7とともに4月16日にリリースされた。チームは冗長な出力を減らすために、システムプロンプトに指示を追加した。数週間にわたる社内テストでは回帰は見られなかったが、リリース後に他のプロンプトとのやり取りを行うと、コーディング品質が低下した。拡張評価では、Opus 4.6と4.7の両方でパフォーマンスが3%低下していることが判明し、4月20日にロールバックが行われた。

これら3つの変更は、異なる時期に異なるユーザーグループに影響し、その組み合わせによって広範で一貫性のない品質低下が生まれ、診断を難しくした。アンソロピックは今後、ユーザーと同じ公開ビルドバージョンを使うために、より多くの社内従業員を必要とし、すべてのシステムプロンプト変更について完全なモデル評価スイートを実行し、段階的ロールアウトの期間を設けると述べた。補償として、アンソロピックはすべてのサブスクリプションユーザーの利用クォータをリセットした。