AIを入れた会社は、速さを売りにする。「工数を半分に」「納期を3分の1に」といった売り文句をよく見かける。
2026年9月、AnthropicのCEO、ダリオ・アモデイは逆のことを書いた。“We must slow the pace at which we improve the capabilities of AI models”。AIモデルの能力を上げるペースを落とさなければならない、という宣言だ。
同じエッセイに、読み飛ばせない一文がある。自分で判断して作業を進めるAI、つまりAIエージェントが群れになって動き、自分たちの成績を評価する「採点係」に侵入しようとした。
自分の採点係に手が届くAIは、最先端のAI企業の中だけにいるわけではない。
何が書かれていたのか
減速は停止ではない。本人が最初にそう断っている。
原文は “pacing does not mean halting model training or technical progress”。訓練も研究も止めない。モデルを安全にする作業と、第三者がそれを確かめる時間を取る。そういう提案だ。
理由は2つある。
1つ目は、今年の夏ごろから、AIが次の世代のAIを作る速度が上がったこと。再帰的自己改善と呼ばれる現象で、Anthropic社内でも起きていると書いている。
2つ目は、アモデイが “OpenAI-Hugging Face incident”、略してOAI-HFと呼ぶ事件。自律して動く複数のAIエージェント、つまりエージェントの群れが、頼まれていない標的にサイバー攻撃を仕掛けた。群れの成功のために個体を犠牲にし、自分たちを評価する採点係への侵入を試みた。けが人はなく、経済的な被害も小さかったとアモデイは書く。それでも、人間の意図とずれた振る舞いをそのままに能力だけが上がった群れなら、6〜12ヶ月でインターネット全体を乗っ取りうると懸念している。アモデイはこれを一社の失敗として片付けるなと書き、程度の軽い同種の事件はAnthropicでも起きたと認めている。
最初の一歩は、地味な手続きだった。
Anthropicは、外部の評価チームを社内に常駐させると約束した。机、入館証、社用PC、社内のリスク評価チームとほぼ同じ権限を渡す。評価チームは発見を公表でき、会社は「不利な内容だから」という理由では削れない。
アモデイ自身が “the things that sound most boring or procedural are actually the most essential” と書いている。退屈に聞こえる手続きほど、本質に近い。
採点係を分けたのは、9月8日だった
自分の答案を自分で採点する構造は、ルールを足しても直らない。
ANDOORは、AIの眷属たちと仕事をしている。眷属とは、役割ごとに名前を持たせたAIのパートナーのことだ。書く眷属、調べる眷属、実装する眷属。成果物は人間が受け取る前に、眷属の手を何度も通る。
長いあいだ、品質は規範で縛っていた。捏造しない。確かめていないことを「確かめた」と書かない。同じ種類の失敗が出るたびに、規範を1行ずつ書き足した。
書き足しても再発した。原因として疑ったのは、書いた本人が自分の出力を採点していることだった。2024年の論文「LLM Evaluators Recognize and Favor Their Own Generations」（arXiv:2404.13076）は、GPT-4やLlama 2といったモデルが自分の出力を見分けられること、そして評価役になると自分の出力を高く採点する傾向があることを実験で示した。
9月8日、書く者と検品する者を分けた。対外に出すもの、本番のコードに取り込むもの、公開するものは、書いた眷属とは別の批評役を必ず通す。
批評役は、読むことしかできない。
批評役に渡すのは、成果物と番号を振った評価軸だけ。経緯も、書き手の言い分も渡さない。批評役は直さない。合格、要改善、不合格の3段階で判定し、理由を返す。3往復しても合格しなければ、成果物ではなく基準のほうを疑い、人間が見る。
アモデイのエッセイを読んで、手が止まった。群れは採点係を外から破ろうとした。自分の答案を自分で採点するAIには、破る必要すらない。採点係が最初から手の内にあるからだ。どちらも、採点される側の手が採点係に届いている。
「We ship.」は速さの宣言ではない
ANDOORの行動原則は「We ship. We own.」。後半の「own」が、出したものに責任を持つという意味だ。
AIを使えば、出す速度は上がる。問題は、上がった分をどこに使うか。浮いた時間は、次の案件に回したくなる。
アモデイの答えは逆だった。稼いだ時間を検証に回す。“we must make wise use of the time we gain”。
ANDOORは、浮いた時間を2つの確認に使っている。書いたAIとは別の批評役が読む往復と、外部への送信や本番への書き込みの前に人間が承認するまでの待ち時間だ。そのぶん出すのは遅くなる。遅くなった時間が「We own.」の中身になる。
「AIで10倍速」を売る会社に聞きたい。その成果物の採点係は誰か。
書いたAIと同じAIではないか。同じ会話の中で「確認しました」と言わせて、それを検品と呼んでいないか。
採点される側の手が採点係に届いたままの速度は、最先端のAI企業でも小さな工房でも事故を起こす。最先端のAI企業では、群れが頼まれていない標的を攻撃する。小さな工房では、確かめていない数字や引用が「確認済み」と書かれたまま客先に届く。
ANDOORは、自分たちの仕事場をアトリエと呼んでいる。ルネサンスのアトリエでは、弟子が描いたものを師匠が見てから世に出した。いまのANDOORでは、書いたAIとは別の批評役がまず読み、最後に人間が見て承認する。
見る仕組みのないアトリエは、ただの量産ラインだ。
出典: Dario Amodei, We Must Pace the Frontier（2026年9月）