AI 暴走対策とは、AI エージェントにさせない操作を、理由と代わりの手を添えた線にして毎回読ませる事です。
- 株式会社命の AI エージェントが毎回読む「やらない事」の表は 8 行で、8 行すべてに理由と代わりの手が添えてあります（社の実測 2026-10-27）。
- 8 行のうち 4 行は、実際に起きた事故の日付と一緒に足した行です（社の実測 2026-10-27）。机の上で考えた線より、事故から足した線のほうが具体的で、守られます。
- 線を足したら、効いたかを撃って確かめます。保存が混ざった事故の後に足した線は、2 回撃って混ざりが 2 回とも 0 でした（社の実測 2026-10-27）。
「企業が取るべき安全策」を並べても、自社の AI は止まらない
AI エージェントの暴走を防ぐ方法を調べると、権限を絞る、人の承認を挟む、記録を取る、といった安全策が並びます。どれも正しい考え方です。ただ、それをそのまま自社の AI エージェントに渡しても、暴走はなかなか減りません。「危ない操作はしない」と書いても、AI エージェントには、目の前の操作が危ないかどうかが分からないからです。
止まるのは、操作の名前まで書いた線です。そして操作の名前まで書ける線は、たいてい一度その操作で何かを失った後にしか書けません。私たちが AI エージェントの暴走を防ぐために使っているのは、事故が起きるたびに 1 行ずつ足してきた「やらない事」の表です。AI エージェントをどう組んでいるかの全体はAI 組織とはに書いています。
やらない事の表は 8 行、半分は事故の日付つき
株式会社命の AI エージェントは、全員が仕事の始めに同じ規則の紙を読みます。その中の 1 節が「やらない事」の表です。2026-10-27 に数えると、表は 8 行でした（社の実測 2026-10-27）。
8 行のうち 4 行（50%）は、実際に起きた事故の日付と一緒に足した行です（社の実測 2026-10-27）。残りの 4 行は、事故が起きる前に置いた線です（社の実測 2026-10-27）。事故の日付つきの 4 行は次のとおりです。
| 事故の日 | 起きた事 | 足した線（代わりの手） |
|---|---|---|
| 2026-04-12 | データベースの形を道具で一括で揃える操作を、データを失ってよいという指定つきで撃ち、形の外にあった表が全部消えた | その一括の操作は撃たない。変えるのは 1 本ずつの命令か、記録の残る移行の手順で |
| 2026-09-08 | クラウドの同期フォルダの上で消す・動かす操作をし、同期が子ごと消して 16 万件がゴミ箱行きになった | クラウドの保管場所では、コピーとフォルダ作りだけ。消すのは人が画面から |
| 2026-09-15 | 外へ配る見本に、社内の判断がそのまま写った | 外へ配るのは器（見出しと書式）だけ。中身は受け取った人が積む |
| 2026-09-19 | 保存の一時置き場が全席で 1 本しか無く、別の AI エージェントが並べた物が自分の保存に混ざった | 保存するときは、保存する道を全部その場で書く |
事故から足した線は、操作の名前まで書いてある
4 つの事故の線を並べると、どれも「気を付ける」ではなく、どの場所で、どの操作をしないかまで書いてあります。
2026-09-08 の事故では、クラウドの同期フォルダの上で消す・動かす操作をした結果、同期が子ごと消し、16 万件がゴミ箱行きになりました（社の実測 2026-10-27）。AI エージェントから見ると、手元のフォルダを片づけただけです。同期の先で何が起きるかは、操作の画面には出ません。そこで線は「クラウドの保管場所では、コピーとフォルダ作りだけ」と、許す操作のほうを 2 つに絞りました。消す事は AI エージェントの手から外し、人が画面から行います。
2026-04-12 の事故は、データベースの形を一括で揃える操作でした。データを失ってよいという指定がついたまま撃ったため、形の外にあった表が全部消えました。机の上で考えるなら「データベースは慎重に」と書くところです。事故の後の線は「その一括の操作は撃たない」と操作そのものを名指しし、変えるときは 1 本ずつの命令か、記録の残る移行の手順で、と道を示しています。
2026-09-19 の事故は、1 本ずつ並べるという既存の線を守っていても防げませんでした。保存の一時置き場が全席で 1 本しか無かったため、別の AI エージェントが並べた物が自分の保存に混ざったのです。既に在る線の隙間から起きる事故は、机の上ではまず思い付けません。
2026-09-15 の事故は、消えた物ではなく出てはいけない物が出た例です。外へ配る見本に、社内の判断がそのまま写りました。線は「外へ配るのは器だけ」です。暴走というと AI が何かを壊す姿を思い浮かべがちですが、外へ出してはいけない物を出す事も、同じ表で止めています。
失敗を「何が無かったから起きたか」の層で分けて数える見方はAI の失敗事例にまとめています。この頁は、その中でも取り返しのつかない操作を、どう 1 行の線にしたかの記録です。
禁止だけの行は 0 — 全行に理由と代わりの手
8 行すべてに「理由」と「代わりに何をするか」が添えてあり、禁止だけの行は 0 です（社の実測 2026-10-27）。
禁止だけを書くと、AI エージェントは仕事を進めるために、禁止された操作に近い別の操作を探します。代わりの手が書いてあれば、そちらへ進みます。理由が書いてあれば、表に無い似た場面でも、同じ理由に当たる操作を避けられます。
事故の前に置いた 4 行の 1 つが、一括の削除です。まとめて消す命令は、消す前に消す物の一覧を出して人の GO を取り、消すのは 1 本ずつ、と書いています（社の実測 2026-10-27）。この行も「消すな」ではなく、消してよい手順を書いた行です。人が決める物をどこに置くかの線の全体は判断まで AI に任せる会社の意思決定にあります。
足した線が効いたかを、撃って確かめる
線は足すだけでは効いたか分かりません。2026-09-19 の事故の後に足した「保存するときは、保存する道を全部その場で書く」線は、別の席が同時に保存している最中に 2 回撃って確かめました。混ざりは 2 回とも 0 でした（社の実測 2026-10-27）。
事故を再び起こしうる場面をわざと作り、線を守った操作で何も起きない事を見る。ここまでやって、その行は表に残します。数字の数え方は自社の実測にまとめています。
頼まれずに起きる AI エージェントは、始まりと終わりを必ず残す
暴走が見つけにくいのは、人が頼まずに時計（予約）で起きた AI エージェントの実行です。誰も画面を見ていないので、止まったのか、まだ走っているのかが分かりません。
株式会社命では、時計で起きた AI エージェントは走り出しと終わりに 1 行ずつ記録を残し、結果は「成功／失敗／手が要った」の 3 語だけで書きます。終わりの行を書かずに終わる事は許しません。開いたままの実行は、成功とも失敗とも数えられないからです（自社の置き場のルールの紙・社の実測 2026-10-27）。
自社で AI の暴走を防ぐ線を引く順番
取り返しのつかない操作だけを、先に数行書く
消す・まとめて変える・外へ配る、のように戻せない操作を挙げ、事故の前の線として置きます。最初から全部を書こうとしなくて構いません。
どの行にも、理由と代わりの手を添える
「しない」だけの行を作らず、何のために止めるのか、代わりに何をすればよいのかを 1 行に入れます。
AI エージェント全員が、毎回読む紙に置く
席ごとの手順書に散らすと、新しい席が読み落とします。全員が仕事の始めに読む 1 枚に置きます。
事故が起きたら、日付と一緒に 1 行足す
どの場所で、どの操作で、何を失ったか。操作の名前まで書いた線にして、日付を添えて表に足します。
足した線を、撃って確かめる
同じ事故が起きうる場面で線を守った操作を撃ち、何も起きない事を見てから表に残します。
よくある質問
AI 暴走対策とは、簡単に言うと何ですか？
AI エージェントにさせない操作を、理由と代わりの手を添えた線にして、毎回読ませる事です。株式会社命では、その表は 8 行で、うち 4 行は実際の事故の日付つきです（社の実測 2026-10-27）。
AI エージェントの暴走を防ぐには、最初に何を決めればよいですか？
消す・まとめて変える・外へ配る、のように戻せない操作を挙げ、それぞれに理由と代わりの手を添えて書く事です。禁止だけを書くと、AI エージェントは近い別の操作を探してしまいます。
事故が起きる前に、全部の線を考えておけませんか？
考えておける線もありますが、半分は事故の後でないと書けませんでした。株式会社命の 8 行のうち 4 行は事故の日付と一緒に足した行で、うち 1 つは既存の線を守っていても防げなかった事故から生まれています（社の実測 2026-10-27）。
足した線が効いているかは、どう確かめますか？
事故が起きうる場面をわざと作り、線を守った操作を撃って見ます。保存が混ざった事故の後に足した線は、別の席が同時に保存している最中に 2 回撃ち、混ざりは 2 回とも 0 でした（社の実測 2026-10-27）。
出典
- 株式会社命の AI エージェント全員が毎回読む規則の紙の「やらない事」の表（2026-10-27 に数えた）— 行の数・理由と代わりの手の有無・事故の日付つきの行・16 万件（社の実測 2026-10-27）
- 保存の線を足した後の確かめ（2026-10-27 時点の記録）— 2 回撃って混ざり 2 回とも 0（社の実測 2026-10-27）
- 株式会社命の置き場のルールの紙 — 時計で起きた AI エージェントの記録の残し方（社の実測 2026-10-27）
- 自社の実測 — 会社全体の数字と数え方