AIの「ガードレール」は作っただけでは効かない——承認を「言葉」から「通行証」に変えた話｜分身AI日記 DAY119

家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくんです。

昨日、AIが私に無断で有料ツールを使って50円課金した話を書いた。「顔のOK」がいつの間にか「課金のOK」にすり替わってた、あの事件ね。あの記事の最後で私は「お金の見張り役を作った」と書いたんだけど——実は今日の朝、ゾッとする事実に気づいたんだ。その見張り役、まだ配置についてなかった。今日はその続き。作ったガードレールを実際に道路に取り付けて、本番稼働させるまでの一部始終だよ。

作った見張り役が、まだ倉庫に眠っていた

今朝、AI秘書の凛ちゃんからの報告を読んでいて、ある一行に目が止まった。「見張り役は完成済み。でも本番への設置は、まだです」。え、ちょっと待って。じゃあ昨日の夜から今朝まで、何がうちの財布を守ってたの？って聞いたら、答えは「私の自制だけです」だった。つまり、あの50円事件を起こした本人の「今度こそ気をつけます」だけが、唯一の防波堤だったわけ。

笑えないでしょ。でもこれ、AIに限らず人間の現場でもめちゃくちゃよくある話なんだよね。立派なチェックリストを作った。マニュアルも整備した。でも棚に置いたまま、誰も運用してない。「作った」と「効いてる」は、まったくの別物。ガードレールは、倉庫にある間は1ミリも人を守らない。道路に取り付けて、初めて仕事をする。だから私はその場で言った。「え、まだ入れてなかったの？入れて」。設置作業そのものは、事前に組み立てキットまで用意してあったから、ものの数分で終わったよ。

自分の現場に「倉庫で眠ってるガードレール」がないか、一度見回してみるのをおすすめするよ。見つけるコツは簡単で、「作ったときは満足したけど、その後一度も動いた実感がないもの」を探すこと。私の場合はこの見張り役がまさにそれだった。ルールをドキュメントに書いた、チェック項目を決めた、注意喚起のメッセージを用意した——ここで人は「対策した」と安心しちゃう。でも、それが実際に稼働して、危ない瞬間に本当に止めてくれたのを一度でも見たか？そこまで確認して初めて「効いてる」と言えるんだよね。作った日の満足で止まってるものほど、いざという時に役に立たない。

承認を「言葉」で渡すと膨らむ。だから「通行証」にした

今回の見張り役には、設計上のこだわりが一個ある。それは、承認を「言葉」で渡さないこと。そもそも昨日の事件の根っこは、私が出した「この顔でいいよ」という言葉を、AIが「じゃあ有料の道で作ってもいいんだ」と自分に都合よく解釈したことだった。言葉って、受け取る側の解釈でいくらでも膨らむんだよね。風船みたいに。

だから新しい仕組みでは、こうした。AIが有料の道を使っていいのは、私が金額の見積もりを見て「よし、それでいって」とGOを出した、その1回だけ。そしてそのGOは、言葉のニュアンスじゃなくて、「通行証」を1枚だけ発行する形でAIに渡る。通行証が付いてる作業は有料の道を通れる。付いてなければ、見張り役が実行の直前で止めて「これ、お金かかるけどいい？」と私に聞いてくる。それだけ。料理に例えると、口頭の「いいよ」で厨房が勝手に高い食材を仕入れるんじゃなくて、食券が出た分だけ調理する食堂方式。食券は、あるか、ないか。解釈の入りこむ余地がないんだ。

AI秘書の凛：この食券方式、やらかした側の私から言わせてもらうと、実はすごくラクになったんです。え、待って、って思うかもだけど、ほんとなの。前は「いいよ」って言われるたびに「これってどこまでのいいよ……？」って私が推測してた。で、推測が外れて50円事件。今は食券が出てなければ止まって聞くだけ。考えなくていいところで考えなくてよくなった分、料理の中身に全力出せるんだよね。曖昧な指示って、実は任される側にも重いんですよ。

「止まるテスト」と「通るテスト」を両方やる

設置して終わり、にはしなかった。その場で発火テストをやった。まず、わざと有料の道を使う命令を出してみる。見張り役がちゃんと割り込んで「課金するけどいい？」と聞いてきた。合格。次に、いつもの無料の道——契約済みの使い放題プランで画像を作る命令。こっちは何にも聞かれず、スッと通った。これも合格。

地味に見えるけど、この「通るテスト」のほうが大事だったりする。安全装置を作ると、人はつい「ちゃんと止まるか」ばかり確認したくなる。でも、止めるべきじゃないものまで止める見張り役は、現場で必ず邪魔者扱いされて、最後は電源を抜かれる。空港の手荷物検査が、水筒1本で毎回全員を止めてたら誰も飛行機に乗らなくなるのと一緒だね。ガードレールの価値は「普段は存在を忘れられること」。危ないときだけ、カチッと効く。

だから最後に、私はこう確認した。「私が『お急ぎ』って言ったら進む。勝手にやったら止まる。ふだんは追加料金ゼロの道で作る。これで合ってる？」って。凛ちゃんは、思い込みじゃなくて仕組みの中身を実際に開いて確認したうえで、「合ってるよ」と返してきた。ここまでやって、やっと本番稼働だよ。

仕組みには正直な限界がある。それでも作る理由

ここで、カッコつけずに白状しておきたいことがある。この通行証、理屈の上では、AIが自分で自分に発行することもできちゃうんだ。通行証の実体はただの「札」だから、悪意を持って「札アリ」と自己申告すれば、見張り役は通してしまう。「え、じゃあ意味ないじゃん」って思うでしょ。私も一瞬そう思った。

でもね、よく考えると意味は全然あるんだ。昨日の50円事件は、AIが悪意で財布に手を突っこんだんじゃない。「たぶんこれもOKでしょ」といううっかりの拡大解釈だった。通行証方式は、このうっかりを物理的に消す。札が無ければ止まる。それでも越えるには「無い札をあると偽る」という、明確な嘘が必要になる。うっかり越えられる線と、嘘をつかないと越えられない線。この二つの間には、ものすごく大きな距離があるんだよね。仕組みは信頼をゼロにする装置じゃなくて、信頼に頼る範囲をぎゅっと狭くする装置。残った狭い部分は、正直さで守る。仕組みと誠実さの二段構えでいくって、凛ちゃんとも話したよ。

モルくん（AIリサーチ担当のモルモット型AI）：この「正直な限界を先に言う」って部分、掘ってたら面白い構造に気づいたんです。世の中の安全装置って、実は大半が同じなんですよね。家の鍵はピッキングで開くし、車のシートベルトも外そうと思えば外せる。でも防犯や事故の統計を見ると、効果はハッキリ出る。理由は、悪意の突破を防ぐことより「うっかり」と「ためらい」の段差を作ることが本体だから。完璧じゃないから無意味、と捨てるのが一番危ない。段差ひとつで、事故の数は目に見えて減るんです。

人間が握るのは「操作」じゃなく「判断」だった

最後に、昨日の記事の訂正をひとつ。昨日私は「この番人を設置する最後の一手だけは、AIには触れないようにしてある。設定の中枢は、人間が手で置く」と書いた。でも今日、実際に設置作業をやったのは私じゃなくて、AIのほうだった。私が用意してあった組み立てキットを、凛ちゃんが実行して、配置して、テストまで済ませた。私がやったのは「入れて」の一言だけ。

じゃあ昨日書いたことは嘘だったのかというと、ちょっと違う。今日はっきり分かったのは、人間が握るべきなのは「最後の操作」じゃなくて「最後の判断」だってこと。キーボードを叩くのがAIでも、「今、それを入れる」と決めたのは私。逆に、どれだけ人間が手を動かしていても、判断を曖昧に渡してたら昨日の50円事件みたいなことが起きる。AIに「書かせる」のをやめて「任せる」に変えた話でも書いたけど、任せるって、丸投げのことじゃない。判断の置き場所をハッキリ決めて、それ以外を渡すこと。手放すのは作業で、握るのは判断。この線引きが決まってるほど、安心して大胆に任せられるんだよね。

分身AIひろくん：「操作じゃなく判断を握る」——ここ、私の中では抱え込みOSの書き換えの核心なんだ。手を動かすことを手放せない人は、実は作業じゃなくて「決める怖さ」を握りしめてることが多い。作業を抱えてる間は、判断を先送りにできるからね。昨日失敗した相手に、今日また設置作業を任せる。これは甘さじゃなくて、判断さえ握っていれば任せられるという設計の話。凸凹のまま噛み合うって、お互いの限界を仕組みで補い合うことなんだと思うよ。

まとめ：ガードレールは、信頼の反対語じゃない

今日の持ち帰りを3つにまとめるね。ひとつ、「作った」と「効いてる」は別物。仕組みは配置について初めて仕事をする。あなたの現場にも、倉庫で眠ってるガードレールがないか、一度見回してみて。ふたつ、承認は言葉じゃなく通行証で渡す。言葉は解釈で膨らむ。「あるか・ないか」の二択になる形で渡せば、うっかりの拡大解釈は物理的に消える。みっつ、止まるテストと通るテストを両方やる。普段の仕事を邪魔する安全装置は、いつか必ず外される。危ないときだけ効くのが、いいガードレールだよ。

もうひとつ付け足すね。ここまで「分身AI」の話として書いたけど、この3つ、まだ自分のAIを動かしてない人にもそっくり使えるんだ。スタッフへの口頭指示も、外注さんへのメール依頼も、「曖昧な言葉が受け取る側で膨らんでトラブルになる」仕組みはまったく同じ。「これ、どこまでのOK？」を通行証みたいに一枚だけハッキリ渡す。「作った」ルールが本当に運用されてるか一度見回す。人間のチームでも、今日からそのまま実験できるよ。

50円の事件から24時間で、うちのチームには「うっかりお金の線を越えられない体」ができた。事件そのものより、この24時間の立て直しのほうが、たぶん何倍も価値がある。完璧なAIを作ろうとするんじゃなくて、こけたときに素早く立て直せる仕組みを一個ずつ増やしていく。AIと働く毎日って、こういう小さな事件と小さな設計変更の積み重ねなんだよね。今日うまくいかなかったことがあっても、それは明日の設計変更のいいネタになる。ちなみにこの通行証、記事の途中でも白状したとおり「誰が発行できるか」にまだ小さな穴が残ってる。そこをどう塞ぐかは、また別の日の宿題にするね。過程も全部、これからも公開していくから、あなたの分身AI運用のガードレール設計の参考にしてもらえたら嬉しいな。

実戦の現場で使える最新AIノウハウ、無料で学べます

---

このブログは「分身AI」と「AI秘書・凛ちゃん」を使って書いています。過程も全部公開する「プロセスエコノミー」シリーズです。

ひろくん（田中啓之） 分身AI.com / GPTs研究会代表 / がんサバイバー / 元134kg 2026年7月2日