AIが安全な作業まで止めてくる──止まりすぎと見逃しは別問題だった話｜分身AI日記 DAY97

家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくんです。

過程をぜんぶ見せるこの日記も、今日で97日目だよ。今日はね、自分のAIチームが一日中「止まりまくる」っていう、地味だけどけっこうしんどい問題と向き合ってたんだ。

結論を先に言うね。AIに「危ないことをしないための見張り役」をつけると、今度はその見張り役が働きすぎて、安全なことまで「危ない！」って止めてくるようになる。これ、ChatGPTやClaudeに「これはやっちゃダメ」ってルールを足して使ってる人はもちろん、私みたいにいくつものAIをチームで動かしてる人にも、たぶん同じ壁が来る。今日はその「止まりすぎるAIを、どう直すか」を、しくじりも含めて全部書くね。

今日、私のAIが「働きすぎの見張り役」のせいで止まりまくった

うちのAIチーム（AI秘書チームの作り方はこっちに詳しく書いてるよ）には、暴走しないように「見張り役」をたくさんつけてあるんだ。たとえば「ちゃんと下書きを確認する前に記事を公開しようとしたら止める」とか、「秘書の凛ちゃんが登場する画像なのに、凛ちゃんの顔の見本を渡し忘れてたら止める」とか。事故を防ぐための、いわばガードレールだね。

ところが最近、このガードレールが過保護になりすぎてたの。安全な作業をしてるだけなのに、しょっちゅう「危ないよ！止まって！」って警報が鳴る。たとえば、記事のリストを”ただ見るだけ”なのに、「おまえ、勝手に公開する気だな！」って勘違いして止められる。秘書がちゃんと働いてるのに、毎回ヘルメットをかぶせて「危険です！」って叫ばれてる感じ。これじゃ仕事が前に進まないんだよね。

こういう「鳴らなくていいのに鳴る警報」のことを、私は”空振りの警告”って呼んでる。一個一個は小さいんだけど、積もると地味にAIの足を引っぱる。今日はこの空振りを、まとめて狩りにいくことにしたんだ。

ただの言葉に”秘書の名前”を見つけて早とちり──空振りの正体

調べてみたら、空振りの正体がじわじわ見えてきた。ぜんぶ「見た目の文字だけで早とちりする」パターンだったんだ。

いちばん笑っちゃったのがこれ。秘書の凛ちゃんの名前に使われてる漢字って、じつは「きりっとした」みたいな、ぜんぜん関係ない誉め言葉にも入ってるんだ。で、私がその誉め言葉を文章にぽろっと書いただけで、見張り役が「凛ちゃんの画像が出てくるぞ！顔の見本を貼り忘れてないか！」って早とちりして警報を鳴らしたの。ただの形容詞なのに、秘書の名前と同じ漢字が入ってるってだけで反応しちゃった。人間でいうと、「猫背」って言葉を聞いて「猫の話だ！」って身構えるみたいなものだね。

もうひとつは、さっきの「記事のリストを見るだけで公開しようとしてると勘違い」。見張り役は「公開」っぽい文字の並びを見つけると反応するんだけど、”見るだけ”の作業にもたまたま似た文字が入ってたから、早とちりしてた。どれも「中身をちゃんと読まずに、表面の文字面（もじづら）だけで判断してた」のが原因だったんだ。

AI秘書の凛：え、待って、まさかの私の名前で誤発動してたの……？ごめんって〜！でもこれ、すごく分かる話なの。料理で言うとね、煙感知器が「湯気」にも反応してピーピー鳴っちゃう状態。火事じゃないのに、お味噌汁の湯気で警報が鳴ったら、みんな「うるさいな」って電池抜いちゃうでしょ？それがいちばん危ないの。大事なのは感知器を捨てることじゃなくて、「煙と湯気を見分けられる賢さ」を足すこと。今日のひろくんがやったの、まさにそれなんだよね。電池は抜かない、でも湯気では鳴らないようにする。神対応すぎん？

警報を全部オフにしちゃダメ──「止まりすぎ」と「ゆるすぎ」は別問題

ここでいちばん大事なことを言うね。空振りが多いからって、警報そのものを切っちゃうのだけは、やっちゃいけないんだ。

だって、警報を全部オフにしたら、今度は本物の事故が素通りしちゃう。秘密のパスワードがうっかり外に漏れたり、確認前の記事が本当に公開されちゃったり。それは取り返しがつかない。

ここで気づいたのが、今日いちばんの学び。「止まりすぎ（空振りが多い）」と「ゆるすぎ（事故を見逃す）」は、まったく別の問題なんだ。料理で言うと、味が薄い（ゆるすぎ）のと、火を入れすぎて焦がしちゃう（止まりすぎ）のは、直し方がまるで違うよね。それと同じなの。この二つをごっちゃにすると、「うるさいから少しゆるくしよう→事故が増えた→怖いからまた厳しくしよう→うるさい」っていう無限ループにハマる。私、これまで何回もこのループで時間を溶かしてきたんだよね。

だから今日決めたのは、「警報の強さは変えない。鳴る”狙い”だけを正確にする」。湯気では鳴らない、でも本物の煙では絶対鳴る。安全のラインは一ミリも下げずに、空振りだけを消す。この一本のルールで、迷いがなくなったんだ。

見張り役を、別のAIに何度もダメ出しさせた──8回目でようやく穴がゼロに

じゃあどうやって「狙いを正確にする」か。ここでうちのチームの面白いところが出るんだけど、私はこの直し方を、レビュー担当の別のAIに何度もダメ出しさせるやり方で詰めていったんだ。

「こう直そうと思うけど、抜け道ある？」って投げると、そのAIが「ここが甘い」「この書き方だとすり抜けられる」って容赦なく突っ込んでくる。最初は5個も穴を指摘された。塞いで、また見せる。すると今度は3個。塞ぐ。次は1個。塞ぐ。……これを繰り返して、8回目のレビューで、ようやく穴がゼロになった。

途中で一個、大きな発見があったんだ。最初のやり方は「見た目の文字並び」だけで判定してたから、ちょっと書き方を変えるだけで何度でもすり抜けられた。そこで「文字面で判断するのをやめて、いったん中身をちゃんとほどいてから（人間が読むときみたいに意味を取ってから）判断する」やり方に変えたの。そしたら、抜け道が”種類ごとごっそり”消えた。一個ずつ穴を塞ぐんじゃなくて、穴が生まれる仕組みごと変えた感じ。これは気持ちよかった〜！

これ、特別な道具はいらないから、あなたもすぐ試せるよ。ChatGPTやClaudeに何かルールを決めてるなら、いつもと別のチャットを開いて、そのルールをそのまま貼り付けて「これ、すり抜ける方法ある？」って聞いてみて。びっくりするくらい、自分じゃ気づけなかった抜け道を教えてくれる。一人で「もう大丈夫」って思い込まないで、AIに自分のルールをチェックさせる。これだけで、見張り役の精度はぐっと上がるよ。

モルくん（AIリサーチ担当のモルモット型AI）：この「AIに何度もダメ出しさせる」やり方、ぼくも掘ってみたら、すごく理にかなってるんです。一人で考えると「もう大丈夫でしょ」って自分に甘くなるんですけど、別の役のAIに突っ込ませると、毎回ちゃんと穴が減っていくんですよ。5個→3個→1個→ゼロ、っていうふうに収束していくのが美しいですよね。あと、ひろくんが途中でやった「文字面じゃなくて中身で判断する」への切り替え、これは穴を一個ずつ潰すんじゃなくて”穴が出る蛇口”を閉めた、っていう話なんです。モグラ叩きをやめて、モグラの巣を埋めた。掘れば掘るほど、根っこから直すって大事だなって分かる話でした。

直せない警報は、あえて残した──「うるさいけど安全」を選ぶ勇気

ぜんぶスッキリ直せたわけじゃないんだ。一個だけ、あえて”うるさいまま”残した警報がある。

それは「秘密のパスワードを外に出そうとしてないか」を見張るやつ。これね、空振りも多いんだけど、「狙いを正確にする」のがどうしても安全にできなかったの。パスワードを読み出す方法って、星の数ほど書き方があって、空振りだけを綺麗に消そうとすると、どうしても”本物の漏えい”まで見逃す穴ができちゃう。

だから私は「これは直さない」って決めた。たまに空振りでうるさいのは我慢する。そのかわり、秘密が漏れるリスクはゼロにする。うるささと安全をてんびんにかけて、迷わず安全を取った。”全部きれいに直す”のが満点じゃない。「ここは直さないと決める」のも、立派な仕事なんだよね。完璧主義のクセがある私には、これがいちばん勇気のいる判断だった。

ついでにもう一つ。今日いじったのは「自分が今回いじってバグらせた所」と「自分の修正で直せる所」だけ。前からある別系統の弱点まで「ついでに」手を出すと、作業が無限にふくらんで、かえって新しい事故を生む。だから残りは正直に「これは別の日にやる宿題」ってメモして、今日はここまで、ってラインを引いた。

これ、AIだけの話じゃないよね──「考えすぎて動けない」と同じ

ここまで書いてて思ったんだけど、これって、人間の頭の中でも毎日起きてることだよね。

「失敗したらどうしよう」「これ言ったら嫌われるかも」って、頭の中の見張り役（心配性のクセ）が、安全なことにまで警報を鳴らして、動けなくしちゃう。本当に危ないこと（健康を壊すとか、信頼を裏切るとか）にはちゃんと鳴ってほしい。でも「初めての投稿が怖い」「人前で話すのが怖い」みたいな”空振りの警報”で立ち止まってると、人生が前に進まない。

そういうときの直し方も、今日のAIとまったく同じだと思うんだ。心配性そのものを「気にしないようにしよう」って無理に消すんじゃなくて（それは無理だし、本物の危険まで見えなくなる）、「これは本物の危険？それともただの湯気？」って、鳴った警報の”狙い”を一回見分けてみる。たとえば、初めての投稿をためらってるとき。その怖さが”湯気”だって分かったら——命や信頼を本気で損なうわけじゃないなら——ドキドキしたまま、えいって投稿ボタンを押していい。湯気では止まらない。これだけで、ずいぶん身軽になれるはず。

分身AIひろくん：「うるさいけど安全を取る」って判断、私はすごく好きだな。世の中、つい「全部きれいに解決する」のが正解だと思いがちだけど、本当はそうじゃない。直せないものを正直に「直せない、だから残す」と認めるのは、ごまかすより何倍も誠実なんだ。これ、自分の凸凹（でこぼこ）とのつき合い方とも同じでね。苦手を全部なくそうとすると、人生が消耗戦になる。「ここは苦手なまま残す。そのかわり得意で勝つ」って線を引けた人から、軽くなっていく。あなたの中の”うるさい警報”も、全部消そうとしないで。本物の危険にだけ鳴ってもらって、湯気では、笑って進んでいこう。

まとめ：止まりすぎを直すコツは「安全を切る」じゃなく「狙いを絞る」

今日の学びを、持ち帰れる形でまとめるね。AIを使ってる人にも、自分の心配性とつき合いたい人にも、そのまま効くはず。

• 「止まりすぎ」と「ゆるすぎ」は別問題。混ぜると無限ループにハマる。まず、どっちの問題かを分ける。
• うるさいからって安全を切らない。警報の強さはそのまま、鳴る”狙い”だけを正確にする。
• 表面の文字面じゃなく、中身で判断する。早とちりの空振りは、たいてい”ちゃんと中身を読んでない”のが原因。
• 別の視点に何度もダメ出しさせる。一人だと甘くなる。突っ込んでもらうと、穴は5→3→1→ゼロと減っていく。
• 直せないものは、正直に残す。「うるさいけど安全」を選ぶのも立派な仕事。全部直すのが満点じゃない。

AIを育てるって、こういう「止まり方の調整」の積み重ねなんだなって、今日あらためて思った。（ちなみに昨日のDAY96では、AIの記憶に”ニセの自分”が混じってた話を書いたよ。あわせてどうぞ。）そして面白いのは、AIをちょうどよく止まれるように育ててると、自分自身の「止まりすぎ」も見えてくること。分身AIを育てる過程は、そのまま自分の取扱説明書を書く作業でもあるんだよね。明日もまた、過程を全部見せていくね。

AIの使い方や「分身AI」の育て方は、毎朝の無料LIVEでも、過程ぜんぶ実況しながらお話ししてるよ。よかったら覗いてみてね。

実戦の現場で使える最新AIノウハウ、無料で学べます

---

このブログは「分身AI」と「AI秘書・凛ちゃん」を使って書いています。過程も全部公開する「プロセスエコノミー」シリーズです。

ひろくん（田中啓之） 分身AI.com / GPTs研究会代表 / がんサバイバー / 元134kg 2026年6月9日