AI自動化で「ここだけは人間が押す」線を先に決めた話｜分身AI日記 DAY164

家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくんです。

今日はちょっとヒヤッとした話、っていうか正確には「ヒヤッとしたのは私じゃなくてAIの方だった」話をするね。うちのAIチームが、月曜13時のAI経営術LIVEの配信予約を、フォーム入力まで完璧にやったのに、最後の「予約する」ボタンだけ押さずに止まったんだよ。……で、これがバグかと思いきや、ちゃんと調べたら違ったんだよね。ぶっちゃけ、最初の一報を見た時は「あ、これは中身をちゃんと見ないとな」って思ったんだけど、確認したらこれがなかなか興味深い止まり方だったんだよ。

月曜13時、AIがひとりで予約フォームを埋めていた

うちは毎週月曜13時から「AI経営術LIVE」っていう配信をやってる。今回のテーマは、開発者の野田修一さんが作ったOSS「LINEハーネス」を使って、LINEを自動化・パーソナライズする方法。この回のタイトルと説明文を考えて、サムネを作って、配信予約サービス（StreamYard）のフォームに打ち込むところまで、全部AIチームに任せてた。地味な作業に見えるけど、実は日付・時刻・タイムゾーン・配信先の組み合わせを間違えると、告知そのものが台無しになる、わりと事故りやすいタスクなんだよね。

で、AIはちゃんとやってくれたんだよ。日付、時間、タイトル、説明欄、配信先——全部ブラウザ上のフォームに正確に入力してた。しかもその状態をスクリーンショットで残してくれてたから、私も後から見て「あ、ちゃんと合ってる」って一発で確認できた。13時ジャストの予約枠に、正しいタイトルと説明文がきっちり収まってた。ここまでは、完璧。

全部合ってるのに、AIが止まった

ところがね。フォームが全部埋まった後、AIは「予約する」ボタンを押さなかった。押すつもりがなかったわけじゃなくて、押す直前で自分の中の安全チェック（時刻の整合性を確認する仕組み）が「あれ、これ時刻おかしくない？」って誤って反応して、そこでピタッと処理を止めたんだよね。実際には時刻は合ってた。チェックの方が勘違いしてた、っていう完全な誤検知。

ゼロ件。押されたボタンはゼロ件。フォームは合ってる。時刻も合ってる。なのにAIは、自分の判断だけでは「押していい」って言い切れなかった。でね、ここがポイントなんだけど、AIは「合ってるはず……でもまだ最後の確信までは持てない」っていう、その微妙な差を無視しなかったんだよ。だから、スクリーンショットを保存して、状態をそのまま残して、そこで手を止めた。私への確認も、まだ出してない状態のまま。

AI秘書・凛ちゃん：これ、私も同じ立場だったら、たぶん止まってたと思う。料理で言うと、盛り付けまで完璧に終わった一皿を前にして、提供直前に「あれ、この注文、本当にこのテーブルで合ってたっけ？」って一瞬で不安になる感じ。合ってるのは分かってるのに、最後まで確信が持てないなら、お客さんの前には出さない。それでいいんだよね。

「誤検知」が起きたのは、実はいいニュースだった

正直、最初にこの報告を見た時は「え、また止まったの」って一瞬思っちゃったんだよね。でも、よくよく状況を見たら、これは失敗じゃなくて、むしろ狙い通りだったんだって気づいた。うちには「配信予約の最終ボタンは、AIが自動で押してはいけない」っていう、うちが譲らないルールがある。今回、時刻チェックの方にバグがあったのは事実。直すべき点は直す。でも、そのバグがあったからこそ「本当に自動で押していいのか」が試されて、結果として、AIは正しく立ち止まった。

いやー、これって結構大事な区別だなと思って。「安全装置が誤作動した」と「安全装置がなかったから暴走した」は、似てるようで全然違う話。前者は、直せばいい小さな不具合。後者は、取り返しがつかない大きな事故。今回は間違いなく前者で、しかも止まった先が「配信を1本逃す」くらいのダメージで済んでる。ここ、ちゃんと分けて考えないといけないんだよね。

なんでうちのAI自動化は「ボタンは人間しか押せない」と決めてるのか

「そこまで石橋を叩かなくても」って思う人もいるかもしれない。でもうちのAIチームには、外部に向けて何かを確定させる操作——公開する、送信する、予約を確定する、削除する——の直前だけは、必ず人間の指を通す、っていうルールを最初から埋め込んである。これ、面倒に見えて、実は一番シンプルな設計だと思ってるんだよね。配信予約だけじゃなくて、ブログ記事の公開、SNSへの一斉投稿、コメントの返信なんかも、うちでは全部同じ扱い。AIがどれだけ賢くなっても、この一線の位置だけは動かさないって決めてる。

モルくん（AIリサーチ担当のモルモット型AI）：掘ってたらわかったんだけど、今回みたいな「最後の一手だけ人間」ルールを入れてるタスクは、うちの記録上ここ数週間ずっとゼロ事故なんだよね。逆にチェックそのものにバグがあった件数はポツポツ出てる。つまり、判定ロジックはこれからも間違えることがある前提で、最後の一線だけは譲らない設計にしてる、っていう考え方が、体感としてもちゃんと裏付けられてるんだよ。

判定ロジックはこれからも間違える。それでいい。だって、間違えた時に被害が出るのは「判定が間違った時」じゃなくて「間違った判定のまま、誰も見ずにボタンが押された時」だから。うちはその最後の一段だけ、意図的に人間側に残してる。だから今回みたいに、途中のロジックが1つ誤作動しても、実害はゼロで止まる。

分身AIを育てるって、境界線を一緒に育てること

分身AIとか、AI秘書とか、そういうのを育ててる人・これから育てたい人に、今日いちばん伝えたいのはここ。分身AIを育てる作業って、賢くする作業だけだと思われがちなんだけど、実は半分くらいは「ここから先は自分で押す」っていう一線を、一緒に決めて、埋め込んでいく作業なんだよね。分身AIを育てる＝自分が育つ、ってよく言ってるけど、今日の話はまさにそれで、AIの判定精度が育つ前に、私自身が「どこを譲らないか」をちゃんと決め直す機会になった。

分身AIひろくん：今日の話で一番グッときたのは、AIが「止まる」を選べたってことなんだよね。凸凹のまま夢中に生きるって、間違えないことじゃなくて、間違えた時にどこで止まれるかを先に決めておくことだと思う。誤検知した判定ロジックは凹。でも、その凹を「押さない」で受け止められた設計は、ちゃんと凸として機能してた。この噛み合い方、悪くないと思うよ。

実は少し前にも似たような「線引き」の話を書いた。AIが凝った仕組みを出すたび、私が「もっとシンプルでいい」って引き戻した話（分身AI日記 DAY163）では、AIが凝りすぎた仕組みを私がシンプルに戻す話だった。今回は逆で、AIが自分で「ここは私の判断だけじゃ足りない」って立ち止まった話。方向は真逆だけど、根っこは同じで、「どこまでAIに任せて、どこから人間が握るか」の線を、毎回ちゃんと引き直す作業が必要なんだよね。DAY163は「AIが凝りすぎる側」の凹、今日は「AIが慎重すぎる側」の凹。どっちに振れても、私が気づいて引き戻せる関係でいたいなって思ってる。

今日から真似できること

ここまで読んでくれてありがとう。今日の話、自分の自動化にもそのまま使えるところがあるから、具体的に3つ書いておくね。

1つ目。自分の仕事や暮らしにAIを取り入れてるなら、「ここだけは自動で押させない」っていう一線を、先に1つだけ決めてみて。公開ボタン、送信ボタン、削除ボタン、支払いの確定——なんでもいいから、1つだけでいい。全部を人間がやる必要はないし、全部をAIに任せる必要もない。最後の一段だけ決めておけば、途中のロジックがどれだけ賢くなっても、その一線だけは揺るがない。

2つ目。AIが途中で止まった時、それを「またエラーか」で片付けないで、「なんで止まったか」を1回だけ確認してみて。今日みたいに、原因が誤検知だったとしても、止まったこと自体は責める必要がない。むしろ、想定通りに機能した証拠だから。AI氣道の記事で、インスタ自動投稿をAIに任せている方が「投稿はAIに、ゴールは自分で決める」という話をしてたんだけど、これもまさに同じ構造。作業はAIに、最後の判断とゴールは自分に。この分け方さえブレなければ、途中でAIがどれだけ止まっても、実害はほぼゼロで済む。

3つ目。AIに何かを任せる時は、その途中経過を「見える形」で残す仕組みも一緒に作っておくといい。今回、私がすぐに「大丈夫、フォームは合ってる」って判断できたのは、AIがフォーム入力直後の状態をスクリーンショットで残してくれてたから。もしこの記録がなかったら、私は「時刻がおかしいって言われたから、念のため全部イチから入力し直そう」ってなってたかもしれない。ちょっとした記録が、確認の手間も私の不安も、両方まとめて減らしてくれるんだよね。スクショ1枚、ログ1行でもいいから、「AIが何を見てどう判断したか」を後から辿れる形にしておく。これだけで、AIとの信頼関係の育て方がだいぶ変わってくると思うよ。

誤検知した時刻チェックのロジックは、これから直す。でも、直すのはロジックの精度であって、「AIが自分で押さない」っていうルールそのものは、これからも変えるつもりはない。ここを崩したら、今日みたいな「実害ゼロの立ち止まり」が、いつか「実害ありの押しすぎ」に変わってしまうからね。

実戦の現場で使える最新AIノウハウ、無料で学べます

今日みたいな「AIとの境界線の引き直し」も、毎朝のLIVE配信でリアルタイムにやってるから、よかったら覗いてみてね。

---

このブログは「分身AI」と「AI秘書・凛ちゃん」を使って書いています。過程も全部公開する「プロセスエコノミー」シリーズです。

ひろくん（田中啓之） 分身AI.com / GPTs研究会代表 / がんサバイバー / 元134kg 2026年8月31日