AI運用のヒヤリハット2連発——安全装置の退行と、設定値の更新漏れ｜分身AI日記 DAY125

家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくんです。

今日は、ちょっと背筋が冷えた話をします。「直した」と思い込んで1週間近く運用していた安全装置が、実は一度も動いていなかったことに気づいた日の記録です。しかも同じ日に、もう1つ別の見落としも見つかりました。ヒヤリハットが1つ見つかった日に、もう1つ見つかる。そんな日でした。自動化タスクが44個なくても、この話は他人事じゃないと思います。1通の返信テンプレでも、毎週決まった時間に送るリマインダーでも、「作ったから、もう大丈夫」と思い込んだ瞬間から、同じことは起き得るので。今日の一番の学びは「大きな成果が、小さな不誠実を覆い隠してしまう」ということでした。この話を、順を追ってお伝えします。

あの日、私が「直した」と思っていた仕組み

私は自宅の複数の自動化タスク（決まった時間に自分で動く作業）を、AIエージェントに任せています。記事の下書き作成、データの棚卸し、日々のチェックまで、44個近くが今も自動で動いている。数が増えるほど、1つ1つの様子を私が毎回見に行くのは現実的ではなくなってきます。だからこそ「異常があったら自分から知らせてくれる」仕組みが必要だと考えるようになりました。

6月末、私はその自動化タスク全体に「止まる仕組み」を1つ追加しました。何かがうまくいかない時に、勝手にごまかして続けるのではなく、いったん作業を止めて、理由を書き残して、私に知らせる仕組みです。料理に例えると、味見係が「これ以上煮詰めたら焦げる」と気づいたら、鍋を火から下ろして私を呼びに来てくれる、そんな役目。自動化タスクが1つや2つならまだしも、数が増えると自分の目だけでは追いきれません。だからこそ、この「止まる仕組み」1つで安心できると思っていたんです。これでもう、気づかないまま暴走することはないはずだと、正直ほっとしていました。

ところがその数日後、別の修正作業のついでに、この「止まる仕組み」を書いたファイルの一部が誤って古いバージョンに戻ってしまっていたんです。しかも私は、その時それに気づきませんでした。

気づいたのは、たまたま古いログを遡ったから

「直した」という記憶だけを頼りに、私はその後1週間近く、いつも通り自動化タスクを回し続けていました。異常があっても、ちゃんと止まって知らせてくれるはず——そう信じて。何も知らせが来ない日々を、私は「順調」だと解釈していたわけです。

気づいたきっかけは、7月1日時点で残していた作業記録の写しと、今の状態を突き合わせたことでした。1行ずつ差分を洗い出していくと、本来なら同じはずの内容に、ズレが出ている箇所が見つかったんです。おかしいな、と。そこを辿っていったら、案の定、退行していました。バージョンが新しいはずの仕組みが、実は数日前に古い状態に巻き戻っていた。この突き合わせをしていなかったら、たぶんもっと気づくのが遅れていたと思います。44個の自動化タスクすべてが、この「止まる仕組み」に頼っていたのに、実際には空振りし続けていたことになります。

AI秘書の凛：え、待って。「直した」って思い込んだまま1週間って、地味に一番怖いパターンすぎん？料理で言うと、換気扇の油汚れ警報が実は電池切れで鳴らなくなってて、誰も気づかないまま揚げ物し続けてたようなもんじゃん。動いてるはずのものが動いてない、が一番発見遅れるんだよね。

同じ日、もう一つの見張り役も壊れていた

実はこの日、もう一つ別の見張り役のプログラムでも似たような不具合が見つかりました。こちらは、ある課金サービスの「無料期間がいつ終わるか」を管理する設定値が、新しいルールに更新されていなかったというものです。1つ目の不具合を見つけて安心しかけた直後に、続けてもう1つ見つかったので、正直「今日はまだ何か見落としているんじゃないか」という気持ちになりました。

前日、私はこの無料期間の終了日を延長する連絡を受けて、関連するファイルの日付を直しました。ただ、同じ意味を持つ日付が、もう1つ別のファイルにも書かれていて、そちらは直し忘れていたんです。その結果、正常に無料期間内で動いているだけのはずの作業が、「課金の事故が起きた」と誤判定され続けていました。

モルくん（AIリサーチ担当のモルモット型AI）：掘ってたら、この2つの不具合、原因は全然別なのに症状はそっくりなんです。片方はファイルの中身が古い状態に戻った。もう片方は同じ意味の数値が2箇所に分かれていて、片方だけ更新された。共通してるのは「変更した後、実際にちゃんと動くか」を確認する一手間を飛ばしてた、ってことなんですよね。

「直した」と「動いている」の間にある溝

この2つを見つけた日、私が一番反省したのはここです。「コードを書き換えた」瞬間に、私は安心してしまっていた。普段の私なら、文法的に間違っていないか、画面上でエラーが出ていないか、そこまでは確認していたはずです。でも、「実際にその仕組みを最初から最後まで動かして、本当に狙った通りに反応するか」までは、今回は確認できていませんでした。振り返ってみると、「直した」と口にした瞬間の私の頭の中は、もう次の作業に移りかけていました。1つ終わったら次、1つ終わったら次、という進め方自体は悪くないのですが、その切り替えの速さが、今回のような見落としの余地を生んでいたんだと思います。

安全装置ほど、この確認をサボりやすいという逆説があります。普段は何も起きないから、動いているかどうかの手応えがない。むしろ「何も起きない」ことが正常なので、壊れていても気づきにくいんです。今回学んだのは、①仕組みに変更を入れたら、実際に呼び出して最後まで動かす実地テストを毎回セットにすること。②同じ意味を持つ設定値が複数の場所に散らばっている時は、片方を直したらもう一方も横断的に検索して確認すること。この2つを、これからは変更のたびに必ずやる、と決めました。

もう少し具体的に言うと、①の実地テストは「変更した当日に1回試す」だけでは足りないというのも今回の発見でした。今回の退行は、変更を入れた直後ではなく、その数日後に「別の作業のついで」で静かに起きています。だから、変更した日にテストして安心するのではなく、数日後にもう一度、同じ手順で呼び出しを確認する。この「翌日以降のもう一押し」を仕組み側の手順に組み込まないと、今回と同じ形の見落としはまた起きるだろうと思っています。

大きな成果が、小さな不誠実を覆い隠す

この不具合を見つけて直した同じ週、私は他にもいくつかの大きな作業を完走させていました。記事を何本も公開し、大掛かりな棚卸しもやり切った。傍から見れば「よく働いた1週間」です。でも、その裏で「1週間、止まる仕組みが空振りし続けていた」という事実は変わりません。大きな成果は、小さな不誠実を覆い隠していい理由にはならない。これは記事や自動化の話に限らず、自分の人生全体にも言えることだと思っています。事業でも同じで、売上や公開本数のような目に見える数字が伸びている時ほど、目に見えない小さな約束——例えば「変更したら翌日もう一度確かめる」のような地味な手続き——が後回しになりやすい。今回、大きな成果と小さな不誠実が同じ週に同居していたことに気づけたのは、正直ラッキーな部分もありました。

AIエージェントに仕事を任せるようになって分かったのは、「任せる」と「放置する」は全然違うということです。任せた仕組みが本当に動いているかどうかを、時々でいいから振り返って確かめる。それをやらないと、いつの間にか「動いているつもり」の仕組みだらけになってしまう。これは、以前の記事で書いた「最強のAIが急にいなくなっても仕事が回り続けたのは、最強に仕組みを作らせていたから」という話とも根っこが同じで、仕組みは作って終わりじゃなく、動き続けているかを定期的に確かめて初めて仕組みと呼べるんだ、と改めて思いました。

思えば、この「見張り役」というテーマ自体、私にとって今回が初めてではありません。以前「AIエージェントが途中で止まっても、誰も気づかない——自動化に『見張り役』が必要な理由」という記事で、自動化タスクには見張り役そのものが必要だという話を書きました。あの時作った見張り役が、今回は見張り役自身の方が静かに壊れていた、という一段深いところで足をすくわれた形です。見張り役を作ったら終わりではなく、見張り役自身が生きているかどうかも、誰かが見ていないといけない。入れ子のようですが、これも今回の実感です。

分身AIひろくん：これ、脂肪と同じ構造だと思うんですよね。「痩せたつもり」で油断した瞬間が一番リバウンドする。安全装置も同じで、「直したつもり」で確認をやめた瞬間が一番危ない。凸凹のまま夢中に生きるって、完璧に壊れないシステムを作ることじゃなくて、壊れた時にちゃんと気づける自分でい続けることなんだと思います。

まとめ：安全装置のヒヤリハットから学んだこと

「直した」と思い込んだ瞬間が、一番危ない。今日はそれを、身をもって、少し冷や汗をかきながら学んだ日でした。もしあなたがAIツールを1つでも使っている、あるいはこれから使おうとしているなら、一度でいいので「作った時・設定した時のまま安心していないか」を振り返ってみてください。動いているはずのものが、本当に動いているか。それを定期的に確かめること自体が、分身AIを育てる＝自分が育つ、ということなんだと思います。

今日の話をまとめると、こう。①安全装置（止まる仕組み）は、追加した瞬間ではなく、その後も生きているかを定期的に確かめて初めて安全装置と呼べる。②同じ意味を持つ設定値が複数の場所に分散していると、片方だけの更新漏れという形でヒヤリハットが起きる。③「直した」と「動いている」の間には、思っているより深い溝がある。この3点を、次に何かの仕組みを作る時の手順に、正式に組み込むつもりです。読んでくれたあなたの自動化にも、同じ形の見落としが静かに潜んでいないか、今日ちょっとだけ振り返ってもらえたら嬉しいです。

実戦の現場で使える最新AIノウハウ、無料で学べます

---

このブログは「分身AI」と「AI秘書・凛ちゃん」を使って書いています。過程も全部公開する「プロセスエコノミー」シリーズです。

ひろくん（田中啓之） 分身AI.com / GPTs研究会代表 / がんサバイバー / 元134kg 2026年7月10日