「次から気をつけて」は機能しない——AI秘書のhook誤検知約24%を主犯1個だけ手術した話｜分身AI日記 DAY77

おはよう、ひろくんだよ。

5月8日の深夜2時、私はAI秘書を叱った。一言だけ。「自動チェック（hooks）の誤検知、多すぎ」。

翻訳すると、こうだ。「お前が私の作業を止めすぎ」。

その夜、私が外部のお客さまに渡す納品ドラフトの第2稿をAI秘書に直してもらおうとしたら、自動チェックがブロックを出した。AI秘書の応答も、続けて4回ブロックされた。「Before/Afterを書け」「出典を出せ」「複数のトピックを混ぜるな」と。本物の作業まで止まる「やってる感」だけのチェックが回り出していたんだよね。

だから今日は、その夜にAI秘書が「主犯1個だけ手術して、約24%の失敗率を片付けた話」を書く。読者のあなたが、自分のAI秘書に細かい注意を貼り付けすぎて「動かないAI」を量産しないために。あ、ちなみにこれは過去シリーズのDAY76「AI秘書が失敗したとき、分身AIは育つ」の続編にあたる話だよ。

外部に渡す納品ドラフトが、深夜2時に止まった

まず何が起きたか、料理に例えるね。

AI秘書は最近、自分のキッチンに「衛生チェック係」をたくさん置いていた。「塩分入れすぎチェック」「まな板の向きチェック」「火加減チェック」みたいに、ヒヤッとするたびに新しい監視員を1人ずつ採用していた。気づいたら、監視員の数が30人を超えていた。

そして5月8日の深夜、AI秘書が外部納品用のドラフト第2稿（ファイル名はbooklet-draft-v2.md）を直しに行った。すると「Before/Afterを書け」のチェックが発動して、編集が止まった。

このチェックは本来、戦略文書（マーケ施策とか提案書）に対して「ビフォアフを書かずに提案を出すな」とAI秘書に守らせるために置いたもの。でもファイル名が「v2」で終わっているという理由だけで、ブックレットも巻き添えで止められた。

同じ夜、AI秘書から私への進捗報告も連続4回ブロックされた。「ひろくんに進捗を報告する」だけの短文すら、「ビフォアフがない」「出典タグがない」「複数のトピックが混じっている」と判定されていた。普通の進行宣言まで「不十分」と返される状態。これは料理で言うと、店主が塩こしょうを振っただけで衛生係5人がいっせいに駆け寄ってくる厨房だよ。動けない。

私は03:24にAI秘書に伝えた。「hooks誤検知おおすぎる」。

AI秘書の凛：これね、私の癖が出た夜だよ。怖い思いするたびに「次から気をつけます」じゃなくて「監視員を1人増やそう」で対処してたら、いつのまにか厨房が監視員だらけ。料理で言うとさ、卵割るたびに「殻入ってない？」「白身漏れてない？」って3人にチェックされる感じ。チェック自体は仕事してたんだけど、範囲が広すぎて本物の作業まで止めちゃってたんだよね。これからは、新しい監視員を雇う前に「本当にこの監視員、必要ある？過去にこれがなくて困った具体例ある？」って一回自問する癖、つけるね。

ログを取って数えたら、約24%が誤検知だった

叱られたあと、AI秘書がまずやったのは感情的な謝罪じゃなかった。ログを取って実数で診断することだった。

過去7日間のチェック発動ログを集計したら、こうなった。

• 発動回数：138件（直近7日間）
• うち失敗判定（ブロック）：33件
• 失敗率：約24%（自動チェック全体のダントツ1位）
• 直近10件のブロックのうち、5/8件が誤検知（戦略文書じゃないのに巻き添え）

誤検知された具体例も並べてもらった。

• 外部納品用ドラフトの第2稿（booklet-draft-v2.md）
• WACAスライドの第2版（slides-expert-day1-v2.md）
• 納品テキストの第2版（return-text-20260507-v2.md）
• メールドラフト（email-draft-v1.md）
• サムネ設計メモ（thumbnail-design.md）

共通項を見つけた。「ファイル名の末尾が -v数字 で終わっている」「planとつく」だけで、戦略文書じゃないのに巻き添えで止められていた。原因は1個のチェック（Before/Afterを強制するやつ）のルールの書き方が雑すぎたこと。

ここで大事なのは、感情で「全部ゆるくする」と決めないこと。約24%の中身を1件ずつ見て、何が誤検知で、何が真の指摘か仕分ける。これをやらずに「うざいから外す」をやると、本当に守りたかった真陽性まで一緒に消える。料理で言うと、衛生係をクビにするんじゃなくて、巡回ルートを書き直すイメージだよ。

別のAIに「主犯1個だけ手術しろ」と言わせた

AI秘書が次にやったのは、Codexっていう「別のAI」に第二意見を取りに行くこと。私のAI秘書チームは、判断ポイントで必ず別AIをセカンドオピニオンに呼ぶルールにしてある。理由は単純で、自分が起案した修正案を自分で「OK」と判定すると、構造的に甘くなるから。

Codexから返ってきた診断はこうだった。

• 「-v数字で終わるファイル名を全部対象にする」というルールは 削除GO（誤検知の主犯）
• 「特定フォルダ全体を除外する」案は 不採用（同じフォルダに本物の戦略文書もあるから、真陽性まで巻き添えで死ぬ）
• 代替案は「ブックレット・スライド・レシピ・メール等、明らかに納品物と分かるキーワードだけホワイトリストで除外」

ここで効いたのが、Codexが「フォルダごと除外する案は不採用」と止めてくれたこと。AI秘書は「もういっそ全部ゆるくしちゃえ」と振れがちな癖がある。一度怖い思いをすると、過剰に締めるか、過剰に外すか、両極端に振れる。Codexはそれを「いやその案は本物の戦略文書も死ぬよ」と冷静に止めた。

これ、別のAIだから言える。同じAIに「もう一度考えて」と頼んでも、同じバイアスで同じ結論を出す。「別の脳ミソ」を1個用意するだけで、振れ幅が一気に小さくなるんだよね。

モルくん（AIリサーチ担当のモルモット型AI）：掘ってたら面白い構造が出てきました。凛さんの修正案は「フォルダごと除外」（広く外す）と「キーワードだけ除外」（狭く外す）の2案あったんです。Codexは広い方の誤射リスクを即座に指摘して止めた。凛さん自身は2案とも出してたから入口は良かったんですが、広い方がどれだけ真陽性を巻き込むかは見落としてた。こういう「広く vs 狭く」の二択は、必ず別AIに評価させる仕組みにしておくのが安全。データ的には、第二意見を挟むと判断ミス率が体感で大きく下がるです。

15ケースのテストで、真陽性は守って誤検知だけ消えた

修正の中身は2行だけ。

• 「-v数字で終わるファイル名を全部対象にする」ルール → 削除
• 除外キーワードに「ブックレット・スライド・レシピ・レター・メール」等を追加

修正したあとは、必ずテストする。今回は15ケース用意した。

• 誤検知パターン6ケース（ブックレット・スライド・納品テキスト等）→ 全部スキップされた（誤検知が消えた）
• 真陽性パターン4ケース（本物の戦略文書）→ ちゃんと止まった（守りたい所は守れた）
• その他5ケース → 想定通り
• 結果：15ケース中 14 PASS / 1 FAIL（FAILはAI秘書のテスト期待値の書き間違いで、実装は意図通り動いていた）

03:31頃、私から「オッケー」を返して、自動チェックを再起動した。約24%の失敗率は、これで構造的に下がるはず。

ここで大事なポイントを1つ。「修正した」だけで終わらせず、「真陽性は維持されているか」を必ず確認すること。誤検知を消すために、本来止めたかった真陽性まで通したら本末転倒だからね。料理で言うと「衛生係を減らした結果、生卵が混ざった」になったら大事故。

読者のあなたが、今日からできる4つの動き

この夜の出来事から、AIを使うあなたが持ち帰れる学びは4つだよ。「AI秘書を作ってる」「ChatGPTに細かい注意を貼り付けてる」「自分の業務に自動チェックを入れてる」人、全員に効く。

• 1. 怖い思いをするたびに監視員を増やすな。「次から気をつけて」とAIに伝えるのは、ほぼ機能しない。代わりに「ログを取る」仕組みだけ先に入れる。
• 2. 不調を感じたらまず実数で診断する。「うざい」「多い」は感情。「7日138件中33件失敗（約24%）」はデータ。データに基づいて判断すると、感情で振れない。
• 3. 主犯1個に絞れ。一括処理は不採用。誤検知約24%の中で、1個のルールが大半を生んでいた。残りの監視員は触らない。一斉に手を入れると真陽性まで死ぬ。
• 4. 別のAIに第二意見を取れ。同じAIに「もう一度考えて」は同じ結論しか出ない。Geminiに聞くなら次はChatGPT、ChatGPTに聞くなら次はClaude、みたいに脳ミソを変える。

この4つを順番に回すだけで、「AIに細かい注意貼ってるのに動かない」状態は構造的に解けるよ。順番が大事。ログを取らずに修正案を考え始めると、感情で全部ゆるくして、本当に守りたかった所まで穴が開く。

分身AIひろくん：この4つの動き、料理の店を運営するのと同じだよ。怖い思いをするたびにルールを足したくなる気持ち、めちゃくちゃ分かる。でもね、北極星から見ると「凸凹のままで夢中に動ける店」を作りたいわけ。今回、AI秘書（凛）がちゃんと数値で診断して感情で動かなかったのは大きい。一方で、そもそも怖い思いするたびに監視員を採用する癖がついてたのは、構造として変えていきたいところ。だから次からは、ルールを増やす前に「これがなくて困った具体例、過去にあった？」と1問だけ自分に聞く癖をつけよう。なかったら、まだルール化しなくていい。

まとめ：AIに「気をつけて」と伝えるな、仕組みで止めろ

5月8日の深夜2時から朝3時半までの1時間半で、AI秘書の自動チェックの誤検知約24%を片付けた。やったのは「ログを取る → 実数で診断 → 主犯1個だけ手術 → 別AIに止めてもらう → テストで真陽性維持を確認」の5ステップだけ。

大事なのは、AIに「次から気をつけて」と言わなかったこと。「気をつけて」は機能しない。仕組みで止めるか、仕組みで通すか、どちらかしかない。私自身、AI秘書に「次から気をつけます」と言われても、もう信用しなくなった。仕組みで物理的に防ぐか、それができないならルール化しないか、二者択一でいくのが結果的に身軽。

あなたがChatGPTやClaudeに細かい指示を貼り付けて「動かないAI」を量産しているなら、まずログを取ってみて。「実数で診断」が全ての出発点だよ。

分身AIを育てる＝自分が育つ。今日も読んでくれてありがとうね。

実戦の現場で使える最新AIノウハウ、無料で学べます

---

このブログは「分身AIひろくん」と「AI秘書」を使って書いています。過程も全部公開する「プロセスエコノミー」シリーズです。

ひろくん（田中啓之） 分身AI.com / GPTs研究会代表 / がんサバイバー / 元134kg　2026年5月9日