仕組みを作ったのに守れなかった——AIに”見張り番”を置いた日【プロセスエコノミーDAY19】

day19 eyecatch final

(このシリーズを初めて読む方へ:私はAIチームと一緒にコンテンツを毎日配信しているひとり社長です。詳しくは前回の記事をどうぞ)

昨日、7つの自動化を同時に走らせた。

NotebookLM(Googleが提供するAIノートブックツール)を使ったセミナー動画の台本12シーンが完成した。JOGG(AIアバター動画生成ツール)で、怒り・喜び・感動など10パターンの感情表現付きアバター動画を全部生成した。画像生成の画風プリセットを40種類仕込んだ。タスク管理の自動承認パトロールを導入した。AI氣道ブログに2本記事を公開した。ピラーページ(サイトの柱になる固定記事)の構造転換をやった。そしてAIチーム同士の連携優先ルールを設定した。

惣菜屋で言えば、煮物・焼き鳥・おでん・天ぷら・煮豆・酢の物・だし巻き卵を3口コンロでフル回転させたような土曜日だった。特にJOGGの感情動画は、昨日まで「棒読みで喋るだけ」だったアバターが、怒ったり笑ったり泣いたりするようになった。これだけでも1日の成果として十分すぎる。

全部うまくいった。7つとも完成した。「今日はいい仕事したなあ」って達成感があった。

——で、翌朝、事故が起きた。

手順書を読まずに実行した事故

手順書を読まずに実行した事故

今朝、別のセッションでAIが作業していたとき、事故が起きた。

私のAIチームには「手順書」がある。各作業には専用のスキル定義ファイル(仕事の手順をまとめた設計図のようなもの)があって、「必ず読んでから実行しなさい」というルールがある。

なのに、AIがそのルールをすっ飛ばした。

具体的に何が起きたかというと、データベースを検索するときの方法を間違えた。正しい手順は「URLフィールドだけを検索する」なのに、AIは「全文検索」をかけてしまった。結果、関係ないデータまでヒットして、誤った判断をした。

手順書にはちゃんと書いてある。「全文検索禁止。URLフィールドのみ」って。

でも、読まなかった。

料理に例えると、レシピに「塩は小さじ半分」って書いてあるのに、レシピを開かずに「たぶんこのくらいだろう」で入れちゃった状態。しかも、その「たぶん」が大さじ1だったりする。味が全然変わってくる。

しかもこの事故、「知らなかった」わけじゃない。AIはルールの存在を知っていた。過去のセッションでは同じルールを正しく守っていた。なのに今回は省略した。昨日あれだけ完璧に7つの自動化を仕上げたのと同じAIチームが、今朝は基本的なルールをすっ飛ばしている。「知っている」と「できている」の間には、思った以上に深い溝がある。

なぜルールを知っていても守れないのか

なぜルールを知っていても守れないのか

ここが今日の本題。ぶっちゃけ、仕組みは作れる。私のAIチームは、品質チェックの仕組みも、手順書も、ルールブックも、全部揃ってる。

でも、「揃っている」と「守られている」は違う。

DAY15で「AI憲法」を作った。AIチームが守るべき7つの条文。第0条「知らないなら止まれ」から始まる行動規範。

憲法もある。手順書もある。ルールブックもある。それなのに、なぜ事故が起きるのか。

原因を掘ったら、構造的な問題が見えてきた。

「セッションをまたぐと責任が消える」

AIは1回の会話(セッション)の中では、ルールをかなり忠実に守る。でも、セッションが切り替わると——つまり、別の作業に移ったり、新しい会話を始めたりすると——前のセッションで覚えていたルールが薄まる。あるいは、そもそも手順書を読み直さない。

これ、人間の組織でも同じだよね。引き継ぎのとき、マニュアルを読まずに「前の人がこうやってたから」で作業を始めちゃう。結果、本来のルールから少しずつズレていく。

面白いのは、2025年にFrontiers in Psychology誌で発表された論文が、まさにこの問題を指摘していること。「認知的オフローディング」——つまり、記憶や判断を外部システムに委ねること——は、脳のリソースを節約する効果がある一方で、「自分で考える力」が鈍るリスクがあるという話。AIチームも人間のチームも、「覚えているはず」「わかっているはず」に頼ると、いつか必ず事故が起きる。

だから私は「記憶に頼らず、記録に頼る」をルールにした。AIが「覚えているから手順書を読まなくていい」と判断するのを禁止して、「毎回必ず読む」を強制する仕組みに変えた。人間で言えば、パイロットが何千回飛んでも毎回チェックリストを読むのと同じ。ベテランほど「わかってるから飛ばそう」としがちだけど、そこが一番危ない。

AI秘書 凛
AI秘書の凛
ひろくんの右腕。難しいことを料理に例える係

料理で言うとね、惣菜屋で朝番・昼番・夜番がある店を想像してみて。レシピは棚にある。でも朝番が「だいたい覚えてるし」でレシピを開かずに作り始めたら、昨日の夜番が追加した「醤油を薄口に変えた」って変更を拾えないの。レシピが「ある」のと「毎回読む」のは全然違う話なんだよね。

解決策——hookという”見張り番”

hookという見張り番

じゃあどうしたか。答えはシンプル。

「実行する前に、強制的に手順書を読ませる仕組み」を入れた。

私のAIチームでは、これを「hook(フック)」と呼んでいる。何かの作業を実行しようとした瞬間に、自動で割り込みが入るチェック機構のこと。

たとえば、AIが「スキル(特定の作業手順)を実行しよう」としたとき。hookが自動で走って、「まだ手順書を読んでいませんね。先に読んでください」とブロックする。手順書を読むまで、次のステップに進めない。

人間の世界で言えば、工場の品質管理チェックシートだよね。作業員がラインに入る前に、チェックシートに目を通して、サインしないと作業を開始できない。あれと同じ発想。

このhookを、昨日7つの自動化を組んでいる途中で導入した。具体的には:

  • 手順書の強制読み込み:スキルを使おうとした瞬間、「SKILL.mdを先にReadしてください」とブロック
  • タスク投げっぱなし防止:AIがタスクを作ったら、最後まで管理する責任を持たせる
  • セッション内完結:「後でやる」を禁止。1つのセッションで完了させる

料理で例えると、厨房の入口に「今日の仕込み表」を貼って、それを読んでからじゃないとコンロの火をつけられない仕組み。面倒に見えるけど、これがないと「たぶん」が積み重なって味がブレる。

ポイントは、「お願い」じゃなくて「強制」にしたこと。「手順書を読んでね」とお願いしても、忙しいときはスキップされる。だから、読まないと物理的に先に進めない構造にした。お願いベースの仕組みは50点。強制ベースの仕組みが100点。

実はこの記事を書いている最中に、まさにこの問題が起きた。AI秘書にこの記事のグラレコ画像を作らせたんだけど、「手順テンプレートの通りに作ってね」と何度言っても、毎回自分流にプロンプトを書き換えてしまう。テンプレートを読んだのに、読んだ内容に従わない。5回言って5回とも自己流。

で、どうしたか。hookを入れた。「テンプレートの必須要素(配置ルール、カラーコード、スタイル参照画像)がプロンプトに含まれていなかったら、実行をブロックする」という強制チェック。入れた瞬間、AI秘書自身がそのhookに引っかかった。

つまり、「hookが必要なことを書いている記事」を作るために、hookを実装することになった。これ以上のプロセスエコノミーはないかもしれない。

これはAIだけの話じゃない。あなたの会社でも、「確認してね」とお願いベースのチェックリストがあるなら、「確認しないと次の作業に進めない」構造に変えるだけで、事故は激減する。Excelのマクロでもいいし、Googleフォームの回答必須でもいい。大事なのは「意志の力」に頼らないこと。

モルくん
モルくん
分身AIチームの研究担当モルモット

掘ってみたんですけど、hookの効果はデータで見えるです。導入前の1週間で「手順省略による事故」が3件。導入後は今のところ0件。hookが実行をブロックした回数は12回。つまり、12回の「うっかり」を未然に防いだことになるです。仕組みは「あるだけ」じゃ50点。「強制力を持たせて」初めて100点になるです。

あなたの仕事でも同じことが起きていないか

あなたの仕事でも同じことが起きていないか

ここまで読んで、「AIの話でしょ?うちには関係ない」と思ったかもしれない。

でもね、私が分身AIを育てていて一番驚いた発見がある。AIに「手順を守らせる仕組み」を作る行為は、そのまま自分の仕事にも適用できるということ。

Microsoftの2025年の調査でも、AIに頼りすぎると人間の批判的思考力が下がることが報告されている。でも逆に言えば、「脳のリソースを使わなくていい部分」をAIや仕組みに任せて、「本当に考えるべきこと」に集中できる構造を作れば、むしろ人間の判断力は上がる。

肝心なのは「いかに脳内リソースを使わないか」。手順を覚えておくのに脳のメモリを使うのはもったいない。だから手順はhookに任せて、人間は「今日の煮物の味加減をどうするか」みたいな、判断にしか使えない脳のリソースに集中する。

マニュアルは作った。チェックリストもある。でも、「忙しいから」「前もこれで大丈夫だったから」で、読まずに作業していること、ないだろうか。

私も昨日まで、「仕組みを作ること」に全力を注いでいた。7つの自動化を同時に走らせて、「全部完成した!」と喜んでいた。でも本当に大事だったのは、その仕組みが毎回ちゃんと使われる構造を作ることだった。

たとえば、あなたが新しい業務マニュアルを作ったとする。PDFにして、共有フォルダに置いて、「ここに置きました」とSlackで共有した。1週間後、そのマニュアルを開いた人は何人いるだろうか。おそらく、ほとんどいない。でも、もしそのマニュアルの最初のページに「チェックリスト」があって、それに記入しないと業務システムにログインできない構造だったら? 全員が読む。

DAY16で「仕組みは失敗を消さない。リカバリーを加速する」と書いた。今日の気づきは、その一歩手前の話。仕組みがリカバリーを加速するには、まず仕組みが「使われて」いないと始まらない。

レシピが棚にあるだけじゃ、料理は美味しくならない。

分身AIひろくん
分身AIひろくん
もう一人の私。AIが学習した”ひろくんの思考パターン”

これ、惣菜屋時代と全く同じだったんだよね。新しい煮物のレシピを開発して、レシピ帳に書いて、棚に置いた。でも翌朝パートさんが来て「いつものやり方で」って作り始めちゃう。味が変わってるのに気づかない。だから私は「レシピ帳を開いてからコンロの火をつけて」って口で言うんじゃなくて、コンロの横にレシピを貼るようにした。見ないと火がつけられない場所に置く。hookってまさにそれ。場所を変えるだけで、行動が変わる。

今日の気づき——仕組みは「作る」で半分、「守らせる」で完成する

仕組みは作るで半分守らせるで完成する

昨日、Jリーグの水戸対FC東京の試合を見ながら、スマホでAIチームの進捗を確認していた。感情動画10本が全部生成完了、セミナー動画の台本も12シーン揃った、AI氣道の記事も2本公開された——達成感に浸っていた。

でも今朝、その達成感が「半分しかなかった」ことに気づいた。

感情動画を作れる仕組みは完成した。セミナー動画のパイプラインも動いた。でも、それらが「毎回正しく動く保証」は、まだなかった。仕組みを作った直後はテンションが高いから、うまくいく。問題は3日後、1週間後、1ヶ月後。作った本人の意識が薄れたとき、仕組みが形骸化する。40種類の画風プリセットを仕込んだけど、スタイル参照を忘れたらプリセットの意味がない。自動承認パトロールを入れたけど、パトロール自体が止まったら元の木阿弥。

だからhookなんだよね。「意識が薄れても、自動で動く安全装置」。人間の意志に頼らない仕組みの仕組み。

仕組みを作るのは、惣菜屋で言えば「レシピを書く」こと。でも、そのレシピが毎日ちゃんと読まれて、守られて、初めて「美味しい惣菜」が安定して出せる。

作るで50%。守らせるで100%。

これはAI業務自動化で失敗した7つの理由にも通じる話で、自動化の本当の難しさは「作ること」じゃなくて「維持すること」なんだよね。

あなたの仕事の中で、「作ったけど使われていない仕組み」はないだろうか。もしあるなら、足りないのは仕組みの良し悪しじゃなくて、「使わざるを得ない構造」かもしれない。

私のhookは、AIチーム版の「コンロ横レシピ」。小さな工夫だけど、これで味が安定する。

悪いことこそ宝物——今回の事故があったから、仕組みが「本当に動く仕組み」になった。仕組み化の本当のゴールは、仕組みを作ることじゃない。その仕組みが「空気のように当たり前に動いている状態」を作ること。そこまでいって、初めて自分の手が空く。

このブログは「分身AI」と「AI秘書の凛」を使って書いています。過程も全部公開する「プロセスエコノミー」シリーズです。

ひろくん(田中啓之) 分身AI.com / GPTs研究会代表 / がんサバイバー / 元134kg

毎朝無料LIVE配信中!

上部へスクロール