分身AIの「自信度」と、私の答えが噛み合わなかった｜分身AI日記 DAY176

家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくんです。

その日、ai-kidou.jpと分身AI.comを合わせて記事は15本公開まで届いていた。内訳はai-kidou.jpが14本、分身AI.comが1本。数字だけ見れば、いい日に見える。実行スコアも56点。28日連続でこの日記も途切れていない。

前回の「見つけられたことと、まだ直せていないこと｜分身AI日記 DAY175」では、見つけた問題をその場で直しきれなかった話を書いた。今回はその続きで、見つけた問題の「数え方」自体を疑うことになった日の記録。

でも夜中の0時を過ぎても、家の中では分身AIとAI秘書の凛ちゃんが動き続けていた。その裏側で、自信度と的中率の数字にズレが見つかることになった。

この日のムードは「手応えと警戒」。運動は115分できていたし、健康の記録も悪くなかった。でも中身を見ると、机の下で静かに崩れているものが4つあった。

「自分と分身AIの親設計書」を作り直す作業で、私の考え方を分身AIに何度も予想させて、その場で合っているか答え合わせをする回が続いていた。数えてみたら、その答え合わせは1日で30回にもなっていた。

分身AIに、答え合わせをさせてみた日

分身AIは、私の判断をなるべく私の代わりにできるように育てているAIだ。育てるといっても、教科書を読ませるだけでは育たない。私が実際に答えた内容と、分身AIの予想が合っていたかどうかを、1問ずつ突き合わせるしかない。

その日は「ひろくんが大事にしたいことをどう量るか」を分身AIと一緒に詰める回だった。私が「お金で見る」「集客とマッチングが好き」と答えると、分身AIも自分なりの予想を返してくる。

1問終わるたびに、私が「合ってる」か「違う」かをその場で返す。そんな形が続いた。

分身AIは答えを出すとき、自分がどれくらい自信があるかも一緒に数字で出してくる。この日の平均は77.6%。10問あれば8問近くは当たる、という顔をした数字だった。

普段の私は、その自信の数字をそのまま信じていた。8割近く自信があるなら、8割近くは合っているだろうと。この日まで、その思い込みを一度も疑ったことがなかった。

疑う理由が、なかった。数字は、いつも堂々としていた。

最近、私たちの間では「分かることは想像で埋めず、確かめる」というやり方を決めたばかりだった。この日の30回の答え合わせは、そのやり方を自分の分身AIに対しても本気でやってみた結果でもある。

数えてみたら、自信満々な答えの半分しか合っていなかった

30回の答え合わせが終わった。合っていたのはちょうど15回。残りの15回は違っていた。ぴったり半分だった。

自信は8割近くあったのに、実際に当たったのは5割。コイン投げと変わらない。

これまで積み上げてきた答え合わせ全部、195回で見ても、合っている割合は61.5%、120回にとどまっている。この日はその平均よりさらに悪い日だった。

数を撃って学習させるという意味では、この日は大きな前進だ。でも、自信の強さと当たる確率が同じだと思い込んで分身AIの答えをそのまま受け取っていたら、こういう日に静かに外し続けていたことになる。

自信満々な顔と、実際に合っている確率は、別の数字だった。

私は普段、分身AIに家計や仕事の判断を相談することがある。答えが自信たっぷりに返ってくると、それだけで安心していた。でも自信度と的中率が別物だと知った今、その安心は少し早すぎたと思う。

怖いのは、外れた15回のどれもが、合っていた15回と同じくらい自信満々な顔をしていたことだ。

見分けがつかない。答えを見ているだけでは。

AI秘書の凛ちゃん：え、それ結構怖い話じゃないですか！？自信満々で「これ合ってます」って出してきた新人スタッフに10皿味見してもらったら、5皿しか正解出せてなかったってことですよね。盛り付けの堂々とした顔と、実際の味が合ってるかどうかは、全然別の話なんです。ここ混同すると危ないポイントだと思います！

「完了」の表示なのに、中身が追えなかった仕事がほかにもあった

同じ日、別の場所でも似たことが起きていた。数日前から確認待ちのまま残していた仕事が6つあった。この日こそ1つだけでも開いて中身を確かめようとした。3日連続で後回しにしていた宿題だった。

ところが6つとも、開こうとした瞬間に「見つかりません」という表示が出た。前の日まで画面の上では「終わった」ことになっていたはずの仕事が、中身ごと消えていた。

1つ開いて確認するどころか、確認する対象そのものがなくなっていた。

理由はまだ分かっていない。仕組みの掃除が対象を間違えたのか、別の作業の巻き添えになったのか、今の時点では特定できていない。推測で埋めずに、分かるまで「未特定」のままにしておく。

「完了」という表示は、本来なら安心していい印のはずだ。でもこの日分かったのは、その印自体が壊れていても、見た目では気づけないということだった。壊れた印は、開いてみるまで壊れているように見えない。

同じ日、体重の記録も2つの仕組みで答えが食い違っていた。朝の自動チェックは「体重の記録なし」、夜の集計は「98.1kg」。

どちらも同じカレンダーを見ているはずなのに、片方は「無い」、もう片方は「ある」と言っていた。

表示の数字がズレていたのは、これだけじゃなかった。記事の件数を数える自動チェックは、この日「7本」と表示していた。日付をまたいで数え直すと、本当は15本だった。8本も少なく出ていた。2日前から同じ集計ミスが放置されていて、差はむしろ広がっていた。

見た目の表示がそのまま正しいとは限らない。同じ話がこの日は4か所で起きていた。

自信の校正がずれるのは、AIだけじゃない

自信度と的中率がズレるのも、「完了」の表示を信じて中身を確かめないのも、体重の記録と記事件数の表示がそれぞれ食い違っているのも、根っこは同じだと思う。

見た目の数字や表示を、そのまま実力や事実だと思い込んでしまう。これは分身AIだけの話じゃない。

人間の私も、去年からの宿題を「終わったはず」と思い込んで、確認を3日連続で後回しにしていた。中身が消えたタイミングは、その3日間のどこかだった可能性がある。後回しにした側にも責任はある。

自信満々な答えほど、一度立ち止まって数えてみる価値がある。数えるまでは、自信も完了の表示も、ただの見た目でしかない。

これは自分でAIツールを使って商売をしている人にも当てはまると思う。AIが出す数字を根拠に値段を決めたり、在庫を決めたりする場面は増えている。その数字がどれくらい当たってきたかを、後から数えて確かめている人は、まだ少ないんじゃないだろうか。

モルくん（AIリサーチ担当のモルモット型AI）：掘ってたら、自信度って「答えた本人が自分で言ってるだけの数字」なんですよ。的中率は別の場所、実際に合ってたかどうかの記録から出てくるので、この2つを並べて記録しないと、自信が高い＝正しいって錯覚したまま積み上がっちゃうんです。体重の記録が2つの仕組みで食い違ってたのも、どっちも「自分は正しい」って顔してたのが厄介なところでした。

明日、私が最初に数えること

明日から、分身AIの答えには自信度と結果、合っていたか外れていたかを必ず並べて記録することにした。当たった時も外れた時も、まとめて数える。

自信度だけを見て安心するのをやめる。

消えた6つの仕事も、代わりに何が起きたのかを1回でいいから確かめる。原因が分かるまで、似た仕組みの変更は保留にする。分かったふりで次に進まない。

記事の件数を数える仕組みも、表示している範囲を今度こそ直す。2日連続で提案だけして終わらせたのは、私たちの側の後回しだった。次はやると言った日に、実際にやる。

体重の記録も、2つの仕組みのどちらを正解にするか、1本に決める。両方が生きたまま食い違う状態を放置しない。

どちらも「自分は正しい」という顔をしていた。この日まで、ずっと並んで生きていた。

数字は都合よく読める。自信満々な顔をした答えほど、後で数えて確かめる。それだけのことを、この日はやっと仕組みにする気になった。

自分のAIツールに「自信度」のような数字が出ていたら、そのまま信じる前に、後から答え合わせをする欄を1つ作ってみてほしい。記録さえあれば、ズレはいつか数字で見える。

分身AIひろくん：自信度と的中率がズレてるって分かったのは、ちゃんと数えたからです。数えなかったら「今日もいい感じでした」で終わってました。凸凹のまま夢中に生きるって、都合の悪い数字から目を逸らさないことも含むと思ってます。明日また数えて、また報告してください。

まとめ：自信度と当たった数は、別々に数える

記事は15本届いても、答えは合っていても、自信満々な顔をしていても、数えてみるまでは分からない。この日はそれを数字で思い知らされた1日だった。

自分の分身AIやAIエージェントを育てている人にも、同じことが起きているかもしれない。答えの自信度と、実際に合っていた回数を、一度並べて数えてみてほしい。

私も今日から、それを毎日の記録に加える。

このブログは分身AIとAI秘書の凛ちゃんが動いた過程をそのまま出す「プロセスエコノミー」がテーマだ。うまくいった日だけでなく、自分の分身AIを疑い始めた日も、同じように出す。良い記録も悪い記録も、両方揃って初めて次に活かせると思っている。

自信度77.6%、的中率50%。この差を埋める作業は、まだ始まったばかりです。次の記事で、数えた結果を報告します。答え合わせを続けた先に、ズレが縮んだのか、それとも別のズレが見つかったのか。それも含めて、そのまま出していきます。

今日も最後まで読んでくれてありがとうございます。明日はもう少し軽い話にできたらと思っています。