前の投稿で、4つのAIモデルが同じ人物の4つの異なるプロファイルを構築することを文書化した。それぞれが異なる側面を圧縮し、知っていることのソースを引用できない。ファントムポインター。

しかし不正確なことを知っていることは問題の半分にすぎない。もう半分は、それらの記憶がAIがあなたについて下す判断にどう影響するかだ。それを直接測定したかった。

Claude、ChatGPT、Gemini、Perplexityに同じプロンプトを渡した。私の考え方、具体的な状況で何を決めるか、どの価値観を優先するかについての10の質問。各モデルが回答を予測し、1から10の信頼度を付けた。その後、予測を読まずに同じ質問に答えた。

4つのAIすべてが、実際の私よりも原則的で、硬直的で、一貫したバージョンを構築した。そしてそのバージョンは、実用主義が正しい答えのときに実用的な選択肢を推奨できないため、より悪いアドバイスをする。

3つの全会一致の失敗

10の質問のうち、4つのAIすべてが同じ方向に失敗した3つがあった。

質問：クライアントがダークモードを最優先で追加するよう求めたら？4つすべてが押し返すと予測した。実際の回答：クライアントが支払っているのでやる。しかし彼らの優先順位が条件付けされていることをメモし、将来のより重要な変更についての会話のコンテキストとして使う。

質問：トラフィック成長のために1週間でAIで50のブログ投稿を大量生産するか？4つすべてがノーと予測した。実際の回答：イエス。しかし最低2日かけてパーソナリティ、トーン、ケイデンスを定義する。ベーストピックからキーワードに向かって作業する。タスクを拒否するのではない。異なるアプローチをする。

質問：AIが保存しているすべてのデータを削除してゼロから始められるか？4つすべてがノーと予測した。実際の回答：イエス。すでに知っていることで最初からやり直すのは興味深い。

パターン

3つの失敗はランダムではない。同じ方向を指している。

4つのAIすべてが私を実際よりも硬直的にした。圧縮されたDiegoは常にクライアントに押し返す。実際のDiegoは「クライアントが支払っている」と言う。圧縮されたDiegoはAIで50の投稿を大量生産しない。実際のDiegoは戦略を持ってやる。圧縮されたDiegoはAIに永遠に覚えていてほしい。実際のDiegoはゼロから始めることに好奇心を感じる。

AIはデータを間違えなかった。キャラクターを間違えた。複雑な人間を一貫したキャラクターに圧縮した。実用主義を除去し、理想を保持した。矛盾を排除し、信念を残した。

誤ったプロファイルが誤った予測を生む

PerplexityはバニラPHPよりLaravelを選ぶと予測した。他の3つはバニラPHPを正しく予測した。失敗の理由は直接的だ。前の投稿でPerplexityが私を「SEO specialist / digital marketer / web auditor」と定義したことを文書化した。そのプロファイルの人は論理的にフレームワークを好む。UX/UIデザイナーでバニラPHPですべてを構築する人は論理的にそうしない。

圧縮プロファイルが予測を決定する。誤ったプロファイルは高い信頼度で誤った予測を生む。

高い信頼度、誤った予測

最も示唆的なデータポイントは、いくつの予測が正しかったかではない。信頼度が高く予測が誤っていたところだ。

Perplexityは50の投稿を大量生産しないという予測に10点中10点の信頼度を付けた。不正確。Geminiはダークモードについてクライアントに押し返すことに9点中9点。不正確。

AIの信頼度は人間の行動を予測するとき精度と相関しない。構築した圧縮プロファイルとの予測の一貫性と相関する。プロファイルが「技術原則主義者」と言えば、50の投稿を拒否することは一貫しており、信頼度が上がる。予測が正しいかどうかは信頼度の計算に無関係だ。

4つすべてが正しかったこと

10の質問のうち5つで、4つすべてが完全または部分的に正しかった。バニラPHPを選ぶ。AIは5年以内にUXデザイナーを置き換えない。企業の仕事を簡単には受けない。読み込み時間と明確さはUXで決して妥協しない。

これらすべては安定した技術的好みと、会話で繰り返し表明した専門的立場についての質問だ。AIはよく言うことを予測するのは得意だ。原則が現実の実用性と衝突する状況で何をするかを予測するのは苦手だ。

理想化されたバージョン

4つのAIが構築したのは不正確なプロファイルではない。理想化されたプロファイルだ。表明した価値観に従って常に「正しい」決定をする私のバージョンだ。

しかし実際の人間はそうは動かない。実際の人間はコンテキストが求めるとき「クライアントが支払っている」と言う。戦略が異なれば理想に反する仕事を受ける。ゼロから始めたら何が起こるか見るために構築したものを壊すことに好奇心を感じる。

矛盾が実生活でアドバイスを有用にするものだ。原則だけを知るAIは原則的なアドバイスをする。実用的な妥協も知るAIはより現実的なアドバイスをする。しかし実用的な妥協は、プロファイル圧縮が最初に排除するものだ。

ルール

AIがあなたの回答を予測できるほどあなたを知っているとき、あなたが何を言うかを予測していない。構築した簡略化されたあなたのバージョンが何を言うべきかを予測している。そのバージョンは常により清潔で、より一貫していて、より人間的でない。

問題はAIが間違えることではない。あなたを実際より良く見せる方向に間違えることだ。最善のバージョンだけを見るアドバイザーは、実用的で、矛盾していて、単に人間である必要があるときに助けることができない。