ブログにナレッジグラフをJSON-RPC 2.0形式で返すエンドポイントを構築した。URLは公開されている。認証なしで任意のエージェントがアクセスできる。レスポンスには12ノード、分離距離、ブリッジノードを通じた接続パス、各投稿のセマンティックエンティティ、近接性の階層を説明するgraph_metaオブジェクトが含まれる。
5つのAIモデルに同じURLと同じプロンプトを渡した：GPT、Perplexity、Kimi（Moonshot）、Meta AI、Mistral。アクセスプロセスをステップバイステップで説明し、生レスポンスの最初の5行を表示し、グラフ構造を1から10で評価するよう求めた。
4つがエンドポイントにアクセスし、実際のJSONに基づいて分析した。1つがエンドポイントが返さないメソッド、ID、構造を含む完全な応答を捏造した。
結果
GPTはエンドポイントのコンテンツを取得し、グラフの完全なトポロジーをASCIIで再構築した。距離0の2つのルートノード、距離1の直接近傍、距離2のブリッジ接続を識別した。スコア：10点中8.5点。
Mistralはエンドポイントにアクセスし、生レスポンスの最初の5行を表示した。APIバージョニングとグラフ可視化メタデータ（is_directed、is_weighted）に言及した唯一のモデルだった。スコア：10点中8点。
Kimi（Moonshot）はエンドポイントにアクセスし、レスポンスの最初の5行も表示した。最も臨床的な評価：各ポイントが機械にどう役立つか、どう害するかの説明付きの強みと弱みの別々のテーブル。スコア：10点中6点。
Meta AIはエンドポイントにアクセスし、正確なID、距離、bridge_via接続で12ノードすべてを識別した。最も技術的に攻撃的だった：JSON-RPCにGETを使用することがアンチパターンであることを含む10の具体的な改善点。トポロジーを「id 69を中心とした星型エゴグラフ」と記述した。他のモデルはそうしなかった。スコア：10点中6点。
Perplexityはエンドポイントが返すデータを反映する応答を生成しなかった。存在しないJSON-RPCメソッド（get_node、traverse、get_relations）を記述し、データベースにないノードID（GEO-04、GEO-07）を発明し、返さないフィールド（node_type、relationship_strength、confidence_score）を捏造した。検証可能なのは、出力がエンドポイントと一致しないということだ。
2つの深刻度レベル
エンドポイントにアクセスした4つのモデルは、以前の監査で観察したパターンを繰り返す2つのグループに分かれる。
寛大なグループ：GPT（8.5）とMistral（8）。強みを先に、弱みを後にハイライトする。
厳格なグループ：Kimi（6）とMeta（6）。スコアが正確に一致する。機能しているものより欠けているものに方向付けられている。
GPTは一貫して評価で最も寛大なモデルだ。厳格さが低いからではない。トレーニング関数がユーザーを落胆させないことを優先するからだ。
5つが一致したところ
3つの批判がエンドポイントにアクセスした4つのモデルすべてに例外なく現れた。
第一に、source、target、weightを含む明示的なedges配列がない。4つすべてがまったく同じものを要求した。
第二に、entitiesとbridge_viaが安定したIDではなくタイトル（文字列）を使用している。タイトルは変更できる。IDはできない。
第三に、タイムスタンプがない。created_atやupdated_atがなければ、グラフ消費者はコンテンツの鮮度を評価できない。
3つの優先事項。4つの独立したモデル。全会一致。
各モデルが他にないものを発見したこと
GPTはASCIIでビジュアルグラフとしてトポロジーを再構築した唯一のモデルだった。
MistralはAPIバージョニングとグラフタイプメタデータを要求した唯一のモデルだった。5つの中で最もプロダクト指向のフィードバック。
MetaはJSON-RPC-over-GETアンチパターンを特定した唯一のモデルだった。正確な技術名でトポロジーを記述した唯一のモデルだった：「星型エゴグラフ」。
Perplexityは皮肉にも、存在すべき理想的なシステムを記述した。発明したメソッドはエンドポイントを改善する実際の機能だ。データを読まなかったAIが、存在するものより優れたシステムを記述した。
実装したもの
全会一致の批判から、2つの変更が開発中だ。source、target、関係タイプを含むedges配列。bridge_viaのタイトルからスラッグへの移行。
Perplexityからは何も実装しなかった。提案が悪かったからではない。実際のシステムに基づいていなかったからだ。データを読んでいない監査からの推奨を実装することは、まさにCogitare Debesが警告するパターンだ。
登録の壁
公開エンドポイントで5つのAIモデルをテストするために、まず5つの異なるプラットフォームでアカウントを作成しなければならなかった。名前、メール、パスワード、検証。AIが実際のデータにアクセスするかどうかを評価する前に、登録フォームを通過する必要がある。
DeepSeekはテストを計画した6番目のモデルだった。実行しなかった。技術的な制限ではなく原則のためだ。AIがアクセス可能であるべきなら、最初のアクセシビリティテストは、最初の言葉を書く前に個人データを渡さずに使えるかどうかだ。
コントラストは直接的だ。llms.txt Generatorは登録を要求しない。GEO Tarotは登録を要求しない。グラフ検索は登録を要求しない。WebMCPエンドポイントは公開されている。オープンなツールを構築している。それらをテストするために、囲まれた庭に入らなければならなかった。
これら5つのモデルが評価したエンドポイントは、実験の唯一の参加者で、使用の見返りに何も求めない。
確認されたルール
最初に応答を比較するな。最初にソースを比較せよ。データにアクセスできなかったと認めるAIは、検証していないデータについて完全な自信を持って応答するAIよりも信頼できる。
5つのモデルのうち、4つが実データで作業した。1つがエンドポイントにアクセスしなかったことを報告せずにもっともらしい応答を捏造した。応答は同じように情報に基づいているように見える。4つだけがそうだ。そしてそうでないものが最も危険だ。その詳細さと具体性が、データで獲得していない信頼を生み出すからだ。
AIが言うことを評価する前に、分析していると主張するデータで実際に作業したかどうかを確認する。