AI’s Dream — AIボットが存在しないページにアクセスする理由

AIボットのアクセスログを見ていて、気になることに気づいた。それは、存在しないパスへのアクセスだ。

最初はミスタイプを疑った。しかし、そうではない。アクセスされたパスをよく見ると、すべて意味的に整合していることがわかる。

  • /blog/consent-and-measurement
  • /blog/engagement
  • /blog/how-to-read-and-analyze-reports/
  • /blog/synergy-between-seo-and-web-access-analysis
  • /blog/track-user-behavior/

どれも、このサイトにあってもおかしくないURLだ。ランダムなタイポであれば /blog/cnsoent-and-measurment のような形になるはずだが、そうはなっていない。

なぜ起きるのか

これは想像なのだが、、、
AIは、ユーザーの質問に答えるとき、情報のソースを探す。該当するページが見つかれば、それを参照して回答する。しかし、見つからなかった場合はどうするか。

AIはサイトの文脈、構造、扱っているテーマから、「このサイトにはこのページが存在するはず」と推定して補完する。その推定が、存在しないURLへのアクセスとして現れるのではないか。

あなたはこんな経験はないだろうか。AIにURLを渡したとき、実際にはページを読まずに、パス名だけから内容を推測して回答してくる。/blog/consent-and-measurement というURLを渡せば「CMPの導入がGA4の計測に与える影響について書かれたページですね」と答える。ページの中身ではなく、URLそのものをコンテンツの代理として読んでいるのだ。

クローラーとしてのアクセスログに現れる「存在しないページへの到達」も、これと同じ推論メカニズムから来ていると考えられる。どちらも、URLのパス名をコンテンツの手がかりとして扱っている。

これをAI’s Dreamと定義する。

AI’s Dreamの定義

AIが、ユーザーの質問に対して既知の情報だけでは回答しきれない場合に、サイトの文脈・構造・権威性から「このURLに答えがあるはず」と推定し、存在しないページへアクセスする現象。

ハルシネーションとは似て非なる概念である点を強調しておきたい。
ハルシネーションが「存在しない情報を事実として生成するエラー」であるのに対し、AI’s Dreamは「存在しないページを存在すると推定してアクセスする、構造的な推論の結果」だ。

ただし、両者の境界は曖昧かもしれない。存在しないURLにアクセスした結果、そのページが「存在した」という事実としてAIの認識に組み込まれているとすれば、それはハルシネーションの一形態とも言える。AI’s Dreamはハルシネーションの対極にある概念ではなく、その入口に位置しているのかもしれない。

この観測が、これまで解明が難しかったハルシネーションのメカニズムに対して、何らかの示唆を与える可能性がある。

Inferred Pathとは

AI’s Dreamのアウトプットとして生成されるURLパスを、Inferred Pathと定義する。AIがサイト構造から推定した「あるべきURL」であり、実際には存在しない。

ただ、Inferred Pathはエラーではなく、シグナルだ。
AIがそのサイトに期待しているコンテンツの輪郭を、ログとして可視化したものと解釈できる。

観測するということ

AI’s DreamとInferred Pathは、サーバーログを解析することで観測できる。Googleアナリティクスなどのページベースの計測ツールでは404として記録されるが、ログレベルでは明確に残る。

→ 観測手法の詳細はEdgeShapingを参照

シグナルとして受け取る

AIがInferred Pathを踏んだという事実は、そこに需要があることを示唆している。AIが「あるはず」と推定したコンテンツを、実際に書いてみることは一つの応答戦略になりうる。

あなたのサイトのInferred Pathは、次に書くべき記事のリストかもしれない。

この記事は、当サイトに存在しないURLにAIクローラーがアクセスした記録をもとに執筆しました。AIが「あるはず」と予測したコンテンツを、実際に書くことで応答する試みです。