mare interno合同会社(代表 内海賢一)は、ある大規模サイトのサーバーログで、検索/RAGに分類しているAI botのページ取得上位10件を出した。上位に同じ回数が並んだ。OpenAIの検索用bot「OAI-SearchBot」に絞ると、4位から10位までが40回から42回で、11位から20位はすべて40回だった。
ランキングは需要の差を見るために作る。同じ回数が並ぶなら、数えているものは需要ではない。本稿は、この違和感から自社サイト mare-interno.com のログを調べ直した記録である。mare interno の結論は3つある。
- 「検索/RAG」と呼んできたbotには、質問を待たずに、決まった間隔でページを取っているものもある。
- 各社が申告するbotの用途と、実際の挙動は一致しない。
- botの動きはサイトによって違う。自分のサイトのログを見なければ分からない。
40回は何の数か
対象期間は240時間だった。40回は、6時間ごとに1回の計算になる。実際に、同じページへの取得は約6時間おきに並び、1回ごとに1分から5分ずつ後ろへずれていた。固定の時刻ではなく、固定の間隔である。
利用者の質問に応じて取りに来ているなら、ページごとに回数は違うはずである。同数は、巡回表の存在を示している。
2月にはもう出ていた
過去のログを遡ると、6時間ごとの巡回は1月末の時点で計測できていた。対象は約110から120ページで、2月の対象の87%は9月も同じページだった。9月の対象の89%は、同じ1枚のページからリンクされている。OAI-SearchBotは、特定のページのリンクを参照している可能性がある。
ただし当時は気づけなかった。2月の上位10件は、1位から7位までが別々の回数で、同じ層は8位以下に3件入るだけだった。普通のランキングにしか見えない。あとから探せば見つかるが、当時は探す理由がなかった。
| 時期 | 上位10件に入った同じ層 | 見え方 |
|---|---|---|
| 2月 | 3件(うち同数は2件) | 普通のランキング |
| 8月 | 4件 | 下位に同数が並ぶ |
| 9月 | 7件 | 4位から下が同数で埋まる |
9月に加わったもの
9月に増えたのは、24時間ごとの巡回である。同じページを約24時間後に取り直した回数は、8月までは再取得全体の0.1%だった。9月は61%になった。OAI-SearchBotが取得したページの56%が、対象期間のうち8日以上取られている。ページ取得の総数は8月の2.2倍である。
同じ期間に、利用者の操作を起点にその場で取りに来る「ChatGPT-User」のページ取得は42%減った。
自社サイトで見たOpenAIの3つのbot
mare interno は、同じ見方で自社サイトのログを集計した。期間は2026年2月17日から10月4日である。
| GPTBot | OAI-SearchBot | ChatGPT-User | |
|---|---|---|---|
| OpenAIの申告 | 学習 | 検索 | 利用者の操作 |
| 総取得 | 3,733回 | 1,567回 | 1,361回 |
| robots.txt | 0回 | 792回 | 0回 |
| sitemap | 231回 | 0回 | 0回 |
robots.txtを読むのはOAI-SearchBotだけで、sitemapを読むのはGPTBotだけである。mare-interno.com のrobots.txtにはSitemap行がある。OAI-SearchBotはそれを792回読み、sitemapを1回も取らなかった。
GPTBotは、robots.txtを自分の名義では1回も読んでいない。それでもsitemapを217日のうち204日取っている。一方、参考サイトのrobots.txtにはSitemap行がなく、GPTBotはsitemapを1回も取りに来なかった。GPTBotは当て推量では取りに来ない。宣言されたものだけを読む。robots.txtの内容は、OpenAIのbotの間で共有されていると読める。
GPTBotのsitemapの使い方は、月1回の棚卸しである。毎日確認するのは目次にあたるファイルだけで、記事一覧の中身を読んだのは6日、33日から39日おきだった。その6日のうち5日は、巡回ページ数の上位7日に入る。
新着記事はsitemapで見つけていない。2月17日以降に公開した40本のうち、GPTBotが来たのは39本である。そのうち38本は、記事一覧の中身を読まないまま取得されている。35本は、トップページを取った直後、1分以内に初めて取得された。GPTBotがトップページを取る間隔は中央値で54時間である。
2月17日以降に公開した40本に最初に来たOpenAIのbotは、GPTBot 37本、ChatGPT-User 2本、OAI-SearchBot 1本だった。GPTBotは36本に公開から73時間以内に来ている。OAI-SearchBotは、7月までに公開した35本のうち15本にしか来ていない。来た日は公開日と関係がなく、6月15日には2月と3月に公開した3本を同じ日に取っている。8月11日以降に公開した5本には、すべて公開から10日以内に来ている。
ページごとの取得回数は、ChatGPT-Userが多いページほどOAI-SearchBotも多い(相関0.61)。
OpenAIの公式ドキュメントには、両方のbotを許可しているサイトでは、重複を避けるために1回のクロール結果を両方の用途に使うことがある、と書かれている。
他社のbot
| 会社 | robots.txtの取得 | sitemapの取得 |
|---|---|---|
| OpenAI | OAI-SearchBotだけ(792回) | GPTBotだけ(231回) |
| Anthropic | ClaudeBot(2,072回) | ClaudeBot(2,012回) |
| Meta | AI用の2つのbotは0回 | ExternalAgent 2,282回、WebIndexer 57回 |
OpenAI以外は2026年3月5日以降の自社サイトの値である。
ClaudeBotは学習用と申告されているが、自社サイトのトップページを250回取り、その間隔の63%が約24時間だった。参考サイトでも、取得したページの6%から7%を6時間から24時間の間隔で巡回している。
参考サイトでは、ClaudeBotはrobots.txtで宣言されていないsitemapを、10日で数百回取りに来ている。Metaはsitemapのファイル名を総当たりしている。Metaは学習名義のbotが94%減り、検索名義のbotが3.4倍になった。
検索用と申告されたbotのページ取得は、OpenAIが2.2倍、Metaが3.4倍、Perplexityが2.4倍である。ただしPerplexityは定時巡回になっていない。取得したページの6割は1回きりである。
申告された用途と、実際の挙動
| bot | 申告 | 観測した挙動 |
|---|---|---|
| GPTBot | 学習 | 発見と棚卸し。sitemapを毎日確認し、新着に最初に来る |
| OAI-SearchBot | 検索 | robots.txtの確認と定時巡回。質問がトリガーではない |
| ChatGPT-User | 利用者の操作 | 回答時の取得。ページ本文だけを取る |
| ClaudeBot | 学習 | 約24時間間隔の定時巡回。robots.txtもsitemapも自分で読む |
| Metaの2つのbot | 学習/検索 | robots.txtの取得は0回。sitemapは名前を総当たり |
| PerplexityBot | 検索 | robots.txtは読む。sitemapは読まない。定時巡回はない |
学習、検索、利用者の操作という3分類は、各社の申告である。ログに出る挙動は、この3つに収まらない。
無償の利用者への回答に使われているか
RESONEO社のOlivier de Segonzac氏は、ChatGPTの検索結果の供給元を調べた。無償のThinkモードは結果の74.7%がOpenAI自前のインデックス由来で、有償のThinkingモードは75.3%がGoogleの検索結果由来だった。ChatGPTの週間利用者は12億人、有料契約は約5,000万人であり、約96%は無償の利用者である。
同じ調査は、どのbotがこのインデックスを埋めているかは分からない、とも書いている。mare interno のログも、巡回とインデックスを直接は結べない。
それでも、少なくとも1つは変わる。「検索/RAG」のbotの取得回数は、需要の量ではなく巡回の間隔である。この回数で人気のページは測れない。そして、定時巡回の対象に入っているかどうかが、大多数を占める無償の利用者への回答に使われるかどうかを、左右するかもしれない。
サイトによって違う
| 項目 | 自社サイト | 参考サイト |
|---|---|---|
| OAI-SearchBotの定時巡回 | ない | 6時間ごとと24時間ごと |
| OAI-SearchBotの量 | 7か月で1,567回 | 自社の7か月分の約30倍を10日で取得 |
| GPTBotの量(Googlebot比) | 56% | 0.7% |
| GPTBotのsitemap取得 | ほぼ毎日 | 0回 |
参考サイトのGPTBotは、1ページを1回ずつ取るだけである。取得したページの6割から9割は、OAI-SearchBot、ChatGPT-User、Googlebotが同じ期間に取っていないページだった。RESONEO社の調査は、OAI-SearchBotはほぼ沈黙していたと書いている。参考サイトとは正反対である。
2つのサイトで、botの動きは実際に違った。他のサイトでも違うかもしれない。だから、他のサイトの調査結果を読んでも、自分のサイトのことは分からない。これからは、自分のサイトに来るAI botを見ることが重要になる。
mare interno は、WordPress向けの無料プラグイン「EdgeShaping Lite」を公開している。どのbotが、いつ、どのページを取ったかの記録と、公開IPレンジによる照合は、現行版でできる。本稿で示した巡回の間隔や新着への到着順も、インストールすれば見られるように準備している。
本稿はその出発点として、mare interno が2つのサイトの数字を置いたものである。
集計方法
- 自社サイトは mare-interno.com で、EdgeShaping のCDN版で記録したログを使った。期間は2026年2月17日から10月4日である。
- GPTBot、OAI-SearchBot、Googlebotは、各社が公開しているIPレンジと照合し、一致したものだけを数えた。
- ChatGPT-Userと他社のbotは、偽装元と判明したIP帯を除いて数えた。
- 参考サイトはサーバーログを使った。期間は1月末から3月初め、8月下旬、9月下旬の3つで、8月と9月はそれぞれ約240時間である。
- 新着記事は、WordPressの公開日時を起点にした。