AIのインサイト

AIボットとクローラーのトラフィック

リンクをコピー

AIボットは、検索エンジン、AIモデルの学習、その他のデータ処理に使用する目的で、公開されたWebサイトをスキャンしてデータを収集します


HTTPトラフィック(ボット別)

リンクをコピー

最も活動量の多いAIボット(トップ5)のHTTPリクエストの傾向

さらに詳しく…

クロールの目的

リンクをコピー

クロール目的別トラフィック量

さらに詳しく…

コンテンツの種類

リンクをコピー

MIME タイプカテゴリー別にグループ化された AI ボットとクローラーに返されたコンテンツタイプの分布

さらに詳しく…

エージェント向け Markdown の削減効果

リンクをコピー

AI ボットとクローラーに HTML の代わりに Markdown を提供した場合のメディアンレスポンスサイズ削減量

さらに詳しく…Data Explorerで表示

レスポンスステータス

リンクをコピー

AI ボットとクローラーに返された HTTP レスポンスステータスコードの分布

さらに詳しく…

HTMLページリクエスト数(クライアント種類別)

リンクをコピー

HTMLページリクエストの割合(クライアント種類別)

さらに詳しく…

クロール対参照比率

リンクをコピー

プラットフォーム別のHTMLページのクロール要求と参照の比率。この変化は前期との比較を反映している

さらに詳しく…

AI Bot の透明性

リンクをコピー

主要な AI モデルおよびサービスプロバイダーの Bot におけるベストプラクティスの追跡

AIエージェント向け標準の採用状況

リンクをコピー

スキャン上位 200,000 ドメインのうち ドメインにおける標準規格の採用状況

さらに詳しく…
エージェント準備度についてWebサイトをスキャンする
これらのチェックは、正常にスキャンされたドメインにおける AI エージェント標準の採用状況を測定します。上位 200,000 のうち、エージェント準備度分析に意味のないカテゴリー(検索エンジン、空のインフラやアクセス不可のインフラなど)は除外しています。すべての標準がすべてのウェブサイトに適用されるわけではありません。たとえば、x402 は有料コンテンツを持つサイトにのみ関連し、WebMCP は AI エージェントにツールを公開するサイトに関連します。

最新のAIブログ記事

リンクをコピー

Cloudflareブログで「AI」のタグが付けられた記事

Content Independence Day(コンテンツ独立記念日)を宣言してから1年、ダイナミックなコンテンツ収益化市場が本格的に動き出しました。このレポートでは、自律型AIエージェントの台頭によって従来の検索リファラルが成立しなくなっている現状を考察し、持続可能なWeb経済を支えるために必要な新しいインフラストラクチャを詳説します。

Arielle Weiss, Zach Albertson, Emily Lanfear

検索すればWeb上のほぼすべてのものが見つかります。クリエイターも商品も回答も、検索を通して発見されます。AIがルールを書き換えており、クリエイターはエージェンティックインターネットの時代に発見可能性を維持するか、作品の対価を得るかで悩んでいます。私たちは本日、そのジレンマの解消に役立つ2つのイニシアチブを開始します。

Matthew Conroy

Cloudflareは2回目のContent Independence Dayに、AIトラフィック管理をより細かく設定する選択肢をWebサイトオーナーに提供します。すべてのお客様が、軒並みブロックするのでなく、「検索」、「エージェント」、「学習」のボットを簡単に区別して管理し、広告で収益化するページを保護できるようになりました。

Jin-Hee Lee, Bryan Becker