Cloudflareコラム | Cloudflareで始めるAIクローラー対策

AI時代の新たな課題

AIの進化により、Web上のコンテンツは簡単に収集・再利用されるようになりました。
検索エンジンとは異なり、AIクローラーは元のサイトにアクセスを返すことなく、直接回答を生成します。その結果、コンテンツ提供者の収益や影響力が失われる問題が出てきています。

Cloudflareの新機能：AIクローラー制御の革命

2025年7月、Cloudflareは「Content Independence Day」と題して、AIクローラーによる無断スクレイピングをデフォルトでブロックする新方針を発表しました 。

主な機能：

• AIクローラーのアクセス制御を初期設定で拒否
• サイト追加時に「AIクローラーの許可・拒否」を明示的に選択可能
• robots.txtにより、主要AIクローラーへの対応を自動化 

この機能により、Webサイト所有者はAIクローラーに対して明確な意思表示ができるようになり、コンテンツの利用をコントロールできるようになります。

適用方法は非常にシンプルで、Cloudflareにサイトを追加する際に該当項目を選択するだけです。

•        AIトレーニングボットをブロックする（デフォルト有効）

•        robotx.txt でAIボットトラフィックを管理する（デフォルト有効）

※コンテンツを AI トレーニングに使用しないよう通知するためにrobots.txt ファイルを作成または更新します。SEO には影響しません。

主なブロック対象

以下のようなAIトレーニング目的のクローラー（AI Bots）を自動的に検出し、ブロックします。

これらのボットは、Web上のコンテンツを収集し、主に大規模言語モデル（LLM）の学習や推論に利用されます。

※上記リストに加えて、AIクローラーに分類される認証済みボット、および同様の動作をする未認証ボットも含まれます。

　カテゴリおよび各カテゴリに分類されるボットは随時変更される場合があります。

Cloudflareの新機能は、単なる技術的なアップデートではありません。これは、インターネットの健全なエコシステムを守るための重要な一歩です。AIの急速な進化と共存していくためには、コンテンツ制作者が「選択する力」を持つことが不可欠です。Cloudflareは、セキュリティ、パフォーマンス、プライバシーの分野で最先端技術を駆使し、インターネットをより安全で信頼できる空間へと進化させるために、日々革新を続けています。

執筆者：
三井情報株式会社
ソリューション技術グループ ソリューション第二技術本部　インフラ第一技術部第二技術室