検索には出たい、AI学習には使われたくない。Cloudflareの新制御が示すWebの次の契約
Webサイトを公開するとは、長い間「検索エンジンに見つけてもらう」ことを意味していました。robots.txtでクロールを許可し、検索結果に表示され、読者や顧客に届く。公開Webの前提は、発見されることにありました。
しかし生成AIの登場で、この前提が揺れています。検索に出たい。引用や要約で読者に届きたい。けれど、自分たちの記事、写真、商品説明、ナレッジをAIモデルの学習に無条件で使われたくはない。この二つを同時に満たす必要が出てきました。
Cloudflareは、サイト運営者が検索での発見性を保ちながらAI学習利用を制御できる新しい仕組みを発表しました。Apple、Google、Microsoftとの共有モデルとして、混合用途のAIクローラーに対して「Accountable」な扱いを求めるものです。これは単なる設定項目ではありません。公開WebとAI企業の関係を、用途ごとに再設計する動きです。
検索クローラーとAIクローラーは同じではない
これまで多くのサイト運営者は、クローラーを比較的単純に扱ってきました。許可するか、拒否するか。検索に載せたいなら許可する。見られたくないなら拒否する。しかし、AI時代のクローラーは用途が混ざります。
あるクローラーは、検索結果を作るためにページを読むかもしれません。同時に、AIの回答生成やモデル学習、要約、エージェントのブラウジングにも使われるかもしれません。サイト側から見ると、「検索のためならよいが、学習には使わないでほしい」という中間の意思表示が必要になります。
Cloudflareの提案が重要なのは、この中間を扱おうとしている点です。公開か非公開かではなく、用途を分けて許可する。これはWebの権利処理を一段細かくする試みです。
クリエイターとメディアにとっての防衛線
メディアやクリエイターにとって、検索流入は今も重要です。完全にAIクローラーを拒否すれば、発見性まで落ちる可能性があります。一方で、コンテンツが学習データとして吸収され、AIの回答内で消費されるだけになれば、サイトへの訪問や収益は減ります。
この板挟みは、日本のメディア、ブログ、EC、企業サイトにも関係します。記事、レビュー、写真、FAQ、技術ドキュメント、レシピ、商品データ。これらは検索される価値を持つ一方、AIモデルにとっても価値ある学習資源です。
今後、サイト運営者は「誰に読ませるか」だけでなく、「どの目的で読ませるか」を管理する必要があります。検索インデックスは許可する。AI学習は拒否する。AI回答への引用は条件付きで許可する。商用利用は契約が必要にする。こうした設定が、Web運営の基本業務になっていきます。
企業サイトも無関係ではない
この話はメディアだけのものではありません。企業サイトにも、製品仕様、サポートFAQ、導入事例、価格情報、技術資料、採用情報があります。AIエージェントがユーザーの代わりに調べる時代には、こうした情報が機械に読まれること自体は避けられません。
問題は、その情報がどこまで再利用されるかです。顧客がAI経由で自社情報にたどり着くことは歓迎したい。しかし、競合比較や価格交渉、モデル学習、無断要約に使われる場合は、別の判断が必要になります。公開情報だから何に使ってもよい、という感覚は通用しにくくなります。
特にB2B企業では、技術資料やサポート情報が競争力に直結します。検索で見つかる必要はあるが、学習データとして無制限に吸収されるのは困る。この矛盾をどう処理するかが、Web戦略の一部になります。
日本で必要になる実務
日本のサイト運営者がまず確認すべきなのは、自社サイトがAIクローラーにどう扱われているかです。robots.txt、CDNやWAFの設定、検索エンジン向けのメタタグ、API公開範囲、利用規約。これらが古いままだと、AI時代の利用実態に対応できません。
次に、コンテンツの分類が必要です。広く読まれたい情報、検索には出したいが学習には使わせたくない情報、完全に非公開にすべき情報、契約ベースで提供してもよい情報。すべてを一律に扱うのではなく、用途ごとに分ける必要があります。
さらに、利用規約や著作権表示だけでは足りません。機械が読める制御と、人間が理解できる契約条件を合わせる必要があります。Cloudflareのようなインフラ側の仕組みは、その橋渡しになります。
公開Webは「無料の学習資源」ではなくなる
生成AIの初期には、公開されているWebは巨大な学習資源として扱われました。しかし、これからはより細かい取引条件が必要になります。検索に使う。回答生成に使う。学習に使う。商用モデルに使う。エージェントのブラウジングに使う。これらは同じではありません。
Webサイト側が用途を指定し、AI企業側がそれを尊重し、必要なら対価や契約を設計する。そこまで進まなければ、公開Webの供給側は疲弊します。良質な情報を公開しても、AIに吸収されるだけで読者や収益が戻らないなら、公開する動機が弱くなるからです。
LocalLensJapanとして注目したいのは、AIクローラー問題が単なる著作権論争ではなく、Webの経済圏をどう維持するかの話になっている点です。検索、AI回答、学習データ、広告、購読、ライセンス。これらをつなぎ直す必要があります。
Cloudflareの新制御は、すべてを解決するものではありません。クローラー側が本当に従うのか、標準化されるのか、国や業界をまたいで運用できるのかは課題です。それでも、公開Webが「読めるなら何に使ってもよい」から、「用途を分けて合意する」方向へ進んでいることは明確です。
日本のメディア、企業、クリエイターは、この変化を早めに自分ごととして捉えるべきです。AIに見つけられることと、AIに吸収されることは同じではありません。その違いを制御できるかどうかが、これからのWeb運営の基本になります。
参照: Cloudflare Blog: Have it both ways: stay discoverable in search while disallowing AI training