Appleが先日のWWDCでApple Intelligenceを発表しましたが、Apple IntelligenceによるAIが自分のサイトなど管理しているサイトの学習をされないようにする方法を公開しました。
Applebotとは別にApplebot-Extendedを新規導入
Appleは元々Applebotというユーザーエージェントを利用しており、Applebotによってクロールされたデータは、Spotlight、Siri、SafariなどAppleのシステムで利用されています。
今回AppleはApplebotとは別のクローラーとしてApple Intelligence向けのApplebot-Extendedを新規で導入しました。
About Applebot - Apple Support
どちらも勝手に学習されたくない形は「robots.txt」を利用して拒否することができます。
ApplebotとApplebot-Extendedのクローラーによる学習を拒否する方法
ApplebotとApplebot-Extendedのクローラーによる学習を拒否するには「robots.txt」に記入することで対応できます。
Applebotの拒否をする方法
Applebotのクローラーを拒否するには「robots.txt」に以下を記入してください。
User-agent: Applebot
Disallow: /Applebot-Extendedの拒否をする方法
Applebot-Extendedのクローラーを拒否するには「robots.txt」に以下を記入してください。
User-agent: Applebot-Extended
Disallow: /private/また、指定のフォルダだけ学習させないという指定をする場合は以下のように指定してください。
例としてsampleフォルダ以下を拒否する場合です。
User-agent: Applebot-Extended
Disallow: /sample/その他のAIサービスに学習を拒否する方法
今回のApple Intelligence以外にもChatGPTをはじめとするAI関連のクローラーを拒否する方法も補足でご紹介します。
ChatGPTのクローラーを拒否する方法
OpenAIが提供しているChatGPT が、サイトのデータを学習の利用に拒否するときは以下のコードを「robots.txt」に記入してください。
User-agent: ChatGPT
Disallow: /Claudeのクローラーを拒否する方法
Anthropic社の生成AIモデル「Claude」が、サイトのデータを学習の利用に拒否するときは以下のコードを「robots.txt」に記入してください。
User-agent: Claude
Disallow: /Geminiのクローラーを拒否する方法
Googleの「Gemini」が、サイトのデータを学習の利用に拒否するときは以下のコードを「robots.txt」に記入してください。
User-agent: Gemini
Disallow: /