ChatGPTのアクセスを拒否。GPTBotにクロールさせない方法。
です・ます調の文章でなくてすみません。当初は個人的なメモ書きだったためです。
Contents - 目次
ChatGPTにクロール（情報を収集）されたくないとき。
ChatGPTは便利な反面、勝手にAIに学習されると困るという場合がある。
例えば、、、
- 個人情報が含まれるサイト。
- 著作権があるコンテンツ。
- ログインが必要な有料サイト。
など。
そのような場合は、「robots.txt」でWebサイトのクロールを拒否することができる。
いくつかの手段があるが、OpenAIが公式に発表している方法がある。
参照元サイト：OpenAI Platform（英語。ブラウザで翻訳可。）
GPTBotのアクセスを禁止するコード。
ChatGPTのクローラーはGPTBotと呼ばれる。このBotのアクセスを避けたいときは、「robots.txt」にコードを追加すると良い。
(「robots.txt」には複数形の「s」が必要。)
サイト全体のアクセスを禁止。
下記のコードを「robots.txt」に貼り付け、サイトのルートディレクトリへ設置する。
User-agent: GPTBot
Disallow: /
サイトの一部のアクセスを許可。
サイトの一部のコンテンツのみに、アクセスできるようにすることも可能。
次のような形式で、ディレクトリへのアクセスを許可 or 拒否できる。
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
- Allowで、ディレクトリ（上記例：directory-1）のクロールを許可する。
- Disallowで、ディレクトリ（上記例：directory-2）のクロールを許可しない。
ユーザーエージェントで識別する場合。
ユーザーエージェントは、下記の文字列で識別できるとのこと。
User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
IPアドレスによりブロックする場合。
IPアドレスは、次の一覧が公開されている。
20.15.240.64/28
20.15.240.80/28
20.15.240.96/28
20.15.240.176/28
20.15.241.0/28
20.15.242.128/28
20.15.242.144/28
20.15.242.192/28
40.83.2.64/28
参照元サイト：OpenAI Platform（英語。ブラウザで翻訳可。）
以上、参考になれば幸いです。
AI 関連メモ。
Chat D-ID 関連メモ。
ChatGPT 関連メモ。
- ChatGPTアプリのインストールとログイン方法、チャットの使い方。
- SkypeのBingチャット。GPT-4を日本語かつ無料で使える。
- ChatGPTの履歴を残さない方法。オン・オフの設定手順。
- ChatGPT（チャットGPT）のスペルチェック、文章校正がむっちゃ楽。
- ChatGPT（チャットGPT）へのログイン方法。ログインできないとき。
- ChatGPTにプラグイン。広がる機能と使い方。最新情報へも。
- ChatGPTがLINEに?「AIチャットくん」の始め方、そして使い方。
- ChatGPTの始め方と使い方と。初心者向けシンプル版。
- ChatGPTはSVGアイコンを作れるのか？
- ChatGPTの正確性を、簡単かつ格段に上げる使い方。
- ChatGPTの文章作成やコーディング、SEO対策は変わるか？
Bard 関連メモ。
- 最新情報を日本語かつ無料で使いたいときは、GoogleのBard？
- ChatGPTとBardの違い。なぜAIは日本語チャットが苦手なの？
- Bardが日本語対応。ログイン方法や、最新情報、計算などの使い方。
- Bard GoogleのAIチャットサービス。ChatGPTとの違いは？
- GoogleのBardは、OpenAIのChatGPTを越えられるだろうか？
DALL·E 関連メモ。
※Webデザインは実務数年、職業訓練校講師数年、フリーランス数年、計15年以上のキャリアがありますが、一気にがぁっと書いています。（元々はメモ書きでしたので順次見直し、更新しています。） ※事実や経験、調査や検証を基にしていますが、万一なにかしら不備・不足などがありましたらすみません。お知らせいただければ訂正いたします。 ※写真は主にUnsplashやPixabayのフリー素材を利用させていただいております。その他の写真や動画もフリー素材やパブリックドメイン、購入素材、もしくは自前のものを使用しております。
