Contents - 目次
ChatGPTに、個人情報や著作権を学習されたくないとき。
ChatGPTから個人情報や肖像権を制限。
ChatGPTは便利な反面、勝手にAIに学習されると困るという場合がある。
例えば…
- 個人情報が含まれるサイト。
- 著作権があるコンテンツ。
- ログインが必要なサイト。
- 有料コンテンツがあるページ。
など。
そのような場合は、「robots.txt」でWebサイトのクロールを拒否することができる。
いくつかの手段があるが、OpenAIが公式に発表している方法がある。
参照元サイト：OpenAI Platform（英語。ブラウザで翻訳可。）
ChatGPTの、GPTBotのクロールを制限するコード。
ChatGPTのクローラーはGPTBotと呼ばれる。このBotのアクセスを避けたいときは、「robots.txt」にコードを追加すると良い。
(「robots.txt」には複数形の「s」が必要。)
サイト全体のアクセスを禁止。
下記のコードを「robots.txt」に貼り付け、サイトのルートディレクトリへ設置する。
User-agent: GPTBot
Disallow: /
サイトの一部のアクセスを許可。
サイトの一部のコンテンツのみに、アクセスできるようにすることも可能。
次のような形式で、ディレクトリへのアクセスを許可 or 拒否できる。
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/
- Allowで、ディレクトリ（上記例：directory-1）のクロールを許可する。
- Disallowで、ディレクトリ（上記例：directory-2）のクロールを許可しない。
GPTBotを、ユーザーエージェントで識別する場合。
GPTBotのユーザーエージェントは、下記の文字列で識別できるとのこと。
User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
GPTBotを、IPアドレスによりブロックする場合。
GPTBotのIPアドレスの範囲。
GPTBotのIPアドレスの範囲（レンジ）は、次の一覧が公開されている。
20.15.240.64/28
20.15.240.80/28
20.15.240.96/28
20.15.240.176/28
20.15.241.0/28
20.15.242.128/28
20.15.242.144/28
20.15.242.192/28
40.83.2.64/28
参照元サイト：OpenAI Platform（英語。ブラウザで翻訳可。）
その他のIPアドレスの範囲。
52.230.152.0/24
52.233.106.0/24
参照元：https://openai.com/gptbot-ranges.txt
以上、参考になれば幸いです。
※Webデザインは実務数年、職業訓練校講師数年、フリーランス数年、計15年以上のキャリアがありますが、一気にがぁっと書いているので「です・ます調」ではありません。（元々はメモ書きでした。） ※事実や経験、調査や検証を基にしていますが、万一なにかしら不備・不足などがありましたらすみません。お知らせいただければ訂正いたします。 ※写真は主にUnsplashやPixabayのフリー素材を利用させていただいております。その他の写真や動画もフリー素材やパブリックドメイン、もしくは自前のものを使用しております。
井川 宜久 / Norihisa Igawa
AI 関連メモ。
ChatGPT 関連メモ。
- ChatGPTの最新推論モデル「o3-mini」の使い方とヒント。
- ChatGPTの次世代モデル、GTP-4.5とGPT-5のリリース時期と可能性。
- ChatGPTの最新推論モデル「o3-mini」の使い方とヒント。
- ChatGPT searchとは？使い方や、有料と無料、Googleとの違い。
- Chrome拡張機能、ChatGPT searchの使い方。自然言語、日常会話で検索。
- ChatGPTに検索機能。ChatGPT searchでWeb検索が可能に。
- MacとWindowsでもChatGPTと音声会話。Advanced Voiceが利用可能に。
- Advanced Voiceによる音声会話。ChatGPTとプラトニックな関係に？
- OpenAI o1の使い方。考えてから答える新しいChatGPTモデル。
- Voice Engineという名の、音声合成技術。日本語の精度は？
- SearchGPT。ChatGPTがAI検索エンジンに。使い方の例と順番待ちへの登録方法。
- GPT-4o miniが登場。ChatGPT無料版はGPT-3.5からバージョンアップ。
- ChatGPT無料ユーザーにもメモリ機能が。記憶や使い方の例。
- iPhoneやiPad、MacでChatGPT（GTP-4o）が。Apple Intelligence。
- 生成AIとWebデザイン、ChatGPTを活用したコーディングに必要なもの。
- ChatGPT最新モデル GPT-4oが無料でも。使える主な機能。
- ChatGPT（GPT-4o）で、PDF要約の精度を検証した結果。
- GPT-4o。ChatGPTと画像見ながら音声で会話？有料でも無料でも。
- ChatGPT無料版でも画像生成が可能に。有料版だけじゃない！？
- ChatGPT（チャットGPT）にアーカイブ機能が。復元も削除も。
- ChatGPT（チャットGPT）を日本語化。日本語設定の方法。
- ChatGPT（チャットGPT）との音声会話と、音声の変更方法。
- ChatGPTアプリのインストールとログイン方法、チャットの使い方。
- ChatGPT（チャットGPT）のスペルチェック、文章校正がむっちゃ楽。
- ChatGPT（チャットGPT）へのログイン方法。ログインできないとき。
- ChatGPTにプラグイン。広がる機能と使い方。最新情報へも。
- ChatGPTがLINEに?「AIチャットくん」の始め方、そして使い方。
- ChatGPTの始め方と使い方と。初心者向けシンプル版。
- ChatGPTはSVGアイコンを作れるのか？
- ChatGPTの文章作成やコーディング、SEO対策は変わるか？
DALL·E 関連メモ。
Sora 関連メモ。
- OpenAI Soraの短編映画。アーティストや映画制作者たち。
- OpenAIのSoraの公開デモから、Soraの仕組みをできるだけシンプルに。
- OpenAIからSora（動画生成AI）が広がる。デモやWebCMから一般公開へ。
Gemini 関連メモ。
- NotebookLMは使えない？YouTube動画とPDFの使い方と検証結果。
- Google AI Studioの「Gemini 1.5 Pro 002とGemini Experimental 1114」にできること。
- Gemini 1.5 Pro 2Mモデル。Waitlistの登録手順。日本語上手なGoogle生成AI。
- BardからGeminiに。使い方はどう変わる？日本語対応は？
- Bard（Gemini）が絵を描けるように。テキストから画像生成の方法。
- Bard（Gemini）の画像認識の使い方。日本語対応済み、Googleレンズで画像読み取り。
- 最新情報を日本語かつ無料で使いたいときは、GoogleのBard？
- ChatGPTとBardの違い。なぜAIは日本語チャットが苦手なの？
- Bard（Gemini）が日本語対応。ログイン方法や最新情報など、使い方の例。
- BardでGemini。Googleの最新AIを無料で使う方法。
- GoogleのBardは、OpenAIのChatGPTを越えられるだろうか？
Copilot、Bing 関連メモ。
- ChatGPTとCopilotの違い。料金や、できることと、できないこと。
- Copilotとは？ GPT-4とDALL·E 3が無料で使える生成AI。
- SkypeのBingチャット。GPT-4を日本語かつ無料で使える。& 注意点。
- BingのGPT-4、チャットの使い方。使えない？（今はまだ。）
- MacでGPT-4（ChatGPT最新版）を使う場合、Edgeが必要なのかも。
Llama 関連メモ。
- Llama 3.1登場。MetaのオープンソースAIとダウンロードサイト。
- Meta Horizon OSとApple Vision Pro。オープンかクローズか。
- Llama 3。無料でオープンソースなMeta AI最新モデル。
- Llama（ラマ）の使い方や日本語は？ ダウンロード手順とブラウザ実装サイト。