OpenAIのウェブクローラー「GPTBot」をブロックすることが可能に
自身のウェブサイトをクローリングされたくない人は、robots.txtに追記しよう
ChatGPTのGPTBotクローラーがブロック可能になった。OpenAIによると、GPTBotのユーザーエージェントは以下のとおり。
User agent token: GPTBot Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
OpenAIによると、GPTBotでクローリングされたウェブページは、有料記事、個人を特定できる情報(PII)の取得、OpenAIのポリシーを違反するテキスト情報がフィルタリングされた上で、将来的に新しい言語モデルの改善に役立てられる。ウェブページのクローリングを許可することで、AIの正確性の向上、可能性の拡大、安全性の向上に貢献できると説明している。
robots.txtに記載する、GPTBotをブロックする記述は以下のとおり。
User-agent: GPTBot Disallow: /
特定のディレクトリを許可する場合は、以下のように記載する。
User-agent: GPTBot Allow: /directory-1/ Disallow: /directory-2/
AIの学習目的で情報の収集を行う行為は、多くの議論を呼んでいる。
もっと読む
2025.04.16
2025.01.15
2024.11.01
2024.08.02
2024.06.26
2024.05.14
2024.05.13
2024.05.11
2023.05.19
コメント(0件)
「テック&ウェブ」新着記事

OpenAIが独自SNS開発中?ChatGPTの画像生成機能を核に
2025.04.16

OpenAIの最新AI「GPT-4.5」登場、何が変わった?Pro会員と開発者が今すぐ使える新モデル
2025.02.28

OpenAI、GPT-5の開発計画を発表。統合AIシステムへの進化を目指す
2025.02.13

ChatGPTに教えてはいけない5つの機密情報とは
2025.02.07

OpenAI、AIハードウェアの開発を表明。ジョニー・アイブ起用でiPhone超えへの挑戦
2025.02.03

OpenAI、DeepSeekによる技術の無断利用を告発。560万ドルの低コスト開発に疑念
2025.01.30

今話題の中国発AI「DeepSeek」って何がすごいの?
2025.01.28

Netflix、また全プラン値上げ。プレミアムプランは月額24.99ドルに
2025.01.22

テック業界トップが大集結。トランプ就任式で見せた異例の融和姿勢
2025.01.21

ChatGPTが変える日常生活管理の未来。デジタルアシスタント化へ大きな一歩
2025.01.15

大手AI企業、最新モデルの開発で苦戦。Appleの段階戦略に注目集まる
2024.11.14

CorningのガラスビジネスにEU独禁法の波、Appleとの関係にも注目
2024.11.07

ChatGPT、Google対抗の検索機能を正式リリース
2024.11.01

Netflix、値上げ。最安プランは790円→890円に
2024.10.10

Bluetooth 6.0リリース。新機能で「探す」がさらに便利に
2024.09.05

PS5の値上げがエグいと話題。単体で+1.3万円
2024.08.27

Disney+など動画配信サービス、米国で10月17日より値上げ
2024.08.07

イーロン・マスク氏、OpenAIを再提訴。創業理念違反とAGIをめぐる法廷闘争
2024.08.06

OpenAI、待望のAI検索エンジン「SearchGPT」を発表。ChatGPTに統合予定
2024.07.26

Netflix、広告付きプラン躍進!会員数800万人増、2024年収益は17%増
2024.07.20