AI ベースの検索エンジンの開発にも OpenAI が登場する日も遠くないと思います。 GPT-5 広範言語モデルを備えた新しい Web クローラー GPTBot はすでにリリースされています。
ChatGPT を使用している人は、この広範な言語モデル (LLM) rulează în prezent GPT-3.5, fiind antrenat pe un set de date actualizat în septembrie 2021. Astfel că dacă sunt solicitate informații mai noi de această dată, chatgpt 正確な情報を提供することができません。もちろん、補助プラグインの使用をサポートしていない無料版でも有効です。
打ち上げに伴い GPTBot, OpenAI には、この新しい Web クローラーを通じて Web ページのインデックス作成のための道が開かれています。 Google、Microsoft、Yahoo、その他多くの企業が長年にわたって行ってきたことと同様です。
GPT-5とOpenaiが開発した新しいCrawler GPTBOT Web
GPTBot が使用する新しい Web クローラー web agent:
User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
Web サイトの所有者は、ファイルを通じて Web ページのインデックス作成を制御できます。 robots.txt、他社の他の Web クローラーと同じディレクティブを使用します。
たとえば、Web サイトの所有者が OpenAI に Web サイトから情報を収集させたくない場合は、次のオプションを追加できます。 robots.txt 行:
User-agent: GPTBot
Disallow: /
GPTBot は Web クローラーのように動作しますが、明確な目的があります。それは、ペイウォール、個人データの収集、または OpenAI ポリシーに違反するコンテンツを含むソースを慎重に回避しながら、公開されているデータを収集することです。
しかし、かなりの数の論争があり、プライバシーや、作者の同意なしに、または出典を特定せずにコンテンツを使用することをめぐって、OpenAI に対して訴訟を起こされるケースもあります。
6月、日本のプライバシー規制当局はOpenAIに対し、不正なデータ収集について警告を発した。また今年初め、イタリアは欧州連合プライバシー法違反の疑いでChatGPTの使用を一時的に禁止した。