Ich denke, dass es nicht mehr lange dauern wird, bis OpenAI auch für die Entwicklung einer KI-basierten Suchmaschine ins Spiel kommt. Der neue Webcrawler GPTBot mit dem breiten Sprachmodell GPT-5 ist bereits veröffentlicht.

Diejenigen, die ChatGPT verwenden, wissen, dass dieses breite Sprachmodell (LLM) führt derzeit GPT-3.5 aus und wird anhand eines im September 2021 aktualisierten Datensatzes trainiert. Wenn also neuere Informationen als dieses Datum angefordert werden, Chatgpt is not able to provide accurate information. Gilt natürlich auch für die kostenlose Version, die die Verwendung von Hilfs-Plugins nicht unterstützt.

Mit dem Start GPTBot, OpenAI hat mit diesem neuen Webcrawler den Weg für die Webseitenindizierung frei. So wie es Unternehmen wie Google, Microsoft, Yahoo und viele andere seit vielen Jahren tun.

GPT-5 und der neue von OpenAI entwickelte GPTBot-Webcrawler

Der neue Webcrawler GPTBot verwendet web agent:

User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

Websitebesitzer können die Indizierung von Webseiten über die Datei steuern robots.txt, wobei dieselben Anweisungen wie für andere Webcrawler anderer Unternehmen verwendet werden.

Wenn der Eigentümer einer Website beispielsweise nicht möchte, dass OpenAI Informationen von der Website sammelt, kann er dies hinzufügen robots.txt die Zeilen:

User-agent: GPTBot
Disallow: /

Auch wenn es sich wie ein Webcrawler verhält, wird GPTBot einen bestimmten Zweck haben: öffentlich verfügbare Daten zu sammeln und dabei sorgfältig Quellen zu meiden, die Paywalls, die Erhebung personenbezogener Daten oder Inhalte beinhalten, die gegen OpenAI-Richtlinien verstoßen.

Es gibt jedoch einige Kontroversen, von denen einige sogar zu rechtlichen Schritten gegen OpenAI wegen Datenschutz und der Verwendung von Inhalten ohne Zustimmung der Autoren oder ohne Angabe der Quellen geführt haben.

Im Juni warnte die japanische Datenschutzbehörde OpenAI vor unbefugter Datenerfassung. Ebenfalls Anfang des Jahres hat Italien die Nutzung von ChatGPT aufgrund angeblicher Verstöße gegen die Datenschutzgesetze der Europäischen Union vorübergehend verboten.