Jeg tror ikke, der går lang tid, før OpenAI også kommer i spil for udviklingen af ​​en AI-baseret søgemaskine. Den nye webcrawler GPTBot med GPT-5 bred sprogmodel er allerede frigivet.

Dem, der bruger ChatGPT ved, at denne brede sprogmodel (LLM) kører i øjeblikket GPT-3.5, der trænes på et datasæt, der er opdateret i september 2021. Så hvis der anmodes om nyere oplysninger end denne dato, Chatgpt er ikke i stand til at give nøjagtige oplysninger. Selvfølgelig gyldig for den gratis version, der ikke understøtter brugen af ​​ekstra plugins.

Med lanceringen GPTBot, OpenAI har vejen åben for websideindeksering gennem denne nye webcrawler. Som virksomheder som Google, Microsoft, Yahoo og mange andre har gjort i mange år.

GPT-5 og den nye Crawler GPTBOT-web udviklet af Openai

Den nye webcrawler GPTBot bruger web agent:

User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

Webstedsejere kan kontrollere indekseringen af ​​websider gennem filen robots.txt, ved at bruge de samme direktiver som for andre webcrawlere fra andre virksomheder.

For eksempel, hvis ejeren af ​​et websted ikke ønsker, at OpenAI skal indsamle oplysninger fra webstedet, kan de tilføje robots.txt linjerne:

User-agent: GPTBot
Disallow: /

Selvom det opfører sig som en webcrawler, vil GPTBot have et særskilt formål: at høste offentligt tilgængelige data, mens man omhyggeligt undgår kilder, der involverer betalingsmure, indsamling af personlige data eller indhold, der overtræder OpenAI-politikker.

Men der er en hel del kontroverser, nogle der endda har tiltrukket retslige skridt mod OpenAI over privatliv og brug af indhold uden samtykke fra forfatterne eller uden at identificere kilderne.

I juni udsendte Japans privatlivsregulator en advarsel til OpenAI om uautoriseret dataindsamling. Også tidligere i år forbød Italien midlertidigt brugen af ​​ChatGPT på grund af påståede overtrædelser af EU's privatlivslovgivning.