Jeg tror ikke det vil ta lang tid før OpenAI kommer inn i bildet for utviklingen av en AI-basert søkemotor også. Den nye nettsøkeroboten GPTBot med GPT-5 bred språkmodell er allerede utgitt.

De som bruker ChatGPT vet at denne brede språkmodellen (LLM) kjører for tiden GPT-3.5, under opplæring i et datasett oppdatert i september 2021. Så hvis det blir bedt om nyere informasjon enn denne datoen, Chatgpt er ikke i stand til å gi nøyaktig informasjon. Selvfølgelig gyldig for gratisversjonen som ikke støtter bruk av ekstra plugins.

Med lanseringen GPTBot, OpenAI har veien åpen for nettsideindeksering gjennom denne nye webcrawleren. Som selskaper som Google, Microsoft, Yahoo og mange andre har gjort i mange år.

GPT-5 og den nye GPTBot-websøkeroboten utviklet av OpenAI

Den nye nettsøkeroboten GPTBot bruker web agent:

User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

Nettstedseiere kan kontrollere indekseringen av nettsider gjennom filen robots.txt, ved å bruke de samme direktivene som for andre webcrawlere fra andre selskaper.

For eksempel, hvis eieren av et nettsted ikke vil at OpenAI skal samle inn informasjon fra nettstedet, kan de legge til robots.txt linjene:

User-agent: GPTBot
Disallow: /

Selv om den oppfører seg som en webcrawler, vil GPTBot ha et tydelig formål: å høste offentlig tilgjengelige data, samtidig som man nøye unngår kilder som involverer betalingsmurer, innsamling av personlige data eller innhold som bryter OpenAI-retningslinjene.

Men det er ganske mange kontroverser, noen som til og med har tiltrukket seg rettslige skritt mot OpenAI angående personvern og bruk av innhold uten samtykke fra forfatterne eller uten å identifisere kildene.

I juni utstedte Japans personvernregulator en advarsel til OpenAI om uautorisert datainnsamling. Også tidligere i år forbød Italia midlertidig bruk av ChatGPT på grunn av påståtte brudd på EUs personvernlovgivning.