Não acho que demorará muito para que o OpenAI entre em ação também para o desenvolvimento de um mecanismo de busca baseado em IA. O novo web crawler GPTBot com modelo de linguagem ampla GPT-5 já foi lançado.

Quem usa o ChatGPT sabe que esse amplo modelo de linguagem (LLM) está atualmente executando o GPT-3.5, sendo treinado em um conjunto de dados atualizado em setembro de 2021. Portanto, se forem solicitadas informações mais recentes do que esta data, Chatgpt não é capaz de fornecer informações precisas. Claro, válido para a versão gratuita que não suporta o uso de plugins auxiliares.

Com o lançamento GPTBot, OpenAI tem o caminho aberto para indexação de páginas da web por meio deste novo rastreador da web. Como empresas como Google, Microsoft, Yahoo e muitas outras vêm fazendo há muitos anos.

GPT-5 e o novo rastreador da web GPTBot desenvolvido pela OpenAI

O novo rastreador da web GPTBot usa web agent:

User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

Os proprietários de sites podem controlar a indexação de páginas da web por meio do arquivo robots.txt, usando as mesmas diretivas de outros rastreadores da Web de outras empresas.

Por exemplo, se o proprietário de um site não quiser que a OpenAI colete informações do site, ele poderá adicionar robots.txt as linhas:

User-agent: GPTBot
Disallow: /

Embora se comporte como um rastreador da web, o GPTBot terá um propósito distinto: coletar dados disponíveis publicamente, evitando cuidadosamente fontes que envolvam acesso pago, coleta de dados pessoais ou conteúdo que viole as políticas da OpenAI.

Mas existem algumas controvérsias, algumas que até atraíram ações legais contra a OpenAI por causa da privacidade e do uso de conteúdo sem o consentimento dos autores ou sem identificar as fontes.

Em junho, o regulador de privacidade do Japão emitiu um alerta à OpenAI sobre a coleta não autorizada de dados. Também no início deste ano, a Itália proibiu temporariamente o uso do ChatGPT devido a supostas violações das leis de privacidade da União Europeia.