No creo que pase mucho tiempo antes de que OpenAI entre en juego también para el desarrollo de un motor de búsqueda basado en IA. El nuevo rastreador web GPTBot con modelo de lenguaje amplio GPT-5 ya está lanzado.

Quienes usan ChatGPT saben que este amplio modelo de lenguaje (LLM) actualmente ejecuta GPT-3.5 y se entrena con un conjunto de datos actualizado en septiembre de 2021. Por lo tanto, si se solicita información más reciente a partir de esta fecha, Chatgpt no es capaz de proporcionar información precisa. Eso sí, válido para la versión gratuita que no admite el uso de complementos auxiliares.

con el lanzamiento GPTBot, OpenAI tiene el camino abierto para la indexación de páginas web a través de este nuevo rastreador web. Como vienen haciendo desde hace muchos años empresas como Google, Microsoft, Yahoo y muchas otras.

GPT-5 y la nueva web Crawler GPTBOT desarrollada por OpenAI

El nuevo rastreador web que utiliza GPTBot web agent:

User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

Los propietarios de sitios web pueden controlar la indexación de páginas web a través del archivo robots.txt, utilizando las mismas directivas que para otros rastreadores web de otras empresas.

Por ejemplo, si el propietario de un sitio web no quiere que OpenAI recopile información del sitio web, puede agregar robots.txt las lineas:

User-agent: GPTBot
Disallow: /

Aunque se comporta como un rastreador web, GPTBot tendrá un propósito distinto: recopilar datos disponibles públicamente, evitando cuidadosamente fuentes que involucren muros de pago, recopilación de datos personales o contenido que viole las políticas de OpenAI.

Pero hay bastantes controversias, algunas que incluso han generado acciones legales contra OpenAI por la privacidad y el uso de contenido sin el consentimiento de los autores o sin identificar las fuentes.

En junio, el regulador de privacidad de Japón emitió una advertencia a OpenAI sobre la recopilación de datos no autorizada. También a principios de este año, Italia prohibió temporalmente el uso de ChatGPT debido a supuestas violaciones de las leyes de privacidad de la Unión Europea.