Я не думаю, що мине багато часу, перш ніж OpenAI також почне працювати для розробки пошукової системи на основі ШІ. Новий веб-сканер GPTBot із широкою мовною моделлю GPT-5 вже випущено.

Ті, хто використовує ChatGPT, знають, що ця широка мовна модель (LLM) наразі працює GPT-3.5, навчаючись на наборі даних, оновленому у вересні 2021 р. Тож, якщо запитується новіша інформація, ніж ця дата, ChatGPT не може надати точну інформацію. Звичайно, це стосується безкоштовної версії, яка не підтримує використання додаткових плагінів.

Із запуском GPTBot, OpenAI має можливість індексувати веб-сторінки за допомогою цього нового сканера. Як це роблять протягом багатьох років такі компанії, як Google, Microsoft, Yahoo та багато інших.

GPT-5 і новий веб-сканер GPTBot, розроблений OpenAI

Новий веб-сканер, який використовує GPTBot web agent:

User agent token: GPTBot
Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)

Власники веб-сайтів можуть контролювати індексацію веб-сторінок за допомогою файлу robots.txt, використовуючи ті самі директиви, що й для інших веб-сканерів інших компаній.

Наприклад, якщо власник веб-сайту не хоче, щоб OpenAI збирав інформацію з веб-сайту, він може додати robots.txt рядки:

User-agent: GPTBot
Disallow: /

Незважаючи на те, що він веде себе як веб-сканер, GPTBot матиме чітку мету: збирати загальнодоступні дані, ретельно уникаючи джерел, які включають платні екрани, збір особистих даних або вміст, який порушує політику OpenAI.

Але існує чимало суперечок, деякі з яких навіть призвели до судових позовів проти OpenAI через конфіденційність і використання вмісту без згоди авторів або без визначення джерел.

У червні регулятор конфіденційності Японії попередив OpenAI про несанкціонований збір даних. Також на початку цього року Італія тимчасово заборонила використання ChatGPT через ймовірні порушення законів Європейського Союзу про конфіденційність.