Er is een een nieuwe crawler onderweg. Crawlers zijn de ‘spinnetjes’ die het wereldwijde web aflopen om het in kaart te brengen. Van de linkstructuur (hoe zijn websites met elkaar verbonden) tot en met de inhoud van specifieke websites (wat staar erop), duizenden crawlers struinen 24/7 het web af op zoek naar informatie.
GPTBot, dat is de naam van de crawler van OpenAI, het bedrijf achter ChatGPT, die sinds vorige week actief is op het world wide web. Dat betekent dat behalve bijvoorbeeld de Googlebot, de Bingbot en de Yandexbot, nu ook ChatGPT actief via een crawler op zoek is naar informatie die het van websites kan ‘scrapen’. Voor wie niet wil dat zijn website door ChatGPT wordt gecrawld, is er de mogelijkheid om de GPTBot vriendelijk de deur te wijzen in de robots.txt. Doe je dat niet, dan is er kans dat informatie van jouw website binnenkort in de chatbot belandt. Of je dan ook een correcte bronvermelding krijgt, blijft vooralsnog de vraag.
