Moet je ChatGPT toegang geven tot je website via robots.txt?
Wil je vindbaar zijn in ChatGPT? Lees wat OAI-SearchBot en GPTBot doen en hoe je via robots.txt zoeken en AI-training apart regelt.

Wil je dat je website kan verschijnen in de zoekantwoorden van ChatGPT? Dan is het verstandig om OpenAI’s zoekcrawler OAI-SearchBot toegang te geven. Je hoeft daarvoor niet ook toestemming te geven voor het trainen van AI-modellen: daarvoor gebruikt OpenAI een andere crawler, GPTBot.
Voor een kleine ondernemer zit daar het belangrijkste verschil. Je kunt toegang voor zoeken toestaan en toegang voor training blokkeren. Dat geeft geen garantie dat ChatGPT je bedrijf noemt.
Wat regelt robots.txt?
Robots.txt is een openbaar tekstbestand op je website met instructies voor automatische websitebezoekers, ook wel crawlers genoemd. Je vindt het meestal door /robots.txt achter je domeinnaam te zetten.
Daarin kun je per crawler aangeven welke delen van je website die mag bezoeken. Het is geen beveiliging: vertrouwelijke informatie hoort achter een inlogscherm, niet alleen achter een regel in robots.txt.
Welke OpenAI-crawler doet wat?
Volgens de documentatie van OpenAI over crawlers hebben deze drie bezoekers verschillende taken:
- OAI-SearchBot bezoekt websites voor de zoekfunctie van ChatGPT. Deze crawler toestaan helpt om je pagina’s beschikbaar te maken voor zoekresultaten.
- GPTBot verzamelt inhoud die kan worden gebruikt voor het trainen van AI-modellen. Hiervoor kun je een aparte keuze maken.
- ChatGPT-User bezoekt pagina’s wanneer een gebruiker daar via ChatGPT om vraagt. Dat is geen automatische zoekcrawler. OpenAI vermeldt dat robots.txt-regels bij zulke door gebruikers gestarte bezoeken mogelijk niet van toepassing zijn.
‘ChatGPT toegang geven’ is dus geen enkele aan-uitknop. Bepaal eerst of je het hebt over zoeken, trainen of het openen van een pagina op verzoek.
Zo kun je zoeken toestaan en training blokkeren
Wil je OAI-SearchBot toelaten en GPTBot blokkeren? Dan zijn dit de bijbehorende regels:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Laat je websitebouwer deze regels inpassen in je bestaande bestand. Vervang je huidige robots.txt niet zomaar: daarin kunnen ook nuttige regels staan voor je webshop, beheergedeelte of andere crawlers.
Controleer daarnaast je beveiligingsplugin en eventuele firewall. Als die OAI-SearchBot tegenhouden, lost een toestemming in robots.txt dat niet vanzelf op.
Word je daarna genoemd door ChatGPT?
Toegang is één voorwaarde. Je pagina moet ook bruikbare informatie bieden voor de vraag die iemand stelt. Denk aan heldere uitleg over je diensten, voor wie je werkt en welke vragen je oplost.
Ook Google zegt in zijn uitleg over AI-functies en websites dat de bestaande SEO-basis belangrijk blijft. Er is geen speciaal AI-bestand nodig om in Googles AI-functies te kunnen verschijnen. De instellingen voor OpenAI staan daar los van.
SEO betekent je website beter vindbaar maken in zoekmachines. GEO betekent je inhoud bruikbaar en vindbaar maken voor antwoorden van AI-systemen. Geen van beide biedt een gegarandeerde positie of vermelding.
Wat kun je als ondernemer concreet doen?
- Bepaal je voorkeur. Wil je beschikbaar zijn voor ChatGPT Search? En wil je afzonderlijk toegang toestaan voor modeltraining?
- Laat robots.txt controleren. Vraag je websitebouwer of OAI-SearchBot en GPTBot de toegang krijgen die jij bedoelt.
- Laat blokkades controleren. Neem ook je beveiligingsplugin en firewall mee.
- Maak je belangrijkste pagina’s duidelijk. Beschrijf je aanbod en beantwoord echte klantvragen met concrete informatie.
- Houd informatie actueel. Controleer bijvoorbeeld diensten, contactgegevens en antwoorden op veelgestelde vragen.
Bij Glittr werken we aan techniek en content voor vindbaarheid in Google en AI-systemen. Je werkt rechtstreeks met Raoul Heijsen en Abdul Malek, zonder ticketsysteem of tussenpersoon. Voor onze blogs schrijft AI het concept; wij controleren de inhoud en plaatsen elke blog zelf, met afbeeldingen en alt-tekst.
Verder lezen: zijn AI-blogs slecht voor je SEO? en hoe zorg je dat een blog aanvragen oplevert?
Wil je weten hoe toegang en inhoud op jouw website samenkomen? Bespreek je vindbaarheid met ons.
Veelgestelde vragen
Moet ik GPTBot toestaan om vindbaar te zijn in ChatGPT?
Nee. GPTBot is bedoeld voor inhoud die kan worden gebruikt voor modeltraining. OAI-SearchBot is de crawler voor ChatGPT Search. Je kunt daarvoor afzonderlijke regels instellen.
Garandeert toegang voor OAI-SearchBot een vermelding in ChatGPT?
Nee. Toegang maakt het mogelijk dat de crawler je pagina’s bezoekt. Of je website wordt opgenomen of genoemd, hangt ook af van de inhoud en de vraag van de gebruiker.
Is robots.txt voldoende om privégegevens af te schermen?
Nee. Robots.txt geeft instructies aan crawlers en beveiligt je pagina’s niet. Zet vertrouwelijke informatie achter passende toegangsbeveiliging.
Gelden deze OpenAI-regels ook voor Googles AI-overzichten?
Nee. De regels voor OAI-SearchBot en GPTBot gaan over OpenAI. Google gebruikt eigen crawlers en voorwaarden voor zijn zoekmachine en AI-functies.


