A GPTBot az OpenAI hivatalos webes adatgyűjtő robotja, amely nyilvános weboldalakat olvas be a ChatGPT és más OpenAI modellek betanítása céljából. Fontos különbség: a GPTBot nem ugyanaz, mint az OAI-SearchBot, amely a ChatGPT valós idejű keresési és citálási funkcióját szolgálja ki – vagyis azt, hogy a márkád megjelenhet-e egy friss ChatGPT-válaszban.
Sok weboldal a robots.txt fájljában egy régi, „tiltsd le az összes AI-botot” típusú sablont használ, ami a GPTBot mellett akaratlanul az OAI-SearchBotot is kizárja. Az érintett cégek jellemzően nem is tudnak róla, hogy ezzel gyakorlatilag kikerültek a ChatGPT keresési és citálási funkciójából, miközben csak a modelltréningből akarták kizárni a tartalmukat.
A hozzáférés a robots.txt fájlban szabályozható, de érdemes külön kezelni a tréning- és a keresési célú crawlereket:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
Ezzel a beállítással a tartalom kimarad a modell jövőbeli tréningjéből, de továbbra is megjelenhet a ChatGPT keresési válaszaiban.
A hozzáférés a robots.txt fájlban szabályozható. Így eldöntheted, hogy engeded-e, korlátozod-e, vagy teljesen tiltod a bot működését.
Az AI Marketing Audit részeként pontosan ezt is ellenőrizzük: hogy a weboldalad technikai beállításai véletlenül nem zárják-e ki a márkádat a ChatGPT láthatóságból, és ha igen, beállítjuk helyesen.
Ellenőrizzük a weboldalad technikai beállításait, és felépítjük azt a rendszert, amivel a ChatGPT valóban idézni tudja a márkádat. Kérj díjmentes konzultációt.
A GPTBot a modelltréninghez gyűjt adatot, az OAI-SearchBot a valós idejű ChatGPT-keresést és citálást szolgálja ki – a kettőt külön kell kezelni a robots.txt-ben.
Nem, a hagyományos Google találati listákat nem érinti, mert a Google botot ez nem befolyásolja.
A teljes, megkülönböztetés nélküli tiltás, ami véletlenül az OAI-SearchBotot is kizárja.
A robots.txt fájl felülvizsgálatával — a megfelelő beállításhoz az User-agent: OAI-SearchBot / Allow: / sornak szerepelnie kell benne.