Google: robots.txt určuje, kam crawler smí, ne jak se obsah použije pro AI

Soubor robots.txt určuje jen to, které adresy webu smí crawler stáhnout. Co se s obsahem děje potom, neřeší. Připomněl to ve středu 21. října 2026 Gary Illyes z Googlu ve videu Search Central. Kdo nechce pouštět ke svému obsahu konkrétního AI robota, musí ho v robots.txt zablokovat jménem. Pro modely Gemini má Google samostatný řídicí token Google-Extended.

Co se stalo

Video vyšlo jako druhý díl pořadu The Non-Canonical Cabinet, ve kterém Gary Illyes a Cherry Prommawin z týmu Google Search Relations odpovídají na neobvyklé dotazy z komunity. Tentokrát šlo o otázku, jestli lze AI robotům dovolit procházet web a zároveň jim zakázat použít obsah k trénování modelů. Podle Illyese standard RFC 9309 definuje robots.txt jako protokol pro řízení přístupu. Zpracování dat po stažení neurčuje. Kdo chce určitého AI robota zablokovat na celém webu, musí v souboru uvést jeho user-agent token.

Podle Search Engine Journal Google v robots.txt podporuje jen čtyři prvky: User-Agent, Allow, Disallow a Sitemap. Neplatné řádky ignoruje. Standard RFC 9309 ale nechává na každém robotovi, jak naloží se záznamy mimo protokol. Jestli vymyšlený příkaz typu „zákaz trénování AI“ něco udělá, tedy záleží na konkrétním robotovi. U Googlu účinek nemá.

Google-Extended podle dokumentace Googlu není samostatný robot a nemá vlastní user-agent. Je to řídicí token. Web jím určuje, zda Google smí stažený obsah použít k trénování budoucích modelů Gemini a ke groundingu v aplikacích Gemini a ve službě Grounding with Google Search na Vertex AI. Na zobrazení webu ve Vyhledávání Google vliv nemá a není to signál pro řazení výsledků.

Illyes je spoluautorem návrhu standardu IETF, který by do robots.txt přidal pravidlo Content-Usage. Do něj by šlo zapsat, jak se smí stažený obsah používat. Aktuální verze je z 19. srpna. Stále je to ale jen pracovní dokument, který zatím nebyl předán k posouzení řídicí skupině IETF. Pokud ho nenahradí nová verze, jeho platnost skončí 20. února 2027.

Cherry Prommawin k tomu doporučila zapisovat v robots.txt cesty s jinými než anglickými znaky v procentovém kódování. Google si podle ní poradí s oběma zápisy, jiní nebo starší roboti se ale mohou splést.

Co to znamená pro firmy

Jestli nechcete, aby vaše texty, ceníky nebo reference sloužily k trénování AI, jedno obecné pravidlo nestačí. Každý provozovatel AI má vlastní roboty a vlastní pravidla. OpenAI podle Search Engine Journal odděluje robota pro vyhledávání (OAI-SearchBot) od robota pro trénování (GPTBot). Web tedy může vyhledávacího robota povolit a trénovacího zakázat. U Googlu je to jinak: Google-Extended řídí najednou trénování Gemini i grounding v produktech Gemini a Vertex AI. Na Vyhledávání Google ale vliv nemá.

Pro české weby je důležitá poznámka o kódování. Adresy s diakritikou jsou běžné. Když jsou v robots.txt zapsané přímo, některý robot je může přečíst jinak, než zamýšlíte. Špatně nastavený robots.txt patří mezi technické chyby, které brání indexaci, proto stojí za to ho čas od času zkontrolovat.

Co doporučujeme udělat

My v RBK Digital doporučujeme tento postup:

• Rozhodněte se, co chcete. Chcete být vidět ve vyhledávání s AI, nebo nechcete, aby se na vašem obsahu trénovaly modely? Pro každý cíl se nastavuje něco jiného.
• Zkontrolujte robots.txt. Na vymyšlené direktivy nespoléhejte. Google podporuje jen User-Agent, Allow, Disallow a Sitemap. U ostatních robotů záleží na tom, jak takové řádky zpracují.
• Blokujte roboty jménem. U OpenAI rozlišujte mezi GPTBot a OAI-SearchBot. U Googlu počítejte s tím, že Google-Extended pokrývá trénování i grounding v Gemini zároveň.
• Cesty s diakritikou zapisujte v procentovém kódování. Je to bezpečnější volba, protože jiní roboti mohou nekódované znaky číst jinak než Google.
• Nespoléhejte na pravidlo Content-Usage. Zatím je to jen návrh, ne schválený standard.

Pokud si nejste jistí, jak máte robots.txt nastavený, využijte naši bezplatnou kontrolu webu. Robots.txt běžně procházíme i v rámci technické SEO optimalizace.