Google, OpenAI a Microsoft podpoří společný signál pro trénink AI v robots.txt

Majitelé webů budou moci v souboru robots.txt jedním pravidlem sdělit více poskytovatelům AI najednou, jestli smějí jejich obsah používat k tréninku modelů. Google, OpenAI, Microsoft (Bing) i Anthropic 30. října 2026 oznámily, že tento společný signál dobrovolně podpoří. Signál vychází z návrhu pracovní skupiny AIPREF při organizaci IETF, která připravuje internetové standardy. Google ho plánuje zavést v roce 2027.

Co se stalo

Podle blogu Google Search Central bude Google podporovat sdílený „policy token“ v robots.txt. Pokud web tímto tokenem trénink AI odmítne a pro Google-Extended v souboru nemá vlastní pravidlo, Google to vyhodnotí stejně, jako kdyby Google-Extended zakázal. Google-Extended je nastavení pro trénink AI, které Google nabízí od roku 2023. Toto pravidlo i další nastavení pro jednotlivé firmy budou fungovat dál. Google také uvádí, že weby, které Google-Extended výslovně povolí, se mohou zobrazovat v odpovědích aplikací Gemini a získávat z nich prokliky. Podle Search Engine Roundtable Google doplnil do dokumentace svých crawlerů poznámku, že signál s označením `user-agent: __usage_ai-training` chce podporovat začátkem roku 2027. Návrh je podle Googlu v souladu s kodexem EU pro poskytovatele obecných modelů AI podle AI Act.

OpenAI na svém webu napsalo, že bude společný signál respektovat a zavést ho chce během několika příštích měsíců. Jeho dosavadní pravidla pro crawlery přitom zůstanou v platnosti.

Microsoft podle Search Engine Roundtable zašel ještě dál. V Bingu odděluje trénink modelů od takzvaného groundingu, tedy od situace, kdy se obsah webu použije k vytvoření AI odpovědi. Nabízí tři nastavení: AI Training, AI Grounding a Limited Grounding. Poslední z nich povolí obsah jen pro vlastní AI produkty Microsoftu, ne pro služby třetích stran. Na běžné pořadí ve vyhledávání Bing tato nastavení vliv nemají. Harmonogram:

• 15. prosince 2026: v Bing Webmaster Tools bude dostupné dočasné nastavení groundingu pro způsobilé weby, které používají starší direktivy NoArchive nebo NoCache.
• 1. února 2027: Microsoft začne při procházení stránek respektovat nové preference.
• 1. března 2027: do tohoto data musí weby se starými direktivami nastavit nové preference, pokud chtějí svá omezení zachovat.
• 30. září 2027: dočasné nastavení groundingu přestane platit.

Standard ale ještě není hotový. Nate Hake, který se práce ve skupině účastní, na síti X upozornil, že v IETF zatím schválený není a některé body jsou stále sporné.

Co to znamená pro firmy

Většině malých a středních firem to hlavně ušetří práci. Nebudou muset vypisovat jednotlivé AI crawlery, bude jim stačit jedno pravidlo. Je ale potřeba rozlišovat dvě věci: trénink modelů a zobrazování v AI odpovědích. Bing výslovně umožňuje trénink zakázat a přitom zůstat citovaným zdrojem. Search Engine Roundtable zároveň upozorňuje, že zákaz použití obsahu v AI odpovědích může snížit viditelnost webu v AI nástrojích.

Firmy ze služeb, stavebnictví nebo realit, které z webu získávají poptávky, by proto blokování AI neměly brát jako technickou drobnost, ale jako obchodní rozhodnutí. O podobném tématu jsme už psali v novince o robots.txt a tréninku AI.

Co doporučujeme udělat

• Zkontrolujte, co dnes obsahuje váš robots.txt a které AI crawlery v něm případně blokujete. Pomoci může bezplatná kontrola webu.
• Rozhodněte zvlášť dvě věci: jestli chcete, aby se na vašem obsahu trénovaly modely AI, a jestli chcete, aby vás AI odpovědi citovaly.
• Pokud používáte direktivy NoArchive nebo NoCache, poznamenejte si termín 1. března 2027. Do té doby je potřeba nastavit nové preference Microsoftu, jinak vaše současná omezení nemusí zůstat zachována.
• V Bing Webmaster Tools sledujte přehled AI Performance s citacemi, citovanými URL a dotazy.
• Zatím nic neměňte naslepo. Google začne signál podporovat až v roce 2027 a standard se stále upravuje.
• Při každé úpravě robots.txt dejte pozor, abyste omylem nezablokovali běžné vyhledávače. Nejčastější chyby shrnuje článek o technických chybách, které brání indexaci.

My v RBK Digital budeme vývoj sledovat. Jakmile Google, OpenAI a Microsoft zveřejní podrobnosti, doplníme konkrétní doporučení.