Robots.txt przestał być bramą - o dostępie agentów decyduje teraz CDN
Przez dwa tygodnie cztery redakcje i Google pisały o tym samym: plik robots.txt mówi crawlerom, co im wolno, ale o tym, czy wejdą, decyduje już infrastruktura - CDN, WAF i reguły botowe.
Sygnał w danych
Niezależne źródła o tym temacie: 4 w ostatnim tygodniu, 5 w 30 dni, 6 w 90 dni. Temat obserwujemy od 21.05.2020; łącznie 50 twierdzeń w naszej bazie.
Liczba niezależnych źródeł w kolejnych tygodniach (ostatnie 12 tygodni).
Co się dzieje
14 listopada plik robots.txt na stronie linii lotniczych United nie zawierał ani jednej reguły dla crawlerów ani agentów AI. Firma i tak zdecydowała, że wyszukiwarki mogą indeksować treść, a agenci AI muszą najpierw zapytać o zgodę. Ta decyzja nie jest zapisana w pliku, tylko w warstwie, która przepuszcza żądania.
W tym samym czasie Google Search Central doradził, żeby zamiast blokować cały ruch automatyczny, celować w konkretne boty. Osobno pojawiło się przypomnienie, że około 15 proc. stron wciąż w ogóle nie ma pliku robots.txt.
Do tego doszły dwa polskie teksty o tym, jak blokady w robots.txt wyglądają w praktyce: co blokuje indeksację i dlaczego WordPress domyślnie nie daje kontroli nad tym plikiem.
W czym źródła się zgadzają
Robots.txt to prośba, nie zamek. Zgadzają się co do tego zarówno redakcje branżowe, jak i sama dokumentacja Google: to instrukcja, którą dobrze wychowany crawler przeczyta i uszanuje, a nie mechanizm egzekwowania zasad.
Egzekwowanie przeniosło się do infrastruktury. Faktyczna blokada odbywa się w CDN, w firewallu aplikacyjnym i w usługach do zarządzania botami. Problem w tym, że te reguły często powstają bez udziału zespołu SEO - i bywają sprzeczne z tym, co zapisano w pliku tekstowym.
Rozdzielenie ról robi różnicę. OpenAI używa osobnych nazw botów do wyszukiwania i do treningu. Zablokowanie bota wyszukującego usuwa witrynę z wyników ChatGPT, a nie tylko z treningu. To dwie różne decyzje biznesowe, a nie jedna techniczna.
Gdzie się różnią
Google opisuje robots.txt jako narzędzie do kontroli crawlowania i przypomina, że noindex działa tylko wtedy, gdy bot w ogóle zobaczy stronę. Połączenie blokady w pliku z noindeksem w kodzie to błąd, bo robot nie wejdzie na stronę i nie odczyta znacznika.
Część źródeł traktuje robots.txt jako główną bramę dla botów AI i podaje konkretne odsetki witryn, które nieświadomie odcięły sobie ruch z AI. Inni autorzy odpowiadają, że w przypadku agentów działających w imieniu użytkownika sam plik niczego nie gwarantuje.
Trzecia rozbieżność dotyczy skutków ubocznych: serwer, który na żądanie pliku robots.txt zwraca błąd 503, może zatrzymać indeksowanie całej witryny. Blokada, która miała chronić treść, szkodzi wtedy bardziej niż jej brak.
Co z tym zrobić
- Przejrzyj jednocześnie trzy miejsca: robots.txt, reguły CDN/WAF i listę user-agentów, które przepuszczasz. Rozbieżność między nimi to najczęstszy błąd.
- Sprawdź, czy firewall nie blokuje botów, na których Ci zależy - osobno tych od wyszukiwania, osobno tych od treningu.
- Ustal, czy chcesz blokować tylko trening, czy także zniknąć z odpowiedzi AI. To decyzja biznesowa, więc zapisz ją, zanim ktoś ustawi regułę w panelu CDN.
- Pilnuj, żeby plik zwracał poprawny kod 200 lub 404. Błąd serwera przy robots.txt kosztuje więcej, niż daje sam plik.
Nasz wniosek
Robots.txt pozostaje warstwą deklaracji, ale kontrola nad tym, kto wchodzi na stronę, przeniosła się do CDN, WAF i reguł botowych. Jeśli strona ma być widoczna w odpowiedziach AI, ważniejsze od samego pliku jest to, czy infrastruktura nie blokuje botów wyszukujących. Pewność średnia: kierunek potwierdzają cztery niezależne źródła, ale żadne nie podaje, jaka część firm faktycznie ma rozbieżność między plikiem a firewallem.
Pewność: średnia. Zmienimy zdanie, jeśli: Ocena zmieniłaby się, gdyby Google albo OpenAI opublikowały techniczny standard egzekwowania reguł dla agentów AI poza robots.txt albo gdyby badanie na reprezentatywnej próbie stron wykazało, że rozbieżność między plikiem a CDN jest rzadka.
Źródła
- Search Engine Journal, 15.11.2026: United Lets Search Engines Index Its Site, Makes AI Agents Ask First
- Search Engine Journal, 14.11.2026: AI Bot Management: Why SEOs Need More Than Block Lists
- Paq Studio - agencja SEO, 13.11.2026: SEO sklepu NIE ZACZYNA SIĘ od tekstów ani linków
- Top Online, 13.11.2026: SEO News #264 – SEOwcy boją się o pracę, spam UGC, Reddit z ograniczeniami
- Google Search Central Blog, 12.11.2026: Moving to a CDN without overwhelming your origin (or blocking Googlebot)
- Search Engine Journal, 08.11.2026: The 11 SEO Features Every CMS Should Ship With (Most Still Don’t)
- Search Engine Journal, 03.11.2026: Google: można blokować wybrane zasoby JavaScript przez robots.txt (Mueller)