Robots.txt przestał być bramą - o dostępie agentów decyduje teraz CDN

Przez dwa tygodnie cztery redakcje i Google pisały o tym samym: plik robots.txt mówi crawlerom, co im wolno, ale o tym, czy wejdą, decyduje już infrastruktura - CDN, WAF i reguły botowe.

Udostępnij
Robots.txt przestał być bramą - o dostępie agentów decyduje teraz CDN

Sygnał w danych

Niezależne źródła o tym temacie: 4 w ostatnim tygodniu, 5 w 30 dni, 6 w 90 dni. Temat obserwujemy od 21.05.2020; łącznie 50 twierdzeń w naszej bazie.

tydz. 350
tydz. 360
tydz. 370
tydz. 380
tydz. 391
tydz. 400
tydz. 411
tydz. 422
tydz. 430
tydz. 441
tydz. 454
tydz. 460

Liczba niezależnych źródeł w kolejnych tygodniach (ostatnie 12 tygodni).

Co się dzieje

14 listopada plik robots.txt na stronie linii lotniczych United nie zawierał ani jednej reguły dla crawlerów ani agentów AI. Firma i tak zdecydowała, że wyszukiwarki mogą indeksować treść, a agenci AI muszą najpierw zapytać o zgodę. Ta decyzja nie jest zapisana w pliku, tylko w warstwie, która przepuszcza żądania.

W tym samym czasie Google Search Central doradził, żeby zamiast blokować cały ruch automatyczny, celować w konkretne boty. Osobno pojawiło się przypomnienie, że około 15 proc. stron wciąż w ogóle nie ma pliku robots.txt.

Do tego doszły dwa polskie teksty o tym, jak blokady w robots.txt wyglądają w praktyce: co blokuje indeksację i dlaczego WordPress domyślnie nie daje kontroli nad tym plikiem.

W czym źródła się zgadzają

Robots.txt to prośba, nie zamek. Zgadzają się co do tego zarówno redakcje branżowe, jak i sama dokumentacja Google: to instrukcja, którą dobrze wychowany crawler przeczyta i uszanuje, a nie mechanizm egzekwowania zasad.

Egzekwowanie przeniosło się do infrastruktury. Faktyczna blokada odbywa się w CDN, w firewallu aplikacyjnym i w usługach do zarządzania botami. Problem w tym, że te reguły często powstają bez udziału zespołu SEO - i bywają sprzeczne z tym, co zapisano w pliku tekstowym.

Rozdzielenie ról robi różnicę. OpenAI używa osobnych nazw botów do wyszukiwania i do treningu. Zablokowanie bota wyszukującego usuwa witrynę z wyników ChatGPT, a nie tylko z treningu. To dwie różne decyzje biznesowe, a nie jedna techniczna.

Gdzie się różnią

Google opisuje robots.txt jako narzędzie do kontroli crawlowania i przypomina, że noindex działa tylko wtedy, gdy bot w ogóle zobaczy stronę. Połączenie blokady w pliku z noindeksem w kodzie to błąd, bo robot nie wejdzie na stronę i nie odczyta znacznika.

Część źródeł traktuje robots.txt jako główną bramę dla botów AI i podaje konkretne odsetki witryn, które nieświadomie odcięły sobie ruch z AI. Inni autorzy odpowiadają, że w przypadku agentów działających w imieniu użytkownika sam plik niczego nie gwarantuje.

Trzecia rozbieżność dotyczy skutków ubocznych: serwer, który na żądanie pliku robots.txt zwraca błąd 503, może zatrzymać indeksowanie całej witryny. Blokada, która miała chronić treść, szkodzi wtedy bardziej niż jej brak.

Co z tym zrobić

  • Przejrzyj jednocześnie trzy miejsca: robots.txt, reguły CDN/WAF i listę user-agentów, które przepuszczasz. Rozbieżność między nimi to najczęstszy błąd.
  • Sprawdź, czy firewall nie blokuje botów, na których Ci zależy - osobno tych od wyszukiwania, osobno tych od treningu.
  • Ustal, czy chcesz blokować tylko trening, czy także zniknąć z odpowiedzi AI. To decyzja biznesowa, więc zapisz ją, zanim ktoś ustawi regułę w panelu CDN.
  • Pilnuj, żeby plik zwracał poprawny kod 200 lub 404. Błąd serwera przy robots.txt kosztuje więcej, niż daje sam plik.

Nasz wniosek

Robots.txt pozostaje warstwą deklaracji, ale kontrola nad tym, kto wchodzi na stronę, przeniosła się do CDN, WAF i reguł botowych. Jeśli strona ma być widoczna w odpowiedziach AI, ważniejsze od samego pliku jest to, czy infrastruktura nie blokuje botów wyszukujących. Pewność średnia: kierunek potwierdzają cztery niezależne źródła, ale żadne nie podaje, jaka część firm faktycznie ma rozbieżność między plikiem a firewallem.

Pewność: średnia. Zmienimy zdanie, jeśli: Ocena zmieniłaby się, gdyby Google albo OpenAI opublikowały techniczny standard egzekwowania reguł dla agentów AI poza robots.txt albo gdyby badanie na reprezentatywnej próbie stron wykazało, że rozbieżność między plikiem a CDN jest rzadka.

Źródła