> ## Content Index
> Fetch the complete content index at: https://bielawski.pro/llms.txt
> Use this file to discover other available public pages before exploring further.

# Robots.txt przestał być bramą - o dostępie agentów decyduje teraz CDN
- URL: https://bielawski.pro/robots-txt-przestal-byc-brama-o-dostepie-agentow-decyduje-teraz-cdn/
- Published: 2026-11-16T06:06:25.000Z
- Updated: 2026-11-16T06:09:11.000Z
- Description: Przez dwa tygodnie cztery redakcje i Google pisały o tym samym: plik robots.txt mówi crawlerom, co im wolno, ale o tym, czy wejdą, decyduje już infrastruktura - CDN, WAF i reguły botowe.
- Author: Bartosz Bielawski
- Tags: SEO, #temat-72

**Sygnał w danych**

Niezależne źródła o tym temacie: **4** w ostatnim tygodniu, **5** w 30 dni, **6** w 90 dni. Temat obserwujemy od 21.05.2020; łącznie 50 twierdzeń w naszej bazie.

tydz. 350

tydz. 360

tydz. 370

tydz. 380

tydz. 391

tydz. 400

tydz. 411

tydz. 422

tydz. 430

tydz. 441

tydz. 454

tydz. 460

Liczba niezależnych źródeł w kolejnych tygodniach (ostatnie 12 tygodni).

## Co się dzieje

14 listopada plik robots.txt na stronie linii lotniczych United nie zawierał ani jednej reguły dla crawlerów ani agentów AI. Firma i tak zdecydowała, że wyszukiwarki mogą indeksować treść, a agenci AI muszą najpierw zapytać o zgodę. Ta decyzja nie jest zapisana w pliku, tylko w warstwie, która przepuszcza żądania.

W tym samym czasie Google Search Central doradził, żeby zamiast blokować cały ruch automatyczny, celować w konkretne boty. Osobno pojawiło się przypomnienie, że około 15 proc. stron wciąż w ogóle nie ma pliku robots.txt.

Do tego doszły dwa polskie teksty o tym, jak blokady w robots.txt wyglądają w praktyce: co blokuje indeksację i dlaczego WordPress domyślnie nie daje kontroli nad tym plikiem.

## W czym źródła się zgadzają

**Robots.txt to prośba, nie zamek.** Zgadzają się co do tego zarówno redakcje branżowe, jak i sama dokumentacja Google: to instrukcja, którą dobrze wychowany crawler przeczyta i uszanuje, a nie mechanizm egzekwowania zasad.

**Egzekwowanie przeniosło się do infrastruktury.** Faktyczna blokada odbywa się w CDN, w firewallu aplikacyjnym i w usługach do zarządzania botami. Problem w tym, że te reguły często powstają bez udziału zespołu SEO - i bywają sprzeczne z tym, co zapisano w pliku tekstowym.

**Rozdzielenie ról robi różnicę.** OpenAI używa osobnych nazw botów do wyszukiwania i do treningu. Zablokowanie bota wyszukującego usuwa witrynę z wyników ChatGPT, a nie tylko z treningu. To dwie różne decyzje biznesowe, a nie jedna techniczna.

## Gdzie się różnią

Google opisuje robots.txt jako narzędzie do kontroli crawlowania i przypomina, że noindex działa tylko wtedy, gdy bot w ogóle zobaczy stronę. Połączenie blokady w pliku z noindeksem w kodzie to błąd, bo robot nie wejdzie na stronę i nie odczyta znacznika.

Część źródeł traktuje robots.txt jako główną bramę dla botów AI i podaje konkretne odsetki witryn, które nieświadomie odcięły sobie ruch z AI. Inni autorzy odpowiadają, że w przypadku agentów działających w imieniu użytkownika sam plik niczego nie gwarantuje.

Trzecia rozbieżność dotyczy skutków ubocznych: serwer, który na żądanie pliku robots.txt zwraca błąd 503, może zatrzymać indeksowanie całej witryny. Blokada, która miała chronić treść, szkodzi wtedy bardziej niż jej brak.

## Co z tym zrobić

- Przejrzyj jednocześnie trzy miejsca: robots.txt, reguły CDN/WAF i listę user-agentów, które przepuszczasz. Rozbieżność między nimi to najczęstszy błąd.
- Sprawdź, czy firewall nie blokuje botów, na których Ci zależy - osobno tych od wyszukiwania, osobno tych od treningu.
- Ustal, czy chcesz blokować tylko trening, czy także zniknąć z odpowiedzi AI. To decyzja biznesowa, więc zapisz ją, zanim ktoś ustawi regułę w panelu CDN.
- Pilnuj, żeby plik zwracał poprawny kod 200 lub 404\. Błąd serwera przy robots.txt kosztuje więcej, niż daje sam plik.

## Nasz wniosek

Robots.txt pozostaje warstwą deklaracji, ale kontrola nad tym, kto wchodzi na stronę, przeniosła się do CDN, WAF i reguł botowych. Jeśli strona ma być widoczna w odpowiedziach AI, ważniejsze od samego pliku jest to, czy infrastruktura nie blokuje botów wyszukujących. Pewność średnia: kierunek potwierdzają cztery niezależne źródła, ale żadne nie podaje, jaka część firm faktycznie ma rozbieżność między plikiem a firewallem.

**Pewność:** średnia. **Zmienimy zdanie, jeśli:** Ocena zmieniłaby się, gdyby Google albo OpenAI opublikowały techniczny standard egzekwowania reguł dla agentów AI poza robots.txt albo gdyby badanie na reprezentatywnej próbie stron wykazało, że rozbieżność między plikiem a CDN jest rzadka.

## Źródła

- Search Engine Journal, 15.11.2026: [United Lets Search Engines Index Its Site, Makes AI Agents Ask First](https://www.searchenginejournal.com/united-ai-agents-permission-search-indexing/597418/?ref=bielawski.pro)
- Search Engine Journal, 14.11.2026: [AI Bot Management: Why SEOs Need More Than Block Lists](https://www.searchenginejournal.com/ai-bot-management-why-seos-need-more-than-block-lists/597148/?ref=bielawski.pro)
- Paq Studio - agencja SEO, 13.11.2026: [SEO sklepu NIE ZACZYNA SIĘ od tekstów ani linków](https://www.youtube.com/watch?v=csqsrmZkuMo&t=1576s&ref=bielawski.pro)
- Top Online, 13.11.2026: [SEO News #264 – SEOwcy boją się o pracę, spam UGC, Reddit z ograniczeniami](https://toponline.pl/blog/seo-news-264?ref=bielawski.pro)
- Google Search Central Blog, 12.11.2026: [Moving to a CDN without overwhelming your origin (or blocking Googlebot)](https://developers.google.com/search/blog/2026/11/crawling-cdn?ref=bielawski.pro)
- Search Engine Journal, 08.11.2026: [The 11 SEO Features Every CMS Should Ship With (Most Still Don’t)](https://www.searchenginejournal.com/the-11-seo-features-every-cms-should-ship-with-most-still-dont/594074/?ref=bielawski.pro)
- Search Engine Journal, 03.11.2026: [Google: można blokować wybrane zasoby JavaScript przez robots.txt (Mueller)](https://www.searchenginejournal.com/google-says-its-okay-to-block-some-javascript-resources-with-robots-txt/595736/?ref=bielawski.pro)