GEO Platform — site audit

Requests you see from audit.geoplatform.pl come from a website audit that the owner of the audited site runs on their own property.

English · Polski ↓

Who is knocking

User-Agent: see the JSON below
Source IP address: see the JSON below
Hostname (reverse DNS): see the JSON below

Machine-readable and always current: /api/crawl/audit-info

What we fetch, and how often

Fetched	`robots.txt`, the sitemap, and a small number of pages on the audited domain
Requests per run	about 8–10
Frequency	weekly by default; daily on higher plans; plus runs the site owner triggers manually
Timeout	10 seconds per request
We never	follow links, discover sites on our own, index content, submit forms, or attempt to log in

The audit reports whether AI crawlers can reach the site: it reads the site's own robots.txt, checks that the sitemap is reachable, and looks at structured data. Alongside those fetches it sends a few probes carrying the user agents of real AI crawlers, to see how the site answers them.

How to verify it is really us

The source address resolves through forward-confirmed reverse DNS, the same way Googlebot is verified. Take the IP that hit your server and check both directions:

# 1. reverse lookup must return our hostname
dig -x THE_IP_THAT_HIT_YOU +short

# 2. forward lookup of that hostname must return the same IP
dig +short audit.geoplatform.pl

If both directions agree, the request is ours. If they do not, it is not us — regardless of what the User-Agent says.

How to let the audit through

Bot protections routinely refuse datacenter traffic with 403 or 406, which makes the audit report "could not measure" instead of a result. Allow-listing the User-Agent shown above is the recommended fix.

Please do not allow-list the AI crawler user agents we probe with (GPTBot, ClaudeBot, PerplexityBot and similar). Those probes exist to observe your real policy. An exception for them would make the audit measure your exception instead — a result that is worse than no result, because it looks correct.

Step-by-step instructions for Cloudflare, nginx, Apache and ModSecurity: the Crawl Monitor guide.

How to stop the audit

Block the User-Agent shown above. Nothing breaks on our side — the audit simply reports the site as unreachable to it, and the site owner sees that in their own dashboard.

Contact

Questions from a security or operations team: support@geoplatform.pl

GEO Platform — audyt strony

Żądania z audit.geoplatform.pl pochodzą z audytu strony, który właściciel tej strony uruchamia na swojej własnej witrynie.

English ↑ · Polski

Kto puka

User-Agent: patrz JSON poniżej
Adres IP źródłowy: patrz JSON poniżej
Nazwa hosta (reverse DNS): patrz JSON poniżej

Wersja maszynowa, zawsze aktualna: /api/crawl/audit-info

Co pobieramy i jak często

Pobierane	`robots.txt`, mapa strony i niewielka liczba podstron audytowanej domeny
Żądań na przebieg	około 8–10
Częstotliwość	domyślnie tygodniowo; codziennie w wyższych pakietach; plus przebiegi uruchamiane ręcznie przez właściciela strony
Timeout	10 sekund na żądanie
Nigdy nie	chodzimy po linkach, nie odkrywamy stron samodzielnie, nie indeksujemy treści, nie wysyłamy formularzy ani nie próbujemy się logować

Audyt sprawdza, czy crawlery AI mogą dosięgnąć strony: czyta jej robots.txt, weryfikuje dostępność mapy strony i ogląda dane strukturalne. Obok tych pobrań wysyła kilka sond z nagłówkami prawdziwych crawlerów AI, żeby zobaczyć, jak strona im odpowiada.

Jak zweryfikować, że to naprawdę my

Adres źródłowy rozwiązuje się przez forward-confirmed reverse DNS — tak samo weryfikuje się Googlebota. Weź adres IP, który trafił na Twój serwer, i sprawdź oba kierunki:

# 1. zapytanie odwrotne musi zwrócić naszą nazwę hosta
dig -x ADRES_IP_KTORY_TRAFIL +short

# 2. zapytanie wprost o tę nazwę musi zwrócić ten sam adres
dig +short audit.geoplatform.pl

Jeśli oba kierunki się zgadzają — to nasze żądanie. Jeśli nie, to nie my, niezależnie od tego, co deklaruje User-Agent.

Jak wpuścić audyt

Ochrony antybotowe rutynowo odbijają ruch z centrów danych kodem 403 albo 406, przez co audyt raportuje „nie udało się zmierzyć" zamiast wyniku. Zalecane rozwiązanie to reguła na User-Agenta pokazanego wyżej.

Prosimy nie wpuszczać User-Agentów crawlerów AI, którymi sondujemy (GPTBot, ClaudeBot, PerplexityBot i podobne). Te sondy istnieją po to, żeby zaobserwować Waszą realną politykę. Wyjątek dla nich sprawiłby, że audyt zmierzyłby ten wyjątek — wynik gorszy niż jego brak, bo wygląda na poprawny.

Instrukcja krok po kroku dla Cloudflare, nginxa, Apache i ModSecurity: poradnik Crawl Monitor.

Jak zatrzymać audyt

Zablokuj User-Agenta pokazanego wyżej. Po naszej stronie nic się nie psuje — audyt po prostu zaraportuje stronę jako niedostępną dla niego, a właściciel strony zobaczy to u siebie w panelu.

Kontakt

Pytania od zespołu bezpieczeństwa lub operacji: support@geoplatform.pl