This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung
Indexelés
Honnan ismerem fel az igazi Googlebotot?
Az IP-cím, soha nem a név. A hozzáférési protokollban szereplő "googlebot" azonosító a feladó jelzése, és bármely program elküldheti; maga a Google írja, hogy gyakran más mászók hamisítják. A Real a hozzáférés, ha az IP-címe a Google-hoz tartozik. A Google esetről esetre megemlít egy kettős lekérdezést az internetes névrendszerben (DNS), a tűzfal és a botvédelem céljából közzétett IP-területek listáját.
Az azonosító semmit sem bizonyít
A weboldal minden letöltése azt jelzi, hogy a fejléc-ügynök, aki kéri. Senki sem ellenőrzi ezt az információt. Google hívások spammers és más bajkeverők, akik hozzáférnek weboldalak és úgy tesz, mintha a Google. Emellett az ellenőrző eszközök elküldik az azonosítót, hogy megnézzék, mit szállít egy weboldal keresőmotorja. A tűzfalára nézve ennek mindkét irányban következményei vannak. Aki bízik a névben, átengedi az utánzókat. És bárki is fékezi ezt a nevet általában, mert feltűnően sok van, találkozhat az igazi mászóval.
Az egyedi eset: oda-vissza kérdések a DNS-ben
A hozzáférési protokoll egyetlen IP-címe esetén a Google ezt az útvonalat írja le. A fordított lekérdezés azt kérdezi, melyik név az IP-cím. A név véget kell, hogy érjen a googlebot.com, google.com vagy googleusercontent.com.. Az előzetes lekérdezés azt kérdezi, hogy melyik IP-cím tartozik ehhez a névhez. Ugyanannak kell lennie, mint a jegyzőkönyvben. A keresztellenőrzés azért szükséges, mert a visszamenőleges bejegyzést az IP-cím tulajdonosa határozza meg. A hoster kezeli mindkét lekérdezést a fogadó parancs; Az alábbi példa a Google saját mintacímét mutatja.
Az állandó megoldás: a Google IP-listája
A tűzfal és a botvédelem érdekében a Google fájlként teszi közzé az IP-területeit, külön-külön a hozzáférés típusát. A common-crawlers.json file jelzi az általános crawlers, mint a googlebot; mindig ragaszkodnak a robotts.txt, ha automatikusan visszakerül. A special- craclers.json fájl olyan különleges esetekre vonatkozik, mint az AdsBot. Más fájlok vonatkoznak a felhasználók kéréseire; a Google példaként hivatkozik a weboldal tulajdonjogának megerősítésére. Az ilyen hívások nem függenek a robotoktól. A címek a CIDR helyesírási területeként szerepelnek a fájlokban. A védelem, amely olvassa ezeket a listákat, átmegy a valódi forgalom, és nem kell bízni a nevét.
Mi történik, ha a védelem elutasítja az igazi Googlebotot
Ha a védelem a valódi googlebotra reagál a 4xx-sorozat hibájával, körülbelül 403-as, a Google úgy kezeli ezt, mint egy olyan oldalt, ami nem létezik: a 4xx-válaszok 429-et kivéve mind egyformák, és a címet eltávolítják az indexből. A 429 és hibák az 5xx sorozat, Google lelassítja a visszaszerzés átmenetileg. Látogatók nem veszik észre, a honlap töltődik, mint mindig. Láthatóvá válik a Keresés konzolban: az oldal indexálási jelentésében és az URL ellenőrző eszközben, amelynek élő tesztje azt mutatja, amit a Google most kap.
Ugyanaz a minta AI-kúszók esetében
Az OpenAI kiadja az IP-címeit is, a GPTBot, az OAI SearchBot és a ChatGPT felhasználók listáját. Bárki, aki meg akar jelenni a ChatGPT keresésében, az OpenAI szerint engedje meg az OAI SearchBot-nak a robotokat. Txt, és engedje át a hozzáférést a közzétett IP-területekről. A robotvédelem tehát származása alapján is dönthet. Melyik csúszómászó a saját kérdésed; Válaszol a cikkre, hogy "Megakadályozhatom az AI-mászókat, és mit adjak fel?".
Példák
Két hozzáférés a googlebot azonosítóhoz
host 203.0.113.7
Host 7.113.0.203.in-addr.arpa. not found: 3(NXDOMAIN)host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1Az első cím nincs név a Google: az azonosító hamis. A második oda-vissza.
- Hagyjuk, hogy a portás a múlt heti forgalmat a googlebot azonosítóval, IP címmel és státusz kóddal hajtsa végre.
- Ellenőrizzenek néhány IP címet a DNS lekérdezés másolatával.
- Kérdezze meg tűzfal vagy botvédelem szolgáltatóját, hogy felismeri-e a keresőmotor-mászókat a Google IP-listáin, és hogy hívják a beállítást.
- A keresőkonzolban használja az URL ellenőrző eszközt és a "Test Live URL" -t, hogy kiderítse, a Google vissza tudja-e szerezni a honlapját és egy aloldalt.




