Ugrás a tartalomra
EUID Ellenőrző szolgálat & pecsét, Kezdőlap
Weboldal ellenőriztetése

This translation has not been editorially reviewed yet. The German version is authoritative. Deutsche Fassung

Indexelés

Honnan ismerem fel az igazi Googlebotot?

Az IP-cím, soha nem a név. A hozzáférési protokollban szereplő "googlebot" azonosító a feladó jelzése, és bármely program elküldheti; maga a Google írja, hogy gyakran más mászók hamisítják. A Real a hozzáférés, ha az IP-címe a Google-hoz tartozik. A Google esetről esetre megemlít egy kettős lekérdezést az internetes névrendszerben (DNS), a tűzfal és a botvédelem céljából közzétett IP-területek listáját.

Az azonosító semmit sem bizonyít

A weboldal minden letöltése azt jelzi, hogy a fejléc-ügynök, aki kéri. Senki sem ellenőrzi ezt az információt. Google hívások spammers és más bajkeverők, akik hozzáférnek weboldalak és úgy tesz, mintha a Google. Emellett az ellenőrző eszközök elküldik az azonosítót, hogy megnézzék, mit szállít egy weboldal keresőmotorja. A tűzfalára nézve ennek mindkét irányban következményei vannak. Aki bízik a névben, átengedi az utánzókat. És bárki is fékezi ezt a nevet általában, mert feltűnően sok van, találkozhat az igazi mászóval.

Az egyedi eset: oda-vissza kérdések a DNS-ben

A hozzáférési protokoll egyetlen IP-címe esetén a Google ezt az útvonalat írja le. A fordított lekérdezés azt kérdezi, melyik név az IP-cím. A név véget kell, hogy érjen a googlebot.com, google.com vagy googleusercontent.com.. Az előzetes lekérdezés azt kérdezi, hogy melyik IP-cím tartozik ehhez a névhez. Ugyanannak kell lennie, mint a jegyzőkönyvben. A keresztellenőrzés azért szükséges, mert a visszamenőleges bejegyzést az IP-cím tulajdonosa határozza meg. A hoster kezeli mindkét lekérdezést a fogadó parancs; Az alábbi példa a Google saját mintacímét mutatja.

Az állandó megoldás: a Google IP-listája

A tűzfal és a botvédelem érdekében a Google fájlként teszi közzé az IP-területeit, külön-külön a hozzáférés típusát. A common-crawlers.json file jelzi az általános crawlers, mint a googlebot; mindig ragaszkodnak a robotts.txt, ha automatikusan visszakerül. A special- craclers.json fájl olyan különleges esetekre vonatkozik, mint az AdsBot. Más fájlok vonatkoznak a felhasználók kéréseire; a Google példaként hivatkozik a weboldal tulajdonjogának megerősítésére. Az ilyen hívások nem függenek a robotoktól. A címek a CIDR helyesírási területeként szerepelnek a fájlokban. A védelem, amely olvassa ezeket a listákat, átmegy a valódi forgalom, és nem kell bízni a nevét.

Mi történik, ha a védelem elutasítja az igazi Googlebotot

Ha a védelem a valódi googlebotra reagál a 4xx-sorozat hibájával, körülbelül 403-as, a Google úgy kezeli ezt, mint egy olyan oldalt, ami nem létezik: a 4xx-válaszok 429-et kivéve mind egyformák, és a címet eltávolítják az indexből. A 429 és hibák az 5xx sorozat, Google lelassítja a visszaszerzés átmenetileg. Látogatók nem veszik észre, a honlap töltődik, mint mindig. Láthatóvá válik a Keresés konzolban: az oldal indexálási jelentésében és az URL ellenőrző eszközben, amelynek élő tesztje azt mutatja, amit a Google most kap.

Ugyanaz a minta AI-kúszók esetében

Az OpenAI kiadja az IP-címeit is, a GPTBot, az OAI SearchBot és a ChatGPT felhasználók listáját. Bárki, aki meg akar jelenni a ChatGPT keresésében, az OpenAI szerint engedje meg az OAI SearchBot-nak a robotokat. Txt, és engedje át a hozzáférést a közzétett IP-területekről. A robotvédelem tehát származása alapján is dönthet. Melyik csúszómászó a saját kérdésed; Válaszol a cikkre, hogy "Megakadályozhatom az AI-mászókat, és mit adjak fel?".

Példák

Két hozzáférés a googlebot azonosítóhoz

Nem ismert
host 203.0.113.7
Host 7.113.0.203.in-addr.arpa. not found: 3(NXDOMAIN)
Teljes
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Az első cím nincs név a Google: az azonosító hamis. A második oda-vissza.

  • Hagyjuk, hogy a portás a múlt heti forgalmat a googlebot azonosítóval, IP címmel és státusz kóddal hajtsa végre.
  • Ellenőrizzenek néhány IP címet a DNS lekérdezés másolatával.
  • Kérdezze meg tűzfal vagy botvédelem szolgáltatóját, hogy felismeri-e a keresőmotor-mászókat a Google IP-listáin, és hogy hívják a beállítást.
  • A keresőkonzolban használja az URL ellenőrző eszközt és a "Test Live URL" -t, hogy kiderítse, a Google vissza tudja-e szerezni a honlapját és egy aloldalt.

Bővebben erről a témáról

Deutsche Fassung dieser Seite

  • Pecsét Digitale Barrierefreiheit
  • Pecsét Daten & Recht
  • Pecsét Technische Qualität
  • Pecsét Digital Excellence
  • Pecsét Cyberversicherung

Ellenőrizve. Egy jobb digitális jövőért.euid.com