Søkemotorer er utstyrt med roboter, også kjent som edderkopper eller roboter, som søker gjennom og indekserer websider. Hvis nettstedet eller siden din er under utvikling eller inneholder sensitivt innhold, kan det være lurt å blokkere roboter fra å gjennomsøke og indeksere nettstedet ditt. Lær hvordan du blokkerer hele nettsteder, sider og lenker med robots.txt -filer og blokkerer bestemte sider og lenker med html -tagger. Les videre for å finne ut hvordan du blokkerer bestemte roboter fra å få tilgang til innholdet ditt.
Trinn
Metode 1 av 2: Blokkering av søkemotorer med robots.txt -filer
Trinn 1. Forstå robots.txt -filer
En robots.txt -fil er en ren eller ASCII -tekstfil som informerer søkemotorer om hva de har tilgang til på nettstedet ditt. Filer og mapper som er oppført i en robots.txt -fil, kan ikke gjennomsøkes og indekseres av edderkopper i søkemotorer. Du trenger kanskje en robots.txt -fil hvis:
- Du vil blokkere spesifikt innhold fra søkemotor edderkopper.
- Du utvikler et live nettsted og er ikke forberedt på at søkemotorer skal krype og indeksere nettstedet
- Du vil begrense tilgangen til anerkjente roboter.
Trinn 2. Lag og lagre og robots.txt -fil
For å opprette filen, start en ren tekstredigerer eller et kodeditor. Lagre filen som: robots.txt. Filnavnet må være små bokstaver.
- Ikke glem "s".
- Når du lagrer filen, velger du utvidelsen "'.txt"'. Hvis du bruker Word, velger du alternativet "Vanlig tekst".
Trinn 3. Skriv en robots.txt-fil som ikke er tillatt
Det er mulig å blokkere alle anerkjente edderkopper for søkemotorer fra å gjennomsøke og indeksere nettstedet ditt med en "full-disallow" robots.txt. Skriv følgende linjer i tekstfilen:
User-agent: * Disallow: /
Trinn 4. Skriv en betinget tillat robots.txt-fil
I stedet for å blokkere alle roboter, bør du vurdere å blokkere bestemte edderkopper fra bestemte områder på nettstedet ditt. Vanlige kommandoer med betinget tillatelse inkluderer:
- Blokker en bestemt bot: bytt ut stjernene ved siden av Bruker agent med googlebot, googlebot-nyheter, googlebot-image, bingbot, eller teoma.
-
Blokker en katalog og dens innhold:
User-agent: * Disallow: /sample-directory /
-
Blokker en webside:
User-agent: * Disallow: /private_file.html
-
Blokker et bilde:
User-agent: googlebot-image Disallow: /images_mypicture.jpg
-
Blokker alle bilder:
User-agent: googlebot-image Disallow: /
-
Blokker et bestemt filformat:
User-agent: * Disallow: /p*.gif$
Trinn 5. Oppfordre roboter til å indeksere og gjennomsøke nettstedet ditt
Mange ønsker velkommen, i stedet for å blokkere, søkemotor edderkopper fordi de vil ha hele nettstedet indeksert. For å oppnå dette har du tre alternativer. Først kan du velge bort å opprette en robots.txt-fil-når roboten ikke finner en robots.txt-fil, fortsetter den å gjennomsøke og indeksere hele nettstedet ditt. For det andre kan du opprette en tom robots.txt-fil-roboten finner robots.txt-filen, gjenkjenner at den er tom og fortsetter å gjennomsøke og indeksere nettstedet ditt. Til slutt kan du skrive en fullt tillatt robots.txt-fil. Bruk koden:
User-agent: * Disallow:
Trinn 6. Lagre txt -filen i roten til domenet ditt
Etter at du har skrevet robots.txt -filen, lagrer du endringene. Last opp filen til nettstedets rotkatalog. For eksempel hvis domenet ditt er www.ditt domene.com, plasser robots.txt -filen på www.yourdomain.com/robots.txt.
Metode 2 av 2: Blokkering av søkemotorer med metakoder
Trinn 1. Forstå HTML -roboter metakoder
Med metataggen for roboter kan programmerere angi parametere for roboter eller søkemotoredderkopper. Disse kodene brukes til å blokkere roboter fra å indeksere og gjennomsøke et helt nettsted eller bare deler av nettstedet. Du kan også bruke disse taggene til å blokkere en bestemt søkemotor edderkopp fra å indeksere innholdet ditt. Disse kodene vises i hodet på HTML -filen.
Denne metoden brukes ofte av programmerere som ikke har tilgang til nettstedets rotkatalog
Trinn 2. Blokker roboter fra en enkelt side
Det er mulig å blokkere alle roboter fra å indeksere en side og eller fra å følge lenker til en side. Denne koden brukes ofte når et live nettsted er under utvikling. Når nettstedet er ferdig, anbefales det på det sterkeste at du fjerner denne taggen. Hvis du ikke fjerner taggen, blir ikke siden din indeksert eller søkbar via søkemotorer.
- Du kan blokkere roboter fra å indeksere siden og følge en av koblingene:
- Du kan blokkere alle roboter fra å indeksere siden:
- Du kan blokkere alle roboter fra å følge sidens lenker:
Trinn 3. La robotene indeksere en side, men ikke følg koblingene
Hvis du lar bots indeksere siden, blir siden indeksert; hvis du forhindrer edderkoppene i å følge koblingene, vil lenkebanen fra denne spesifikke siden til andre sider bryte. Sett inn følgende kodelinje i overskriften din:
Trinn 4. La søkemotormedderkoppene følge koblingene, men ikke indekser siden
Hvis du lar robotene følge koblingene, vil koblingsbanen fra denne spesifikke siden til andre sider forbli i takt; hvis du begrenser dem fra å indeksere siden, vil ikke nettsiden din vises i indeksen. Sett inn følgende kodelinje i overskriften din:
Trinn 5. Blokker en enkelt utgående lenke
For å skjule en enkelt lenke på en side, legg inn en rel merket i lenken. Det kan være lurt å bruke denne taggen til å blokkere lenker på andre sider som fører til den spesifikke siden du vil blokkere.
Sett inn lenke til blokkert side
Trinn 6. Blokker en bestemt søkemotor edderkopp
I stedet for å blokkere alle roboter fra websiden din, kan det være lurt å forhindre at én bot gjennomsøker og indekserer siden. For å oppnå dette, erstatt "robot" i metakoden med navnet på en bestemt bot. Eksempler inkluderer: googlebot, googlebot-nyheter, googlebot-image, bingbot, og teoma.
Trinn 7. Oppfordre roboter til å gjennomsøke og indeksere siden din
Hvis du vil sikre at siden din blir indeksert og koblingene blir fulgt, kan du sette inn en follow-allow meta "robot" merke i overskriften din. Bruk følgende kode:
