Siderne på hvert websted gennemgås regelmæssigt af søgerobotter, der behandler oplysningerne på webstedet, så de er tilgængelige efter anmodning fra brugere i søgemaskiner. Besøg af besøgende fra søgemaskiner har en positiv effekt på trafikken på stedet og stimulerer ressourceudviklingen. Men hvis der er sider på webstedet, hvis oplysninger ikke er beregnet til internetpublikummet (for eksempel brugernes personlige sider eller registreringssiden), er det ikke nødvendigt med overgangen fra søgemaskiner til sådanne sider, og det er er bedre at forbyde denne information at indeksere.
Nødvendig
- - har dit eget websted
- - at kende linkene til siderne, hvis indeksering bør være forbudt.
- - har i det mindste grundlæggende kendskab til HTML
Instruktioner
Trin 1
For at forhindre søgerobotten i at indeksere bestemte sider på webstedet skal du foretage ændringer i robots.txt-filen, hvis den allerede findes på dit websted, eller oprette denne fil.
Trin 2
Hvis robots.txt-filen allerede er uploadet til webstedet, og det er muligt at redigere denne fil direkte fra ressourcekontrolpanelet, skal du åbne robots.txt via webservicen til redigering.
Trin 3
Hvis der ikke er nogen måde at foretage ændringer i den ønskede fil direkte fra kontrolpanelet, skal du åbne robots.txt i en browser ved at klikke på linket til denne fil. Kopier alle data fra den side, der åbnes, og indsæt dem på arket i Notesblok.
Trin 4
Hvis der ikke er nogen robots.txt på webstedet, skal du åbne programmet "Notesblok" i det nye dokument, hvor du skal indtaste den nødvendige kode.
Trin 5
Skriv den første påkrævede linje på et tomt ark tekstdokument:
Brugeragent: *
Trin 6
Gå derefter til næste linje ved at trykke på Enter-tasten og skriv følgende kode:
Disallow: / index / page3 Disallow: angiver ingen indeksering, og / index / page3 er et link til en side, der ikke behøver at blive indekseret. I stedet for linket / indekset / side3 skal du indsætte et link til siden på dit websted, som du vil blokere til behandling af robotter.
Trin 7
Bemærk, at selve domænenavnet mangler i begyndelsen af linket; dets tilstedeværelse i posten indebærer en skråstreg. Når man gennemsøger et websted, indsætter en søgningsrobot automatisk et domænenavn i sådanne links. Skriv derfor links til de nødvendige sider på denne måde.
Trin 8
Efter Disallow: du kan ikke kun placere et link til en bestemt side, men også et link til et hvilket som helst afsnit eller bibliotek på webstedet. På samme måde kan du forbyde indeksering af den ønskede del af webstedet.
Trin 9
Hvis det er nødvendigt at forbyde bearbejdning af robotter af flere forskellige sektioner af ressourcen, skal du skrive et link til hver sektion eller side på en ny linje, hvor du i starten ikke glemmer at placere Disallow: -posten.
Trin 10
For at fuldføre ændring af robots.txt skal du klikke på knappen "Gem", mens du redigerer filen i kontrolpanelet, eller gemme et tekstdokument med poster under navnet robots.txt og uploade denne fil til webstedet.
