Indeksering er processen med at scanne filer, der er placeret på en internetressource af en søgerobot. Denne procedure udføres, så webstedet er tilgængeligt i søgeresultaterne til forskellige forespørgsler i søgemaskinen. Blandt de største søgemaskiner i dag er Yandex, som udfører denne scanning på sin egen måde.
Instruktioner
Trin 1
Indekseringen af Internetsiden udføres af specielle automatiske programmer - søgerobotter, der automatisk sporer udseendet af nye websteder på World Wide Web og konstant scanner internetsider på Internettet, filer og links til dem på hver ressource.
Trin 2
For at scanne går robotten til det bibliotek, hvor ressourcen er placeret på en bestemt server. Når du vælger et nyt sted, styres robotten af dets tilgængelighed. For eksempel er der en opfattelse af, at Yandex først scanner websteder, der er oprettet i et russisk-sproget domæne og på russisk - ru, rf, su eller ua, og først derefter flytter til andre regioner.
Trin 3
Robotten navigerer til webstedet og scanner dets struktur og leder først efter filer, der indikerer yderligere søgning. For eksempel scannes et websted for Sitemap.xml eller robots.txt. Disse filer kan bruges til at indstille søgerobotens opførsel ved scanning. Ved hjælp af sitemap (sitemap.xml) får robotten en mere nøjagtig idé om ressourcens struktur. Webmasteren bruger robots.txt til at definere filer, som han ikke gerne vil have vist i søgeresultaterne. For eksempel kan det være personlige oplysninger eller andre uønskede data.
Trin 4
Efter at have scannet disse to dokumenter og modtaget de nødvendige instruktioner, begynder robotten at analysere HTML-koden og behandle de modtagne tags. I mangel af en robots.txt-fil begynder søgemaskinen som standard at behandle alle dokumenter, der er gemt på serveren.
Trin 5
Ved at klikke på links i dokumenter modtager robotten også oplysninger om andre websteder, der står i kø til scanning efter denne ressource. De scannede filer på webstedet gemmes som en tekstkopi og struktur på servere i Yandex-datacentre.
Trin 6
Behovet for genscanning bestemmes også automatisk af robotter. Programmet sammenligner det eksisterende scanningsresultat med den opdaterede version af webstedet, når det gennemgår indekseringen igen. Hvis de data, der modtages af programmet, adskiller sig, opdateres webstedets kopi også på Yandex-serveren.
