Satura rādītājs
Googlebot ir robots, kas ļauj izsekot tīmeklim Google, ir pazīstams arī kā Google zirneklis. Tādā veidā sistēma atklāj jaunās lapas, kas ir indeksētas tās datu bāzē, kur tās tiek atjauninātas, un tā tiek atkal iekļauta Google rādītājā.Google izmanto lielu datortehnikas daudzumu, lai pārmeklētu miljardiem tīmeklī izplatītu lapu. Tas ir balstīts uz algoritmisku izsekošanas procesu, kurā datorprogrammas nosaka izsekojamās vietnes, kā arī meklēšanas biežumu un skaitu katrā vietnē. Process sākas ar iepriekš ģenerētu tīmekļa lapu sarakstu, kas tiek paplašināts, pamatojoties uz tīmekļa pārziņu iekļautajām vietnes kartēm. Googlebot nosaka saites uz katru apmeklējumu, ko veicat uz šīm vietnēm, pievienojot tās pārmeklējamo lapu sarakstam. Sistēma nosaka jaunas vietnes, izmaiņas esošajās un novecojušās saites, un pēc tam atjaunina Google rādītāju.
Kā Googlebot piekļūst vietnei
Googlebot jūs parasti nepiekļūstat vietnēm vairāk nekā vienu reizi un dažas sekundes. Parasti sistēma lejupielādē tikai vienu katras lapas kopiju, ja vienu un to pašu lapu lejupielādējat vairākas reizes, iespējams, tas ir saistīts ar rāpuļprogrammas apstāšanos un restartēšanu.Googlebot tiek izplatīts vairākos datoros, turklāt daži zirnekļi darbojas no datoriem, kas atrodas netālu no indeksētajām vietnēm. Var gadīties, ka lapu žurnāli kā lietotāja aģentu parāda apmeklējumus no vairākiem datoriem.
Mērķis ir pārmeklēt lielāko vietnes lapu skaitu katrā apmeklējuma reizē, nesabojājot servera joslas platumu.
Sistēma atrod vietnes, izmantojot saites uz to lapām. Izsekošanas kļūdu gadījumā tās var redzēt Google piedāvātajos tīmekļa pārziņa rīkos. Tajā ir uzskaitītas problēmas, kas radušās, pārmeklējot vietni. Ieteicams regulāri pārbaudīt visas pārmeklēšanas kļūdas, kas var rasties, lai tās identificētu un labotu.
Tā kā Googlebot apstrādātās IP adreses mēdz laiku pa laikam atšķirties, ideāli ir izmantot robotu "user-agent" (Googlebot). Google zirneklis ievēros failā robots.txt ietvertās vadlīnijas, tomēr ļaunprātīgi lietotāji, iespējams, tās neievēro.
