Satura rādītājs
Kad meklētājprogrammas ierodas vietnē, tās sāk meklēt failu robots.txt, lai to izlasītu. Tas būs atkarīgs no tā satura, lai meklētājprogrammas zirneklis turpinātu darboties vietnē vai pārietu uz citu.Fails robots.txt satur lapu sarakstu, kuras meklētājprogramma var indeksēt, savukārt selektīvi ierobežojot piekļuvi noteiktām meklētājprogrammām.
Aģenta lietotājs: To izmanto, lai norādītu, kurš robots izpildīs piedāvātos rīkojumus.
Neļauj: To izmanto, lai noteiktu, kuras lapas meklētājprogramma analīzes procesa laikā izslēgs. Ir svarīgi, lai katrai izslēdzamajai lapai būtu atsevišķas rindas, un tai jāsākas ar simbolu /. Ar šo simboloģiju tas tiek precizēts; uz "visām vietnes lapām".
Ir ārkārtīgi svarīgi, lai failā robots.txt nebūtu tukšu rindu.
Daži piemēri ir parādīti zemāk;
- Ja vēlaties izslēgt visas lapas; lietotāja aģents ir: Neļaut: /.
- Ja mērķis nav izslēgt nevienu lapu, tad vietnē robotos.txt nedrīkst būt faila, tas ir, visas vietnes lapas tiks apmeklētas vienādi.
- Ja konkrēts robots tiek izslēgts, tas būs:
- Aģenta lietotājs: Robota nosaukums Neatļaut: / Aģenta lietotājs: * Neatļaut:
- Ja lapa ir izslēgta; Aģenta lietotājs: * Neļaujiet: /directory/path/page.html
- Kad visas direktorija lapas tiks izslēgtas no vietnes ar tām atbilstošajām apakšmapēm, tā būs; Aģenta lietotājs: * Neatļaut: / directory /
Vēl viena iezīme ir novērst vietnē atrodamā dublikāta satura indeksēšanu, lai netiktu sodīts.
Citi apsvērumi, kas jāņem vērā, ir tas, ka daži roboti var ignorēt šajā failā sniegtos norādījumus, kā arī ir jābūt skaidram, ka fails ir publisks, jo ikvienam, kas raksta www.example.com/robots.txt, tam var būt piekļuve.
Tagad var rasties jautājums; Kā ģenerēt failu robots.txt?
Patiesībā tas ir pavisam vienkārši, jo tas ir teksta dokuments ar nosaukumu "robots.txt" un pēc tam augšupielādējiet to lapas domēna saknē, un tur meklētājprogrammas meklēs, lai to lasītu.
Pamata robots.txt fails var būt:
Lietotāja aģents: *
Neatļaut: / privāts /
Tiek ģenerēti norādījumi, lai liegtu piekļuvi direktorijam, kas visām meklētājprogrammām būs privāts.
Komanda nosaka, ka tā ir adresēta visiem robotiem (User-agent: *), norādot, ka direktorijs ir neatļauts (Disallow: / private /).
Google meklētājprogrammai izmantotais parametrs ir; Lietotāja aģents: Googlebot
Kā minēts iepriekš, tā izmantošana SEO tiek izmantota, lai ierobežotu robotu piekļuvi dublētam saturam.Vai jums patika šī apmācība un palīdzējāt tai?Jūs varat apbalvot autoru, nospiežot šo pogu, lai sniegtu viņam pozitīvu punktu
