Brzi vodič za pisanje datoteke Robots.txt

Jedini način da stupite u kontakt sa paukom pretraživača, ili Bageri, je kroz datoteku pod nazivom robots.txt. Ili bolje. Kada pošaljete svoju web stranicu Googleu, ona se suočava sa jednostavno kolosalnom količinom informacija.

Kako da konsultujete udžbenik koji je toliko veliki da se osećate kao da nikada nećete pronaći sve što vam treba? Konsultujte se trag. Pa: datoteka robots.txt je indeks vaše web stranice.

Ovo je dokument koji se lako popunjava i govori pretraživaču šta da traži. Ukratko: pomoći ćete mu da shvati od čega je vaš sajt napravljen, tako da vam algoritam može dati rang koji odgovara poslu koji ste obavili.

Može li neko napisati robots.txt fajl?

Kratak odgovor je da. Iskren odgovor je ne. Iako je gramatika datoteke robots.txt izuzetno jednostavna, a njen sastav se sastoji od nekoliko redova, bolje je osloniti se na brigu stručnog webmastera koji zna gdje treba staviti ruke. Na kraju krajeva, mala greška je dovoljna da ugrozi pozicioniranje vaše web stranice i stoga zaustavi sve SEO operacije prije nego što uopće počnu.

Prije nego počnete, znajte jednu stvar: svako može konsultovati datoteku robots.txt bilo koje stranice tako što će napisati /robots.txt iza domene. Možete čak konsultovati i Google!

Možete napisati takvu datoteku bez preuzimanja posebnog softvera. U stvari, dovoljno je koristiti svoju notepad i sačuvati, pogodite šta, u .txt formatu.

Hajde da zajedno napišemo robots.txt: zaglavlje

Počnimo od početka, kako je to uvijek logično. Otvaranje datoteke, odnosno zaglavlje, u potpunosti je posvećeno imenu pauka, kojem prethodi mala formulacija koja je uvijek ista. Pretpostavimo da želite da vas Google primijeti. Dakle, prvi red će biti:

Korisnički agent: Googlebot

Ovaj vrlo kratak niz govori Googleu da će ga sve što slijedi sigurno zanimati. U slučaju da želite da svi pretraživači koji čitaju ovu vrstu datoteke mogu pregledati dokument, zamijenite Googlebot jednostavnim *, a zvezdica.

Sada kada ste naznačili kojeg pauka, tj. KOJU, morate naznačiti takođe ŠTA će morati da pročita.

Svaki red koda, po definiciji, odgovara radnji mašine. Podrazumeva se da svaka komanda u datoteci robots.txt odgovara onome što mašina ne bi trebalo da radi. A ovo je ključ koji vam omogućava da napišete zaista efikasan. Govorimo o naredbi DISALLOW.

Šta je naredba DISALLOW?

Il disallow command omogućava vam da obrazlažete isključenjem. Drugim riječima, kada se kaže da se prvo kaže šta se ne smije raditi – pa, vi rezonujete isključenjem. Pored disallow-a postoji i dozvola, što je izuzetak od bloka.

Ako želite da napišete dobar fajl robota, moraćete da razmišljate obrnuto, tako da ćete morati da kažete Google-u šta ne bi trebalo da čita. ako napišeš:

Zabraniti:

Pauk će pročitati cijelu vašu stranicu, bez ikakvih kočnica.

Ako nakon “Disallow:” umetnete kosu crtu (dakle Disallow: /), stranica neće biti upisana u tražilice, tačka.

Disallow: /direktoriji/

Zamijenite direktorij riječi s folderom za koji želite da bude odbijen iz paukovog prikaza. Isto možete učiniti sa određenim fajlom.

Disallow: /myfile.html

Pažnja na interpunkcija i slova, velika ili mala slova. Ova vrsta fajlova veoma ceni ove vrste „sitnica“, ali one čine veliku razliku.

Zašto biste spriječili Google da čita veliki dio vaše stranice? Kada pišete datoteku ovog tipa, važno je razumjeti koje datoteke ne bi trebalo da se pojavljuju na pretraživaču, ali bez zloupotrebe. Međutim, znajte da će svako ko zna tačnu adresu tog fajla moći da mu pristupi u svakom slučaju.

Šta je naredba ALOW?

U datoteci možete dodati izuzetak pomoću naredbe DOPUSTITI. Gramatika je identična, ali će stvoriti neke izuzetke od DISALLOW-a koji će omogućiti da se pauku otvore interesantne margine istraživanja.

Mali uzorak fajla:

Korisnički agent: Googlebot

Disallow: /slike/

Dozvoli: /images/holidays.jpg

U osnovi smo rekli Googlebot-u da ne uzima u obzir folder sa slikama, osim određene fotografije u njemu, odnosno one sa praznika.

I to je, momci, to. Napisali smo naš prvi robots.txt fajl. Naravno, ono što ćemo uraditi za stvarnu stranicu moglo bi biti malo drugačije, ali ne mnogo. Ako ste u nedoumici, uvijek potražite savjet od specijaliziranog webmastera. Savjetujemo vam da ga prije svega pokušate sami napisati i poslati mu na provjeru, kako biste savladali rudimente i bolje razumjeli kako vaša stranica radi.

Kakva je korelacija između robots.txt i sitemapa?

Mapa sajta je datoteka generisana posebnim dodacima koja sadrži sve linkove na sajtu. Kada pauk uđe na stranicu, prvo čita robote, a zatim pretražuje stranicu. Ako robot tokom indeksiranja pronađe adresu mape sajta, ceo proces će biti mnogo lakši.

U gornji kod dodajte sljedeće:

Mapa stranice: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

U zakljucku

Svi roboti fajlovi su isti. To znači da će datoteka Robots napisana za Google također dobro raditi za Bing i slijedi istu gramatiku.

Dobro organizirana datoteka robots.txt vam to omogućava uštedite vrijeme puzača. Nemojte se obeshrabriti: ovo je prvi korak ka uspjehu!