Pretpostavljamo da ste se već prijavili na Google Webmasters Tools - na panel za administratore sajtova. Ovde nećemo pisati o načinu učitavanja stranice u pretraživaču već o načinu na koji se stranice indeksiraju u Google internet bazi sajtova, tzv "Google index page". Sav sadržaj koji imate na sajtu mora najpre biti popisan i zapamćen u Google bazu podataka kako bi se sajt mogao pojaviti u pretrazi za određenu ključnu reč. Ipak, to nije jedini uslov jer da bi se sajt pojavljivao u rezultatima pretrage mora biti i dobro SEO optimizovan.
Izrada sajta je prvi korak u ostvarivanju cilja. Dalji rad na sajtu je mnogi kompleksniji i zahteva puno strpljenja. Svaka stranica sajta mora biti indeksirana kako bi se mogla pojaviti u rezultatima pretrage i bila javno dostupna ljudima koji traže informacije putem interneta. Nipošto nije dobra ideja koju pojedini Webmasteri koriste, a to je, da jednu sliku sajta prikazuju Google-u putem robots.txt datoteke a sasvim drugu posetiocima. Zapravo, ukoliko ovo uradite, postigli ste jako negativan efekat pod nazivom "Cloaking" što znači prikrivanje. Ovo ne samo da nije dozvoljeno, već možete zaraditi penale i kazne od strane Gugla a sajt bi vam praktično bio krajnje nevidljiv na internetu. Kako da sajt bude vidljiv na internetu ?
ROBOTS.TXT
Robots.txt je tekstualna datoteka kojom vlasnik ili webmaster sajta ukazuje pretraživačima i robotima šta trebaju indeksirati na sajtu. Koliki značaj ima ova datoteka jasno govori činjenica da ukoliko je nemate na sajtu, praktično vaš sajt kao da ne postoji na internetu! Robots.txt datoteka ukazuje ne samo Google robotu već i ostalim bootovima i pretraživačima koji sadržaj i na koji način da uzimaju sa vašeg sajta. Pravilnom upotrebom robots.txt-a možete potpuno zabraniti nekim pretraživačima da vas posećuju ili im možete dozvoliti kompletan uvid u sadržaj na sajtu. Datoteka robots.txt se mora nalaziti root direktorijumu vašeg sajta, među ostalim stranicama i treba da izgleda po defaultu ovako:
User-agent: * Allow: /
Ukoliko bi ste želeli da zabranite indeksiranje sajta i pristup bootovima, upisaćete samo sledeći kod:
User-agent: * Disallow: /
Ukoliko želite da od pretraživača sakrijete neki folder na sajtu, iza kose crte upisaćete naziv foldera:
User-agent: * Disallow: /ime foldera1/ Disallow: /ime foldera2/
Wayback Machine je sajt na kome morate biti registrovani zbog opšte reputacije sajta.
Ako jeste, nakon nekoliko godina možete videti kako je vaš sajt izgledao posle svake promene ili redizajna, jer ovaj sajt beleži sve promene na vašem sajtu - dizajn, sadržaj. Ako želite da se vaš sajt pojavi i na Wayback Machine, obavezno u vašoj robot.txt datoteci ubacite sledeći kod:
User-agent: ia_archiver Disallow:
Da bi ste bili sigurni da li je vaša robots.txt datoteka ispravno konfigurisana posetite http://tool.motoricerca.info/robots-checker.phtml
Ukoliko niste sigurni koji sve Crawleri i bootovi postoje, posetite sajt http://www.user-agents.org/
I na kraju, obzirom da je robots.txt datoteku moguće lako videti na sajtu, preporuka je da se važne informacije ne kriju pomoću ove datoteke već za to treba koristiti druge, bezbednije načine. Ukoliko želite da vaše stranice budu ispravno indeksirane morate sprovesti sledeći plan:
KREIRANJE MAPE SAJTA (SITEMAP)
1. Kreirajte nove stranice koje nećete menjati i brisati i koje želite da se nađu u Google pretrazi.
2. Obavezno lepo izlinkujte sve stranice (povežite relevantne tekstove linkovima unutar članaka). Ovde se rukovodite praksom da nipošto ne ostavite neku stranicu nepovezanu i pokušate da je sakrijete od Google-a.
3. Tekst i linkove učinite jasno vidljivim, nemojte sakrivati tekstove i linkove jer vam preti Google kazna.
4. Proverite ispravnost linkovanja, da li se do vaših stranica može doći pomoću glavne ili pomoćne navigacije ili iz ostalih delova (sidebar...itd). Ukoliko vam se pojave takozvani "Broken" linkovi, najhitnije ih rešite.
5. Kreirajte sada sitemap, mapu sajta, a najtoplije vam preporučujem da to učinite na sajtu XML Sitemaps Generator. Pri tome, U delu "Starting URL" upišite adresu vašeg sajta, frekvenciju možete staviti na "Always", u "Last modification" upišite datum kreiranja mape, izaberite zatim "Automatically Calculated Priority", i ostaje samo da kliknete na Start. Kada se završi kreiranje sitemap-a (zavisno od broj stranica), idite i preuzmite mapu na "Download un-compressed XML Sitemap", zapravo, preuzmite je u formatu "sitemap.xml" . Takođe, mislimo da je i sledeći alat još bolji za stvaranje mape sajta jer nema ograničenja broja stranica sajta http://www.web-site-map.com/ Možda će vam neki stručnjak reći kako je kreiranje mape sajta gubljenje vremena isto kao i defragmentacija hard diska i da vam to neće pomoći kod index page-a, ali, ne obraćajte pažnju na to. Pojedini poznavaoci ove materije će vas zbuniti teorijom ali da bi bilo jasnije možete pogledati i Sitemap definiciju radi bližeg upoznavanja sa ovim o čemu pišem sada. Šta je to i kako izgleda sitemap? Najbolji primer kako treba da izgleda sitemap sajta je recimo mapa sajta Swebdizajn
6. Posetite vaš Google nalog i u delu Webmasters/Tools i ubacite sveži sitemap.xml. Ukoliko ga je Google prihvatio, biće označen zelenom kvačicom.
7. Ukoliko je vaš sajt, HTML, xHTM, dakle statički, kod svakog novog kreiranja stranica, moraćete da kreirate novi sitemap.xml ili da isti otvorite u nekom tekst editoru, Dreamweaver-u ili najbolje u Notepad ++ programu i dodate nove dodate stranice pod datumom koji želite i sa očekivanom frekvencijom. Međutim, i mnogi CMS sistemi nisu u potpunosti optimizovani i izgrađeni da automatski kreiraju sitemapove pa ih je potrebno ručno dodavati.
Na kraju, ostaje vam sada da sačekate izvesno vreme da Google robot poseti vaš sajt i primeti nove stranice koje ste sugerisali u vašem sitemap fajlu. Čekanje može potrajati i do 15 dana ali može biti i dan,dva...što naravno opet zavisi od samih robota pretraživača koji posećuju vaš sajt. Ukoliko budete često dodavali novi sadržaj na stranicama ili kreirali nove stranice unutar sajta, Google će vas češće posećivati i frekvencija indeksiranja vaših web stranica će naravno biti mnogo optimalnija i pravovremena. Zapamtite, bilo kakvo mudrovanje i pokušavanje zavaravanja Google robota odnosno algoritma, može vas skupo koštati, tako da je najbolje legalno sve uraditi i biti strpljiv kod indeksiranja svih stranica sajta.
MAPA SAJTA ZA MOBILNE UREĐAJE
Sitemap za mobilne uređaje nije baš isto što i sitemap za standardnu verziju sajta. Pre svega, mobilni sitemap za kreiranje koristi sitemap protokol pa ako ste na nekom online sajtu pomoću kojeg želite da napravite sitemap za mobilne uređaje, obavezno proverite da li taj alat podržava ovu vrstu sitemapa. Evo primera kako treba da izgleda jedan unos sitemapa za mobilne uređaje.
Vrlo važna stvar koju trebate znati je da će Google ignorisati iz sitemapa sve one URL adrese koje ne sadrže odgovarajući sadržaj za mobilne uređaje. To znači da ako imate sadržaj koji nije za mobilne uređaje, trebate da kreirate poseban sitemap za taj sadržaj. I na kraju, svaki sitemap za mobilne uređaje mora da ima svoje ime, i ne može se sadržati pod imenom nekog drugog sitemapa.