Crawl budget - šta je i zašto je bitan?

Objavljeno: 21.08.2024. | 1 minute čitanja

Crawl budget je broj URL-ova na vašoj web stranici koje pretraživači poput Google-a pregledaju (otkrivaju) u određenom vremenskom razdoblju. Nakon toga prelaze na druge stranice. Postoje milijarde web stranica na svetu, a pretraživači, na žalost, imaju ograničene resurse zbog čega ne mogu pregledati svaki dan sve stranice, stoga moraju odrediti prioritete šta i kada će pregledati.

Pre nego što objasnimo kako to funkcioniše, trebalo bi razumeti zašto je taj segment važan za SEO vaše stranice:

 

Zašto je Crawl Budget važan za SEO?

Google prvo pregleda (crawl-a) i zatim indeksira vaše stranice, pre nego što one mogu da rangiraju. Sve mora ići 'glatko' u tim procesima kako bi se vaš sadržaj pojavio u rezultatima pretrage. To može značajno da utiče na vaš organski promet i ukupne poslovne ciljeve. Većina vlasnika web stranica ne bi trebalo previše da brine o crawl budget-u jer Google učinkovito pregleda stranice. Međutim, postoje specifične situacije kada je crawl budget posebno važan za SEO:

• Kada je stranica velika i složena: Ako je vaša web stranica velika i složena (10.000+ stranica), Google možda neće odmah pronaći nove stranice ili često pregledavati sve stranice.
• Kada dodajete mnogo novih stranica: Ako često dodajete puno novih stranica, crawl budget može utjecati na vidljivost tih stranica.
• Kada stranica ima tehničke probleme: Ako problemi s pretraživanjem sprječavaju pretraživače da učinkovito pregledavaju vašu web stranicu, vaš sadržaj možda neće biti prikazan u rezultatima pretrage.

Kako Google određuje Crawl Budget?

Vaš crawl budget određuje se na osnovu dva glavna elementa:

 

Potražnja za pretraživanjem (Crawl Demand)

Crawl Demand označava koliko često Google pregleda vašu stranicu na temelju njene percipirane važnosti. Tri su faktora koji utiču na potražnju za pretraživanjem vaše stranice:

• Percipirani inventar - Google obično pokušava da pregleda sve ili većinu stranica za koje zna na vašoj web stranici, osim ako mu ne kažete drugačije. To znači da Google bot može pokušati da pregleda duplirane stranice i uklonjene stranice ako mu ne kažete da ih preskoči putem datoteke robots.txt ili HTTP statusnih kodova 404/410.
• Popularnost - Google obično daje prioritet stranicama sa više povratnih veza (backlinkova) i onima koje privlače veći promet. To može signalizirati Google-ovom algoritmu da je vaša web stranica važna i da je vredi češće pregledavati. Važno je napomenuti da broj povratnih veza sam po sebi nije bitan—one trebaju biti relevantne i dolaziti iz autoritativnih izvora.
• Zastarelost - Pretraživači će teže pregledati sadržaj dovoljno često kako bi primetili promene. No, ako se vaš sadržaj ne menja često, Google može početi ređe da ga pregleda. To ne znači da morate ažurirati sadržaj svaki dan kako biste podstakli Google da češće pregleda vašu stranicu. Google navodi da želi pregledati samo visokokvalitetan sadržaj. Stoga, prioritet dajte kvalitetu sadržaja umesto čestim, nevažnim promenama radi povećanja učestalosti pregledanja.

Ograničenje kapaciteta pretraživanja (Crawl Capacity Limit)

Ograničenje kapaciteta pretraživanja sprečava Google botove da usporavaju vašu web stranicu s previše zahteva, što može da uzrokuje probleme s performansama.
To je prvenstveno pod uticajem opšteg zdravlja vaše stranice i Google-ovih vlastitih ograničenja pretraživanja.

• Zdravlje pretraživanja vaše stranice - Kako brzo vaša web stranica odgovara na Google-ove zahteve može uticati na vaš crawl budget. Ako vaša stranica brzo odgovara, vaše ograničenje kapaciteta pretraživanja može se povećati, a Google može brže pregledati vaše stranice. Ako se vaša stranica usporava ili odgovara s greškama servera, ovo ograničenje se može smanjiti, a Google će ređe pregledati vašu stranicu.
• Google-ova ograničenja pretraživanja - Google nema neograničene resurse za pregledanje web stranica, zbog čega postoje crawl budgeti. To je način da Google prioritizira koje stranice bi trebalo najčešće pregledati. Ako su Google-ovi resursi ograničeni iz bilo kojeg razloga, to može uticati na kapacitet pretraživanja vaše web stranice.

Kako proveriti aktivnost pretraživanja

Google Search Console (GSC) pruža potpune informacije o tome kako Google pregleda vašu web stranicu, uključujući eventualne probleme i promene u ponašanju pretraživanja tekom vremena. To vam može pomoći da razumete postoje li problemi koji utiču na vaš crawl budget i koje možete rešiti. Za pristup ovim informacijama, otvorite svoj GSC nalog i kliknite na "Settings" (Postavke). U odeljku "Crawling" videćete broj zahteva za pretraživanje u poslednjih 90 dana. 




Kliknite "Open Report" (Otvorite izveštaj) za detaljniji uvid:


Stranica "Crawl stats" prikazuje razne widgete s podacima:

Grafikoni kroz vreme 

Na vrhu Google Search konzole se nalazi grafikon zahteva za pretraživanje koje je Google izvršio na vašoj stranici u poslednjih 90 dana.

1. Ukupan broj zahtjeva za pretraživanje - broj zahteva za pretraživanje koje je Google izvršio u poslednjih 90 dana.
2. Ukupna veličina preuzetih podataka - količina podataka koje su Google-ovi pretraživači preuzeli prilikom pristupa vašoj web stranici u određenom razdoblju.
3. Prosečno vreme odgovora - vreme potrebno da host vaše web stranice odgovori na zahtev pretraživača (u milisekundama).

 

Host status

Status hosta prikazuje koliko lako Google može pretraživati vašu stranicu. Na primer, ako vaša stranica nije uvek mogla da zadovolji Google-ove zahteve za pretraživanjem, možda ćete videti poruku "Host had problems in the past" (Host je imao problema u prošlosti). Ako postoje problemi, možete videti više detalja klikom na ovaj okvir, a pod "Details" naći ćete više informacija o tome zašto su se problemi pojavili.



Ovo će vam pokazati ako postoje problemi sa:

• Učitavanjem vaše robots.txt datoteke
• Vašim sistemom imena domena (DNS)
• Povezivanjem na host

 

7 saveta za optimizaciju Crawl Budgeta

Kad otkrijete probleme s crawl budgetom, trebalo bi da ih rešite kako biste maksimalno povećali učinkovitost pretraživanja. Evo nekoliko glavnih koraka koje možete preduzeti: 


1. Poboljšajte brzinu svoje stranice - Ovo može pomoći Google-u da brže pretražuje vašu stranicu, što može dovesti do boljeg iskorišćavanja crawl budgeta. Osim toga, to je dobro za korisničko iskustvo (UX) i SEO. Da biste proverili koliko se brzo učitavaju vaše stranice, vratite se na projekat Site Audit koji ste ranije postavili i kliknite na "View details" (Prikaži detalje) u okviru "Site Performance" (Performanse stranice).
Videćete razlaganje brzine učitavanja vaših stranica i prosečnu brzinu učitavanja stranica, zajedno sa popisom grešaka i upozorenja koja mogu dovesti do loših performansi.
Postoji mnogo načina za poboljšanje brzine stranice, uključujući:

• Optimizacija slika: Koristite online alate poput Image Compressor za smanjenje veličine datoteka bez gubitka kvaliteta slike.
• Minimiziranje koda i skripti: Upotrebite alate poput Minifier.org ili WordPress dodatak poput WP Rocket za smanjenje koda radi bržeg učitavanja.
• Korišćenje mreže za dostavu sadržaja (CDN): CDN je distribuirana mreža hosta koja isporučuje web sadržaj korisnicima prema njihovoj lokaciji za brže učitavanje.

2. Koristite strateško interno povezivanje - Pametna struktura internog povezivanja može olakšati pretraživačima pronalaženje i razumevanje vašeg sadržaja, što može rezultirati učinkovitijim korišćenjem crawl budgeta i povećati vaš potencijal za rangiranje.
Zamislite svoju web stranicu kao hijerarhiju s početnom stranicom na vrhu, koja se grana u različite kategorije i potkategorije. Svaka grana trebalo bi da vodi do detaljnijih stranica ili postova vezanih uz kategoriju kojoj pripadaju. Ovo stvara jasnu i logičnu strukturu vaše web stranice kroz koju je lako navigirati i korisnicima i pretraživačima.
Dodajte interne veze (linkove) na sve važne stranice kako bi Google lakše pronašao vaš najvažniji sadržaj. To takođe pomaže da se izbegnu stranice bez internih veza koje upućuju na njih. Google još uvek može pronaći te stranice, ali je mnogo lakše ako imaju relevantne interne veze.


3. Održavajte svoj sitemap ažurnim - Imati ažurirani XML sitemap je još jedan način da usmerite Google prema vašim vidljivim i najvažnijim stranicama. Ažuriranje sitemapa kada dodate nove stranice može povećati verovatnoću da će biti pretražene (ali to nije zagarantovano). Google preporučuje uključivanje samo URL-ova koje želite da se pojave u rezultatima pretrage u vaš sitemap. Time izbegavate potencijalno rasipanje crawl budgeta (pogledajte sledeći savet za više informacija). Takođe, možete koristiti oznaku <lastmod> kako biste označili kada ste poslednji put ažurirali određeni URL, ali to nije obavezno.


4. Blokirajte URL-ove koje ne želite da pretraživači pretražuju - Koristite datoteku robots.txt (datoteka koja govori botovima pretraživača koje stranice bi trebalo, a koje ne bi trebalo pretraživati) kako biste smanjili šanse da Google pretražuje stranice koje ne želite. To može pomoći u smanjenju rasipanja crawl budgeta.
Zašto biste hteli da sprečite pretraživanje nekih stranica?
Zato što su neke stranice nevažne ili privatne. Verojatno ne želite da pretraživači pretražuju te stranice i troše svoje resurse. Sve stranice navedene nakon "Disallow:" specifikuju stranice koje ne želite da pretraživači pretražuju.


5. Uklonite nepotrebna preusmeravanja - Preusmeravanja (redirekcije) vode korisnike (i botove) s jednog URL-a na drugi, što može usporiti vreme učitavanja stranice i rasipati crawl budget. To može biti posebno problematično ako imate lančana preusmeravanja. Lančana preusmeravanja nastaju kada imate više od jednog preusmeravanja između izvornog i konačnog URL-a. Da biste saznali više o postavljenim preusmeravanjima na vašoj stranici, otvorite alat Site Audit i idite na karticu "Issues". Unesite "redirect" u polje za pretraživanje kako biste videli probleme povezane s preusmeravanjima na vašoj stranici.


6. Popravite slomljene veze - Slomljene poveznice (broken links) su one koje ne vode na aktivne stranice—umesto toga obično vraćaju 404 kod greške.

Iako to nije nužno loša stvar, stranice koje ne postoje trebalo bi da vraćaju 404 statusni kod. Međutim, veliki broj linkova koje vode na nepostojeće stranice troši crawl budget jer botovi i dalje pokušavaju pretraživati te stranice, a korisnici se mogu frustrirati. Da biste identifikovali slomljene veze na svojoj stranici, idite na karticu "Issues" u alatu Site Audit i unesite "broken" u polje za pretraživanje. Potražite grešku "# internal links are broken" i kliknite na plavu vezu s brojem za više detalja.


7. Uklonite duplirani sadržaj - Duplirani sadržaj nastaje kada imate vrlo slične stranice na svojoj web stranici. Ovaj problem može trošiti crawl budget jer botovi pretražuju više verzija iste stranice. Duplirani sadržaj može biti u nekoliko oblika, poput identičnih ili gotovo identičnih stranica (što bi obično trebalo izbegavati) ili varijacija stranica uzrokovanih URL parametrima (uobičajeno na web stranicama e-trgovine). Idite na karticu "Issues" u alatu Site Audit kako biste videli postoje li problemi sa dupliranim sadržajem na vašoj web stranici.


Optimizacija crawl budgeta ključna je za osiguranje da pretraživači poput Googlea učinkovito pretražuju i indeksiraju vaš sadržaj, što direktno utiče na vaše SEO rezultate. Redovnim auditima web stranice možete prepoznati i ispraviti tehničke probleme pre nego što postanu ozbiljni.
Za profesionalnu pomoć u optimizaciji vaše web stranice i maksimizovanju vašeg crawl budgeta, obratite se stručnjacima u Arboni. Naš tim može vam pružiti potrebnu podršku i alate za postizanje najboljih rezultata.