Definiție
Buget de crawl — Bugetul de crawl este numărul de URL-uri pe care un robot le poate și vrea să le scaneze pe un site într-o perioadă dată.
Răspuns scurt
Este o problemă reală mai ales pentru site-uri mari (sute de mii de pagini) sau cu multe URL-uri generate de filtre. Eliminați URL-urile inutile, erorile și lanțurile de redirecturi.
Din ce se compune
Google descrie bugetul ca rezultatul a doi factori: limita de capacitate (cât poate scana fără să suprasolicite serverul) și cererea de crawl (cât de populare și actualizate sunt paginile).
Ce îl consumă inutil
- parametri și combinații de filtre;
- pagini soft 404 și duplicate;
- lanțuri de redirecturi;
- server lent.
Surse
- Large site owner’s guide to managing your crawl budget — Google Search Central