بودجه خزش (crawl budget) اون میزان اعتباری هست که موتور جستجو به سایت شما داره و باید کاری کنید که این اعتبار توسط صفحات بی اهمیت هدر نره و بیشتر روی صفحات مهم شما باقی بمونه ، به کمک فایل robots.txt شما میتوانید خیلی از صفحات اضافی را از گوگل بخواهید که در سایت شما ایندکس نکنه
در ویدئو زیر روش بستن صفحات بی اهمیت در سایت به کمک قایل robots.txt را توضیح دادم:
بستن آدرس فید سایت:
User-agent: googlebot
Disallow: /feed
Disallow: /blog/feed
بستن سرچ :
Disallow: /search
بستن فیلتر:
Disallow: /?q=filter
Disallow:/?filter_shoulder
عالی بود