آموزش Robots.txt برای بهبود نرخ خزش گوگل
بودجه خزش (crawl budget) اون میزان اعتباری هست که موتور جستجو به سایت شما داره و باید کاری کنید که این اعتبار توسط صفحات بی اهمیت هدر نره و بیشتر روی صفحات مهم شما باقی بمونه ، به کمک فایل robots.txt شما میتوانید خیلی از صفحات اضافی را از…