همانطور که میدانید گوگل برای خزش در هر سایتی بودجه ای معین در نظر میگیرد و با افزایش بازدید سایت این بودجه خزش ربات های گوگل Crawl Budget افزایش می یابد
در همین زمینه ویدئو زیر را ببینید:
اما چطور میتوانیم به گوگل کمک کنیم تا محتواهای با کیفیت سایتمان را بهتر ایندکس کند و محتواهای بی کیفیت را در نظر نگیرد:
به طور کلی ۳ روش برای هرس کردن محتوا و استفاده صحیح از بودجه خزش گوگل وجود دارد :
- ریدایرکت ۳۰۱ (redirect 301)
- نو ایندکس کردن صفحات بی ارزش (noindex)
- حذف url از سایت و ایجاد کد خطای ۴۰۴
چه زمانی از ۳ روش فوق استفاده کنیم:
گاهی پیش می آید که چند مطلب سایت شبیه هم هستند بنابراین باید آنها را در یک مطلب که بازدید بهتری دارد جمع کرد و مطالب قبلی را به صورت ۳۰۱ ریدایرکت کرد به مطلب جدید
در همین زمینه ببینید: حل ۸ خطای بخش coverage سرچ کنسول
تعدادی از صفحات سایت هستند که ارزش چندانی برای ایندکس ندارند مثل تگ هایی که بازدید ندارند و یا صفحات ثبت نام در سایت و …این صفحات را باید noindex کرد
و در نهایت صفحاتی از سایت که با موضوع سایت ما مرتبط نیستند و توسط کاربران هم سرچ نمیشوند باید حذف شوند
در همبن زمینه ببینید: روش های ایندکس سریع مطالب سایت
البته ۴ نکته زیر بسیار مهم است در افزایش بودجه خزش گوگل :
۱- نقشه سایت site map مناسب
۲- لینک سازی داخلی و خارجی مناسب
۳- تنظیم مناسب Robots.txt
۴- بهبود سرعت سایت
