یکی از مواردی که در اکثر مشاوره های آنلاین سئو میبینم کارفرما میگه خیلی از صفحات مهم ما دیگر توسط گوگل بررسی میشن
بیایید این مورد رو بررسی کنیم:
تا حالا شده Screaming Frog بگه همهچیز خوبه، اما گوگل بعضی صفحات مهم سایت رو نادیده بگیره؟
دلیلش سادهست:
کراولر به شما میگه:
«من چه صفحاتی رو پیدا کردم؟»
اما Server Log میگه:«Googlebot واقعاً کجا رفته، چند بار رفته و چه پاسخی گرفته؟»
مثلاً یک فروشگاه اینترنتی با ۱۰۰ هزار صفحه محصول رو در نظر بگیرید.
و Screaming Frog میگه همه محصولات با سه کلیک در دسترساند؛ اما لاگ سرور نشون میده:
– ۴۰٪ خزش گوگل صرف فیلترها شده
– محصولات ناموجود مرتب بررسی شدهاند
– ۲۰٪ صفحات مهم فروش در ۱۴ روز گذشته حتی یکبار هم Crawl نشدهاند
اینجا مشکل «قابلخزش بودن» نیست؛ مشکل اینه که Googlebot وقتش رو جای اشتباهی خرج میکنه!
اشتباه رایج اینه که فکر کنیم:
«چون ابزار Crawl صفحه رو پیدا کرده، پس گوگل هم مرتب سراغش میره.»
نه لزوماً!
بهینهسازی Crawl Budget یعنی خزش گوگل رو کم نکنیم؛ بلکه کاری کنیم زمان Googlebot بیشتر صرف صفحاتی بشه که هم برای کسبوکار ارزش دارند و هم باید مرتب بهروز شوند.
حالا یک سؤال مهم:
اگر گوگل قرار بود فقط ۱۰٪ صفحات سایت شما رو Crawl کنه، دوست داشتید سراغ کدوم صفحات بره؟
در پایان
اگر تازه میخواید شروع کنید، پیشنهاد من Screaming Frog Log File Analyser هست؛ محیط سادهتری داره و برای تحلیل اولیه کاملاً کاربردیه.
البته بخش Crawl Stats سرچ کنسول هم دید کلی خوبی میده، اما جای تحلیل کامل Server Log رو نمیگیره.
فقط اول باید فایل Access Log رو از هاست، سرور یا تیم فنی بگیرید. بعد میتونید بررسی کنید Googlebot دقیقاً چه URLهایی رو، در چه زمانی و با چه Status code دیده.
کارشناس رشته مهندسی نرم افزار، فعال در حوزه طراحی وب، افزایش رتبه سایت در گوگل و بازاریابی،
با آموزش های سایت بهین وب دیزاین کمکت میکنم کسب و کار آنلاینت رو سریع راه اندازی کنی.
دلیلش سادهست:
کراولر به شما میگه:
«من چه صفحاتی رو پیدا کردم؟»
اما Server Log میگه:«Googlebot واقعاً کجا رفته، چند بار رفته و چه پاسخی گرفته؟»
مثلاً یک فروشگاه اینترنتی با ۱۰۰ هزار صفحه محصول رو در نظر بگیرید.
و Screaming Frog میگه همه محصولات با سه کلیک در دسترساند؛ اما لاگ سرور نشون میده:
– ۴۰٪ خزش گوگل صرف فیلترها شده
– محصولات ناموجود مرتب بررسی شدهاند
– ۲۰٪ صفحات مهم فروش در ۱۴ روز گذشته حتی یکبار هم Crawl نشدهاند
اینجا مشکل «قابلخزش بودن» نیست؛ مشکل اینه که Googlebot وقتش رو جای اشتباهی خرج میکنه!
اشتباه رایج اینه که فکر کنیم:
«چون ابزار Crawl صفحه رو پیدا کرده، پس گوگل هم مرتب سراغش میره.»
نه لزوماً!
بهینهسازی Crawl Budget یعنی خزش گوگل رو کم نکنیم؛ بلکه کاری کنیم زمان Googlebot بیشتر صرف صفحاتی بشه که هم برای کسبوکار ارزش دارند و هم باید مرتب بهروز شوند.
حالا یک سؤال مهم:
اگر گوگل قرار بود فقط ۱۰٪ صفحات سایت شما رو Crawl کنه، دوست داشتید سراغ کدوم صفحات بره؟
در پایان
اگر تازه میخواید شروع کنید، پیشنهاد من Screaming Frog Log File Analyser هست؛ محیط سادهتری داره و برای تحلیل اولیه کاملاً کاربردیه.
البته بخش Crawl Stats سرچ کنسول هم دید کلی خوبی میده، اما جای تحلیل کامل Server Log رو نمیگیره.
فقط اول باید فایل Access Log رو از هاست، سرور یا تیم فنی بگیرید. بعد میتونید بررسی کنید Googlebot دقیقاً چه URLهایی رو، در چه زمانی و با چه Status code دیده.