سلام، 23 اکتبر ما سایت خودمون رو از یکی از هاستینگ های دیگه به سون هاست منتقل کردیم. مشکلی که بوجود اومده اینه که از روزی که سایت ما به سون هاست کرولرهای گوگل دیگه نتونستن سایت رو ایندکس کنند. تمام تنظیمات سایت همون تنظیمات قبل 23 اکتبر هست و هیچ چیزی تغییری نکرده. حتی برای مطمئن شدن هم افزونه امنیتی سایت رو غیرفعال کردم ولی بازم بعد چند روز اتفاقی نیفتاده ولی همچنان ارور 403 (Couldn’t Fetch) میده گوگل.
برای امتحان کردن این موضوع من اومدن کرولر گوگل رو شبیه سازی کردم یعنی اومدن سایت رو با curl و با User-Agent گوگل بات سایت مپ سایت رو fetch کردم و انگار گوگل درست میگفت و سایت مپ ارور
Access to this resource on the server is denied
میگیرم از وب سرور لایت اسپید موقعی که از این User-Agent استفاده میکنم. نحوه fetch کردن سایت مپ با Googlebot User-Agent:
curl -A ‘Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)’ https://example.com/sitemap.xml
لیست کرولرهای گوگل:
بقیه سایت های ما که روی میزبان های دیگه به غیر سون هاست هست این دستور که اشاره کردم درست کار میکنه و خطای 403 نمیبینم توی سایت مپ.
پشتیبانی سون هاست هم میگه مشکلی از سمت خودشون نیست و من رو به فروم ارجاع دادند. سایت ما از CDN آروان استفاده میکنه حتی بدون CDN هم امتحان کردم و نشد.
پیشنهاد من اینه که افزونه گوگل سایت مپ رو یکبار غیر فعال کنید و سپس فعال کنید. همچنین در تنظیمات پیوند یکتا یکبار رو دکمه ذخیره کلیک کنید تا فایل htaccess مجددا ساخته بشه. معمولا مشکلات چنینی حل میشن با اینکار.
برای اینکه بهتون نشون بدم مشکل از سمت هاست نیست این گزارش جی تی متریکس از خود سایت رو ببینید:
اگر وبسایتتون رو به گوگل وبمستر اضافه کرده باشید (که قاعدتا اضافه کردید که این خطا رو دریافت کردید) می تونید از ابزار URL Inspection استفاده کنید تا متوجه بشین که چرا و به چه دلیلی اون لینک خاص مشکل داره.
ابزار Inspection Tools رو می تونید تو نوار بالایی وبمستر تولز ببینید. فقط تو همون اکانت لاگین باشید سپس لینک صفحه سایت مپ رو وارد و اینتر بزنید.
بعضی از کاربرا کلا با اشتراک گذاری لینک وب سایتشون به خاطر لینک سازی غیر استاندارد تو انجمن مشکل دارن. برای همین می تونید ابزار کوتاه کننده لینک زایا استفاده کنید.
ممنون از بررسی شما.
ولی جی تی متریکس صفحات html رو بررسی میکنه و طبیعی هست که سایت مپ رو ارور بده. توی متن خطا هم نوشته که ظاهرا صفحه درخواستی html نیست که درست هم هست.
میشه بگین با کدوم Validator بررسی کردید که من هم بتونم انجام بدم.
بنظرم مشکل از تنظیمات امنیتی Server Side هاست هست چون چنین مشکلی رو من اولین باره که توی این سایت میبینم.
هاست یکی از چند نوع کرولر گوگل رو بلاک میکنه و بهش ارور عدم دسترسی میده 403.
این کرولر رو هاست نمیزاره ورود کنه:
curl -A 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' -i https://example.com/sitemap.xml
ولی به این کرولر اجازه میده:
curl -A 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' -i https://example.com/sitemap.xml
لطفا نفرمایید، 35 هزار وبسایت و فقط یک وب سایت شما با این مورد مشکل داره؟ ما به دنبال راهکار فنی هستیم. لطفا با تاپیک جلو بریم تا بتونیم راهکاری برای مشکل شما پیدا کنیم. اگر گوگل وبسایت شما رو می بینه و سایت مپ شما رو نمی بینه فقط و فقط به معنای وجود مشکل در سایت مپ شماست. حتی اگه کراولر گوگل متفاوت باشه، از یه متد برای بررسی استفاده می کنه.
تمامی آی پی های گوگل به صورت پیشفرض در تمامی سرور های سون هاست وایت لیست هستند. حالا با هر نوع Crawler ی باشه رد میشه توسط سرور.
