مشکل ایندکس سایت مپ بعد انتقال هاست

سلام، 23 اکتبر ما سایت خودمون رو از یکی از هاستینگ های دیگه به سون هاست منتقل کردیم. مشکلی که بوجود اومده اینه که از روزی که سایت ما به سون هاست کرولرهای گوگل دیگه نتونستن سایت رو ایندکس کنند. تمام تنظیمات سایت همون تنظیمات قبل 23 اکتبر هست و هیچ چیزی تغییری نکرده. حتی برای مطمئن شدن هم افزونه امنیتی سایت رو غیرفعال کردم ولی بازم بعد چند روز اتفاقی نیفتاده ولی همچنان ارور 403 (Couldn’t Fetch) میده گوگل.

برای امتحان کردن این موضوع من اومدن کرولر گوگل رو شبیه سازی کردم یعنی اومدن سایت رو با curl و با User-Agent گوگل بات سایت مپ سایت رو fetch کردم و انگار گوگل درست میگفت و سایت مپ ارور
Access to this resource on the server is denied
میگیرم از وب سرور لایت اسپید موقعی که از این User-Agent استفاده میکنم. نحوه fetch کردن سایت مپ با Googlebot User-Agent:

curl -A ‘Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)’ https://example.com/sitemap.xml

لیست کرولرهای گوگل:

بقیه سایت های ما که روی میزبان های دیگه به غیر سون هاست هست این دستور که اشاره کردم درست کار میکنه و خطای 403 نمیبینم توی سایت مپ.

پشتیبانی سون هاست هم میگه مشکلی از سمت خودشون نیست و من رو به فروم ارجاع دادند. سایت ما از CDN آروان استفاده میکنه حتی بدون CDN هم امتحان کردم و نشد.

محتوای robots:

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /license.txt
Sitemap: https://example.org/sitemap.xml

وقت بخیر

امیدوارم حالتون خوب باشه.
لطفا دامنه هم ارسال کنید بررسی بشه براتون.

2 پسندیده

سلام،
نمیتونم براتون پیام شخصی ارسال کنم.
میگه بزارید مهر ثبتنام خشک شه :slight_smile:

1 پسندیده

سلام @MSaadat عزیز،
خوش اومدید به انجمن سون هاست.

علت این اتفاق جلوگیری از ارسال های کاربران فیک و در کل اسپم هست.
با فعالیت در انجمن و گذشت زمان، این قابلیت برای شما باز میشه.

لطفا آدرس سایت رو همینجا اعلام کنید.

ممنون

بفرمایید:
لینک حذف شد

خطایی که گوگل از آدرس سایت مپ شما میده:

The URL did not appear to be an HTML page (invalid Content-Type: text/xml; charset=utf-8)

آدرس سایت مپ شما رو با چند تا Validator بررسی کردم.

پیشنهاد من اینه که افزونه گوگل سایت مپ رو یکبار غیر فعال کنید و سپس فعال کنید. همچنین در تنظیمات پیوند یکتا یکبار رو دکمه ذخیره کلیک کنید تا فایل htaccess مجددا ساخته بشه. معمولا مشکلات چنینی حل میشن با اینکار.

برای اینکه بهتون نشون بدم مشکل از سمت هاست نیست این گزارش جی تی متریکس از خود سایت رو ببینید:

حالا همین گزارش رو از سایت مپ ببینید:

اگر وبسایتتون رو به گوگل وبمستر اضافه کرده باشید (که قاعدتا اضافه کردید که این خطا رو دریافت کردید) می تونید از ابزار URL Inspection استفاده کنید تا متوجه بشین که چرا و به چه دلیلی اون لینک خاص مشکل داره.

ابزار Inspection Tools رو می تونید تو نوار بالایی وبمستر تولز ببینید. فقط تو همون اکانت لاگین باشید سپس لینک صفحه سایت مپ رو وارد و اینتر بزنید.


بعضی از کاربرا کلا با اشتراک گذاری لینک وب سایتشون به خاطر لینک سازی غیر استاندارد تو انجمن مشکل دارن. برای همین می تونید ابزار کوتاه کننده لینک زایا استفاده کنید.

3 پسندیده

ممنون از بررسی شما.
ولی جی تی متریکس صفحات html رو بررسی میکنه و طبیعی هست که سایت مپ رو ارور بده. توی متن خطا هم نوشته که ظاهرا صفحه درخواستی html نیست که درست هم هست.

میشه بگین با کدوم Validator بررسی کردید که من هم بتونم انجام بدم.

بنظرم مشکل از تنظیمات امنیتی Server Side هاست هست چون چنین مشکلی رو من اولین باره که توی این سایت میبینم.

هاست یکی از چند نوع کرولر گوگل رو بلاک میکنه و بهش ارور عدم دسترسی میده 403.

این کرولر رو هاست نمیزاره ورود کنه:

curl -A 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' -i https://example.com/sitemap.xml

ولی به این کرولر اجازه میده:

curl -A 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' -i https://example.com/sitemap.xml

هر دو هم کرولر های قانونی گوگل هستند.

لطفا نفرمایید، 35 هزار وبسایت و فقط یک وب سایت شما با این مورد مشکل داره؟ ما به دنبال راهکار فنی هستیم. لطفا با تاپیک جلو بریم تا بتونیم راهکاری برای مشکل شما پیدا کنیم. اگر گوگل وبسایت شما رو می بینه و سایت مپ شما رو نمی بینه فقط و فقط به معنای وجود مشکل در سایت مپ شماست. حتی اگه کراولر گوگل متفاوت باشه، از یه متد برای بررسی استفاده می کنه.

تمامی آی پی های گوگل به صورت پیشفرض در تمامی سرور های سون هاست وایت لیست هستند. حالا با هر نوع Crawler ی باشه رد میشه توسط سرور.

اون مواردی که بهتون گفتم رو انجام دادید؟

2 پسندیده

الان تست میگیرم.

الان شما با این سایت:
https://httpstatus.io

تست بگیرید سایت مپ رو روی User Agent:
Googlebot/2.1 (Desktop)
خطا میده ولی روی Agent:
Bingbot/2.0
بدوم خطا کار میکنه

درسته. آیا هیچ افزونه امنیتی نصب کردید؟

موارد زیر رو انجام بدین:

  • غیر فعال کردن هر افزونه امنیتی
  • ریستور کردن فایل .htacess به مقادیر پیشفرض (موقتی برای تست)

مقدار پیشفرض htaccess:

# BEGIN WordPress
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
# END WordPress

افزونه امنیتی و کش رو غیرفعال کردم.

افزونه سایت مپ رو غیرفعال و فعال کردم.

پیوند یکتا هم دوباره ذخیره کردم.

htaccess هم به پیشفرض تغییر دادم.

میتونید دوباره تست بگیرید.

1 پسندیده

بررسی می کنم بهتون اطلاع میدم.

1 پسندیده

این مورد با پیگیری مستقیم رفع شد.
مشکل از دیتابیس سرور imunify و rule list سرسخت بود که به با یک hotfix رفع شد.

5 پسندیده