سلام
در لاگهای سایتم ربات فیسبوک خیلی فیلترهای محصولات ووکامرسی رو چک میکنه و باعث مصرف بالای منابع میشه. مثلا تو 12 ساعت چیزی حدود 36هزار بار چک کرده و ریکوست داشته.
راه حل منطقی چیه؟
جلوی کراول فیسبوک رو ببندم؟ جلوی ایندکس شدن فیلترها رو ببندم؟
کروال شدن رو محدود کنم؟
معمولا روی لینک محصولات با فیلترهای زیاد ریکوئست میده
سلام
این حجم درخواست بیخود داره منابع رو میخوره. برای اینکه کامل جمعش کنی این کارها رو با هم انجام بده: اول لینک های فیلتر رو از ایندکس خارج کن، معمولا آدرسشون ?filter_ یا ?attribute_ داره، پس تو فایل robots.txt اینا رو اضافه کن: User-agent: * Disallow: /?filter_ Disallow: /?attribute_ . بعد اگه افزونه سئو مثل Yoast یا Rank Math داری، صفحات فیلتر رو noindex کن که حتی اگه ربات دیدشون، ایندکس نکنه. در نهایت اگه فیسبوک برات ترافیک و ورودی نداره، میتونی مستقیم تو robots.txt ببندیش: User-agent: facebookexternalhit Disallow: / . این سه تا رو بزنی هم مصرف منابع میاد پایین.