سلام دوستان
من با استفاده از htaccess تونستم فایل‌هایی مثل html,xml نوایندکس فالو کنم اما برای اضافه کردن نوایندکس فالو به فیدها که پسوند خاصی ندارن مشکل دارم. راه حلی می‌شناسید؟
https://yoast.com/x-robots-tag-play
سلام و درود
منظورتون چه نوع پسوندهایی هست؟ چون هر نوع فایلی یک پسوند داره. لطفا دقیق تر توضیح بدید تا بتونم کمک تون کنم
این موارد رو می تونین در فایل robots.txt، Disallow کنید به این صورت:
Disallow: /feed/
با این مورد در فایل robots.txt کلا هر انچه که با feed بخواد ایندکس بشه رو نو ایندکس می کنه
2 پسندیده
با نوایندکس از نتایج حذفش کنم (می‌خوام همچنان خزش بشه)
متوجه نمیشم. میشه لطفا بیشتر توضیح بدین؟ خزش بشه ولی ایندکس نشه؟
با دستورات فایل ربات نمیشه صفحات سایتو از نتایج حذف کرد، فقط ربات گوگل اون صفحه رو crawl نمیکنه مگر اینکه صفحه مورد نظر بک لینک داشته باشه
خلاصه اینکه دنبال اضافه کردن x-robots tag به فید هستم، برای فایل ربات و نقشه که پسوند مشخصی دارن تونستم انجام بدم ولی واسه فید نمیدونم چطوری میشه
<ifModule mod_headers.c>
<FilesMatch "\.(ttf|eot|woff|woff2|txt|xml|css|js|html)$">
Header set X-Robots-Tag "noindex, follow"
</FilesMatch>
</ifModule>اصلا ایده خوبی نیست.
چند تا لینک هستن که قصد حذف کردن اونها رو دارید؟
معمولا فیدها و موارد ایندکس نمیشه و بهتره که خزش هم نشه و کلا از نتایج حذف بشه. و این مسئله در بحث سئوتون بهینه تر میشه.
بهترین کار از نو ایندکس و عدم خزش از تغییر فایل robots.txt هست. خزش اینا فایده ای نداره و بودجه ایندکس شما رو هدر می ده.
2 پسندیده
این موضوع اصلا مهمه؟ چون کنسول اقدام به خزش میکنه ولی همواره اینها رو خودش به شکل اتوماتیک در لیست نوایندکس میذاره. اصلا موندم از همون اول وقتی می بینه اینها فید هستند برای چی کراول میکنه!
بله. قطعا مهمه… در حالت عادی تمامی بخش های وب سایت شما کراول میشه و همین امر تمرکز اصلی روی سایر قسمت ها کمتر میشه. شما با نوایندکس کردن بخش های غیر ضروری و غیر قابل اهمیت نظیر فید می تونید مسیر خزش را متمرکز و هدف دار کنید.
بسیار عالی. پس پیشنهاد می‌فرمایید robots.txt ویرایش بشه که feed رو نخونه؟
بله در توضیحات بالاتر روش اضافه کردنش رو گفتم. می تونید در این فایل قرار بدید
1 پسندیده