چکونگی حل ارورها در فایل Robots.txt

[mohamad_shahabi]

سلام وقت بخیر من به تازگی سایتم رو https کردم وسایت مپ جدید رو به گوکل وبمستر تعریف کردم با این ارور مواجه شدم که از فایل روبات ایراد گرفته چطور میتونم این رو برطرف کنم آیا خطی که ارور گرفته رو پاک کنم مشکلی پیش نمیاد ؟ فایل متنی روبات رو هم ضمیمه میکنم

sitemap: https://tarhina.com/sitemap.xml
User-agent:  *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /archives/
allow: /archives/blockedurl.php
disallow: /*?*
Disallow: *?replytocom
Disallow: /wp-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: Adsbot-Google
Allow: /
 
User-agent: Googlebot-Mobile
Allow: /

[mohammadh (محمد حسین)]

سلام
فایل robots.txt شما چندتا مشکل داره
همه آدرس های ریشه وردپرس را نباید Disallow کنید چرا که تصاویر و فایل ها داخل wp-contact قرار میگیرند ، فقط /wp-admin/ را Disallow کنید و اگر موارد دیگه ای نیاز بود مثل url نویسنده از طریق افزونه های سئو نوایندکس کنید
نیازی به Allow کردن همه مسیرها نیست فقط آدرس اصلی سایت بصورت / َAllow کنید
/wp-content/uploads/ که قرار دادین امکان داره گوگل تصاویر را بصورت صفحات مجزا ایندکس کنه که محتوایی ندارن و برای سئو مشکل ساز بشه.

[Rahim (رحیم)]

سلام

پیشنهاد میکنم این مقاله رو بررسی کنید:

How to Optimize Your Robots.txt for SEO in WordPress (Beginner's Guide)

[mohamad_shahabi]

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Allow: /wp-includes/js/
Allow: /wp-includes/css/
Disallow: *?replytocom
Disallow: /wp-*.php
Sitemap: https://tarhina.com/sitemap.xml

من این فایل رو کد نویسی کردم برای روبات به نظرتون مشکلی نداره میخوام رباتهای یاهو وبینگ هم به سایتم سر بزنند اگر این فایل کم یا اضافه داره بگین که برطرف کنم ممنون

[mohammadh (محمد حسین)]

ببینید اصلا نیازی نیست برای ربات های مختلف داخل فایل robots کد بزنید مگر اینکه بخواین دسترسی رباتی را محدود کنید یا ببندید
داخل کنسول بینگ ثبت نام کنید و سایتتون را ثبت کنید، خودش بعد از مدتی ایندکس میشه
پیشنهاد می کنم از افزونه رنک مث استفاده کنید، خودش فایل robots را داره و نیازی به ساخت فایل بصورت دستی نیست