فایل robots.txt چیست و چه کاربردی دارد؟

آخرین بروزرسانی در تاریخ مارس 11, 2026 توسط PersiaWebAdmin

وقتی موتورهای جستجو مانند Google، Bing یا Yandex وارد سایت شما می‌شوند، آن‌ها از ربات‌هایی به نام Crawler یا Spider برای بررسی محتوای صفحات استفاده می‌کنند.

فایل robots.txt اولین فایلی است که این خزنده‌ها در ریشه‌ی دامنه (مثلاً example.com/robots.txt) جستجو می‌کنند تا بفهمند چه صفحاتی از سایت شما را می‌توانند یا نمی‌توانند بررسی کنند. معمولا این فایل در زمان طراحی سایت اضافه می شود.

فایل robots.txt چیست؟

robots.txt یک فایل متنی ساده است که در مسیر اصلی (root) وب‌سایت قرار می‌گیرد و حاوی دستوراتی برای ربات‌های جستجو است.

این فایل از قوانین استانداردی به نام Robots Exclusion Protocol پیروی می‌کند.

📄 فرم کلی دستورها:

                                    content_copy                    txtUser-agent: Googlebot
Disallow: /admin/
Allow: /admin/login.html

در این مثال گفته‌ایم که ربات گوگل وارد پوشه‌ی /admin/ نشود، مگر اینکه فایل login.html باشد.

---

چرا robots.txt مهم است؟

1. کنترل ایندکس شدن صفحات سایت: از ایندکس شدن صفحاتی مثل پنل مدیریت، فایل‌های سیستمی یا صفحات تست جلوگیری می‌کند.
2. بهینه‌سازی Crawl Budget (بودجه خزیدن): باعث می‌شود گوگل انرژی خود را فقط برای صفحات باارزش خرج کند.
3. امنیت سایت: برخی مسیرهای حساس را از دیده‌شدن در نتایج جستجو پنهان می‌کند (هرچند این روش امنیت قطعی نیست).
4. بهبود سئو تکنیکال: کمک می‌کند ساختار سایت تمیز، بهینه و قابل فهم‌تر برای خزنده‌ها باشد.

پیشنهاد مطالعه : e-e-a-t چیست ؟

---

نحوه ساخت فایل robots.txt

در سه روش می‌توان این فایل را ایجاد کرد:

۱. ساخت دستی

در یک ویرایشگر ساده مثل Notepad فایل متنی ایجاد و ذخیره کنید با نام دقیق:

                                    content_copy                    textrobots.txt

سپس در ریشه‌ی هاست یا وب‌سرور آپلود کنید.

مثلاً در آدرس زیر باید قابل مشاهده باشد:

                                    content_copy                    texthttps://example.com/robots.txt

۲. از طریق CMS (مثلاً وردپرس)

در وردپرس، معمولاً سیستم به‌صورت خودکار یک فایل مجازی robots.txt می‌سازد.

ولی می‌توانید نسخه سفارشی خود را با افزونه‌ها ایجاد کنید (در پایین معرفی می‌شود).

۳. از طریق کنترل‌پنل هاست یا FTP

اگر سایت وردپرس یا جوملا نیست، می‌توانید از File Manager یا FTP برای افزودن فایل در مسیر /public_html/ اقدام کنید.

پیشنهاد مطالعه : سایت مپ چیست ؟

---

ساختار و دستورات مهم در robots.txt

دستور	کاربرد
User-agent	تعیین می‌کند این قوانین برای کدام ربات اعمال شود (مثلاً Googlebot یا * (همه ربات‌ها))
Disallow	مسیرهایی که ربات نباید به آن‌ها دسترسی داشته باشد
Allow	مسیرهایی که اجازه دسترسی داده شده (در کنار Disallow کاربرد دارد)
Sitemap	آدرس نقشه سایت برای ربات‌ها
Crawl-delay	مدت تأخیر بین هر درخواست (برای برخی موتورهای جستجو به‌جز گوگل کاربرد دارد)

📘 نمونه فایل استاندارد:

                                    content_copy                    txtUser-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap.xml

---

افزونه‌ها و ابزارهای مهم برای مدیریت فایل robots.txt

در سیستم مدیریت محتوای وردپرس، پلاگین‌های متعددی برای این منظور وجود دارد، از جمله:

1. Yoast SEO
   • ویرایش robots.txt از داخل داشبورد
   • افزودن sitemap به فایل
   • جلوگیری از ایندکس صفحات خاص
2. All in One SEO (AIOSEO)
   • رابط گرافیکی آسان برای مدیریت
   • پشتیبانی از چندین User-agent
3. Rank Math
   • قابلیت Auto-generate فایل استاندارد
   • کنترل دقیق مسیرها برای گوگل و بینگ
4. WP Robots.txt Editor
   • افزونه اختصاصی و سبک برای سفارشی‌سازی فایل

پیشنهاد مطالعه : سئو محلی چیست و چرا مهم است ؟ https://persia-web.ir/local-seo/

---

نحوه افزودن فایل Robots.txt به Google Search Console

مراحل:

1. وارد Google Search Console شوید.
2. در نوار سمت چپ، گزینه “Settings” → “Crawl Stats” را بررسی کنید.
3. برای تست فایل، از ابزار تست Robots.txt در بخش “Robots.txt Tester” (در نسخه قدیمی Google Webmaster Tools) استفاده کنید.
4. در این ابزار، آدرس فایل خود را وارد کنید (مثلاً https://example.com/robots.txt)
5. روی “Test” بزنید تا مطمئن شوید هیچ خطایی وجود ندارد.
6. سپس در صورت نیاز فایل را مجدداً در سایت آپلود کنید.

---

چه مواردی باید و نباید در فایل robots.txt نوشته شود؟

✅ باید نوشته شود:

• مسیرهای منع دسترسی (admin، cgi-bin، cart و …)
• مسیرهای مجاز لازم برای عملکرد سایت
• آدرس sitemap

🚫 نباید نوشته شود:

• اطلاعات حساس (مثل مسیر واقعی فایل‌های امنیتی یا داده‌ها)
• خطاهای نحوی یا فاصله‌های اشتباه
• ممنوعیت کل سایت برای همه ربات‌ها! مگر در حالت توسعه (Disallow: /)

---

نکات حرفه‌ای و توصیه‌ها

1. همیشه بعد از ویرایش فایل، آن را با ابزار Google Robots Tester بررسی کنید.
2. اگر سایت در مرحله توسعه است، اجازه دسترسی کامل به خزنده‌ها را ندهید.
3. از خط Sitemap: برای معرفی نقشه سایت استفاده کنید.
4. دقت کنید آدرس‌ها با اسلش (/) درست تعریف شوند.
5. در دامنه‌های غیر‌اصلی (ساب‌دامین‌ها) باید فایل مجزا داشته باشید.

---

جمع‌بندی

فایل robots.txt ابزاری ساده ولی حیاتی برای سئو فنی است.

این فایل واسطه‌ای میان شما و موتورهای جستجو است که به آن‌ها می‌گوید کجا را ببینند و کجا را نادیده بگیرند. اگر درست تنظیم شود، باعث افزایش سرعت ایندکس و کنترل دقیق محتوای سایت خواهد شد.

پرشیا وب

ایندکس‌پذیری محتوای وب‌سایت به عنوان ستون اصلی سئو است