فایل robots.txt چیست و چه کاربردی دارد؟

آخرین بروزرسانی در تاریخ جولای 19, 2026 توسط PersiaWebAdmin

فرض کنید یک طراح یا برنامه‌نویس وب هستید. سایت مشتری را روی دامنهٔ اصلی راه‌اندازی کرده‌اید و همه چیز عالی پیش رفته. اما یک هفته بعد، مشتری تماس می‌گیرد و می‌گوید: «سایت من در گوگل نیست! هر چی سرچ می‌کنم، هیچ‌کدوم از صفحاتم نمیاد.»

شما سریعاً به Google Search Console سر می‌زنید و با صحنه‌ای وحشتناک روبرو می‌شوید: صفر صفحه ایندکس شده. علت چیست؟ یک فایل robots.txt که سه ماه پیش برای مخفی کردن سایت از گوگل هنگام توسعه نوشته بودید… و فراموش کردید بعد از راه‌اندازی، آن را اصلاح کنید. یک خط ساده Disallow: / کل وب‌سایت را از موتورهای جستجو پنهان کرده بود.

این فقط یک مثال نیست. robots.txt قدرتمندترین فایل کوچک در کل سایت شماست؛ فایلی که می‌تواند مسیر موفقیت یا فاجعه در سئو فنی را تعیین کند. در این راهنما، نه فقط توضیح می‌دهیم این فایل چیست، بلکه یاد می‌گیرید چطور یک فایل robots.txt حرفه‌ای برای هر نوع وب‌سایتی (از یک فروشگاه بزرگ ووکامرس تا یک وبلاگ ساده) بسازید، تست کنید و از اشتباهات مرگبار آن در امان بمانید.

۲. رفع یک سوءتفاهم بسیار رایج: robots.txt با noindex فرق دارد!

قبل از هر چیز، باید یک اصل پایه‌ای را روشن کنیم. بسیاری از افراد تصور می‌کنند Disallow کردن یک صفحه در robots.txt یعنی آن صفحه از نتایج گوگل حذف می‌شود. این کاملاً اشتباه است و می‌تواند به قیمت نابودی سئوی شما تمام شود.

دستور	محل قرارگیری	کارکرد	نتیجه
Disallow در robots.txt	فایل robots.txt در ریشهٔ سایت	به ربات می‌گوید: «این صفحه را نخز (Crawl نکن).»	گوگل محتوای صفحه را نمی‌بیند، اما اگر از طریق لینک‌های خارجی به آن پیوند داده شده باشد، ممکن است همچنان آن را بدون توضیح (No Information) ایندکس کند.
noindex در متاتگ یا هدر HTTP	کد HTML صفحه یا هدر سرور	به ربات می‌گوید: «این صفحه را در نتایج جستجو نشان نده (ایندکس نکن).»	گوگل صفحه را می‌خزد، می‌خواند، اما آن را از ایندکس خود حذف می‌کند.

سناریوی رایج فاجعه: یک مدیر سایت، بخش «پنل کاربری» را با Disallow در robots.txt مخفی می‌کند تا از گوگل پنهان بماند. اما صفحات پنل کاربری از بیرون بک‌لینک می‌خورند (مثلاً در یک انجمن لینک داده شده‌اند). گوگل آن‌ها را بدون محتوا اما با URL ایندکس می‌کند. نتیجه: در نتایج جستجو، کاربران یک لینک خالی و بی‌توضیح از پنل کاربری شما را می‌بینند.

قاعدهٔ طلایی:

• اگر می‌خواهید صفحه‌ای خزیده نشود (برای صرفه‌جویی در بودجهٔ خزش): از Disallow در robots.txt استفاده کنید.
• اگر می‌خواهید صفحه‌ای در نتایج گوگل نباشد: از noindex (متاتگ یا هدر X-Robots-Tag) استفاده کنید.
• در بسیاری از موارد، ترکیب هر دو بهترین نتیجه را می‌دهد: ابتدا با noindex صفحه را از ایندکس خارج کنید، سپس با Disallow از خزش مجدد آن جلوگیری کنید.

پیشنهاد مطالعه : e-e-a-t چیست ؟

۳. ساختار و دستورات فایل robots.txt

robots.txt یک فایل متنی ساده است که در مسیر ریشهٔ دامنه (مثلاً https://example.com/robots.txt) قرار می‌گیرد و از استاندارد Robots Exclusion Protocol (REP) پیروی می‌کند.

۳-۱. دستورات اصلی

دستور	کاربرد	مثال
User-agent	مشخص می‌کند قوانین برای کدام ربات است. * یعنی همهٔ ربات‌ها.	User-agent: Googlebot
Disallow	مسیرهایی که ربات نباید بخزد.	Disallow: /wp-admin/
Allow	اجازهٔ خزش یک مسیر خاص در یک شاخهٔ Disallow شده.	Allow: /wp-admin/admin-ajax.php
Sitemap	آدرس کامل نقشهٔ سایت XML (می‌تواند در هر جایی از فایل باشد).	Sitemap: https://example.com/sitemap.xml
Crawl-delay	تأخیر بین درخواست‌های ربات (بر حسب ثانیه). توجه: گوگل از این دستور پشتیبانی نمی‌کند. برای گوگل باید از تنظیمات سرچ کنسول استفاده کنید. برای Bing و Yandex معتبر است.	Crawl-delay: 10

۳-۲. کاراکترهای Wildcard (الگوهای تطبیق)

• * (ستاره): یعنی هر تعداد کاراکتر. مثال: Disallow: /*?s= یعنی هر URL که شامل پارامتر ?s= باشد.
• $ (دلار): یعنی انتهای URL. مثال: Disallow: /*.pdf$ یعنی هیچ فایل PDFای خزیده نشود.

۳-۳. نمونه فایل‌های استاندارد و آماده

نمونهٔ ۱: سایت شرکتی ساده (وردپرس)

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /*?replytocom
Sitemap: https://example.com/sitemap.xml

نمونهٔ ۲: فروشگاه اینترنتی (ووکامرس)

User-agent: *
Disallow: /wp-admin/
Disallow: /my-account/
Disallow: /cart/
Disallow: /checkout/
Disallow: /*?add-to-cart=
Disallow: /*?filter=
Disallow: /*?v=
Sitemap: https://example.com/sitemap.xml

نمونهٔ ۳: سایت در حال توسعه (بستن کامل به روی ربات‌ها)

User-agent: *
Disallow: /

نمونهٔ ۴: بستن سایت فقط به روی یک ربات خاص (مثلاً ربات GPTBot)

User-agent: GPTBot
Disallow: /

---

۴. ۶ قانون طلایی برای نوشتن یک فایل robots.txt حرفه‌ای

۱. حساسیت به بزرگی و کوچکی حروف: مسیرها Case-sensitive هستند. /Admin/ با /admin/ فرق می‌کند. همیشه مسیرهای واقعی خود را دقیقاً بنویسید.

۲. ترتیب و تعامل Allow و Disallow: در Googlebot، ترتیب دستورات مهم نیست؛ منطبق‌ترین الگو برنده است. یعنی اگر بنویسید Allow: /admin/login و Disallow: /admin/، مسیر /admin/login همچنان مجاز خواهد بود چون خاص‌تر است.

۳. هر User-agent فقط یک بار: اگر برای یک ربات خاص قوانین جداگانه دارید، یک بلاک User-agent برایش بسازید. ربات گوگل فقط بلاک مربوط به خودش را می‌خواند. اگر بلاک اختصاصی نباشد، به سراغ بلاک * می‌رود.

۴. فایل باید در ریشه و با نام دقیق robots.txt باشد: نه Robots.txt، نه robot.txt. و حتماً باید از طریق https://example.com/robots.txt در دسترس باشد.

۵. URLها را کامل و بدون دامنه بنویسید: Disallow: /private/ درست است. Disallow: https://example.com/private/ نادرست.

۶. هرگز از robots.txt برای مخفی کردن اطلاعات محرمانه استفاده نکنید: robots.txt یک فایل عمومی است. هر کسی می‌تواند yourdomain.com/robots.txt را ببیند. اگر مسیر /secret-data/ را در آن Disallow کنید، دقیقاً به هکرها می‌گویید «اینجا یک چیز با ارزش مخفی شده است!» برای امنیت، از روش‌های دیگر (مثل Password Protection یا IP Restriction) استفاده کنید.

پیشنهاد مطالعه : سایت مپ چیست ؟

۵. چگونه یک فایل robots.txt بسازیم و به سایت اضافه کنیم؟

روش اول: ساخت دستی و آپلود از طریق FTP (مناسب همهٔ سایت‌ها)

۱. یک فایل متنی با Notepad (ویندوز) یا TextEdit (مک) باز کنید.
۲. قوانین خود را با فرمت استاندارد بنویسید.
۳. فایل را دقیقاً با نام robots.txt ذخیره کنید (پسوند txt. باشد، نه robots.txt.txt).
۴. از طریق File Manager هاست یا یک کلاینت FTP (مثل FileZilla)، فایل را به ریشهٔ سایت (معمولاً پوشهٔ public_html یا www) آپلود کنید.
۵. در مرورگر به https://yourdomain.com/robots.txt بروید. باید محتوای فایل را ببینید.

روش دوم: استفاده از افزونه‌های وردپرس (مناسب کاربران وردپرس)

اگر از وردپرس استفاده می‌کنید، خود وردپرس یک robots.txt مجازی می‌سازد. اما برای کنترل کامل، یک افزونه نصب کنید:

• Yoast SEO: به SEO > Tools > File Editor بروید. می‌توانید robots.txt را مستقیماً از پیشخوان وردپرس ویرایش کنید.
• Rank Math: به Rank Math > General Settings > Edit robots.txt بروید و قوانین سفارشی خود را اضافه کنید.
• All in One SEO (AIOSEO): در منوی All in One SEO > Tools > Robots.txt Editor یک ویرایشگر کامل دارد.
• افزونهٔ اختصاصی WP Robots.txt Editor: اگر فقط همین کار را می‌خواهید، این افزونهٔ سبک بهترین گزینه است.

مزیت استفاده از افزونه: تغییرات بدون نیاز به FTP اعمال می‌شوند و بسیاری از افزونه‌ها یک تست اولیه هم انجام می‌دهند.

---

۶. چگونه فایل robots.txt را تست و به گوگل معرفی کنیم؟

گام اول: تست فایل (قبل از هر اقدامی واجب است)

۱. وارد Google Search Console شوید.
۲. به Settings > robots.txt بروید (یا از ابزار قدیمی Robots.txt Tester استفاده کنید که ممکن است در بخش Legacy tools باشد).
۳. در پایین صفحه، بخش «Test a URL» را ببینید. یک URL از سایت خود (مثلاً یک صفحهٔ محصول یا یک صفحهٔ مدیریتی) وارد کنید.
۴. گوگل به شما می‌گوید که آیا این URL برای Googlebot مجاز است یا مسدود. این کار را برای چند صفحهٔ حیاتی انجام دهید تا مطمئن شوید اشتباهاً مسیرهای مهم را نبسته‌اید.

گام دوم: ارسال به گوگل (اختیاری اما توصیه می‌شود)

۱. در همان بخش robots.txt در سرچ کنسول، اگر فایل خود را ویرایش کرده‌اید، دکمهٔ Submit را بزنید.
۲. گوگل از شما می‌خواهد فایل جدید را تأیید کنید. این کار باعث می‌شود ظرف چند ساعت (به جای چند هفته) فایل جدید پردازش شود.

پیشنهاد مطالعه : سئو محلی چیست و چرا مهم است ؟

۷. عیب‌یابی: رایج‌ترین اشتباهات مرگبار و راه‌حل آن‌ها

اشتباه ۱: مسدود کردن دسترسی به CSS و JS

برخی فایل‌های robots.txt قدیمی، پوشهٔ /wp-includes/ یا /wp-content/themes/ را مسدود می‌کنند. این کار بسیار خطرناک است. گوگل برای رندر کردن صفحات (Render) و درک Mobile-Friendliness نیاز به دسترسی به فایل‌های CSS و JS دارد. اگر این فایل‌ها را ببندید، گوگل سایت شما را مثل یک صفحهٔ متنی ساده و شکسته می‌بیند و رتبه‌تان سقوط می‌کند.

راه‌حل: در یک سایت وردپرسی مدرن، Disallow: /wp-includes/ را حذف کنید.

اشتباه ۲: فراموش کردن / در انتهای مسیرها

Disallow: /admin صفحهٔ /admin و /administrator و /admin-login را هم مسدود می‌کند (چون همه با /admin شروع می‌شوند). اما Disallow: /admin/ فقط پوشهٔ /admin/ را هدف قرار می‌دهد.

راه‌حل: همیشه به مسیر پوشه‌ها / در انتها اضافه کنید.

اشتباه ۳: استفاده از چندین Sitemap در یک خط

فقط یک Sitemap در هر خط بنویسید. نوشتن چند آدرس با ویرگول نادرست است:

❌ Sitemap: https://example.com/sitemap1.xml, https://example.com/sitemap2.xml
✅ Sitemap: https://example.com/sitemap1.xml
✅ Sitemap: https://example.com/sitemap2.xml

اشتباه ۴: Disallow کردن کل سایت با Disallow: / در سایت زنده

همان فاجعه‌ای که در مقدمه گفتیم. همیشه پس از اتمام توسعه، فایل robots.txt را بررسی کنید.

اشتباه ۵: نوشتن قوانین متضاد

اگر بنویسید:

User-agent: *
Disallow: /blog/
Allow: /blog/

این قوانین همدیگر را خنثی می‌کنند و رفتار گوگل غیرقابل پیش‌بینی می‌شود. شفاف و قاطع بنویسید. طراحی سایت بسیار مهم است و باید بر اساس تجربه سایت را طراحی کرد تا به مشکل برخورد نکرد.

---

۸. چک‌لیست نهایی robots.txt

• فایل در آدرس https://yourdomain.com/robots.txt در دسترس است.
• مسیرهای حساس مثل /wp-admin/ یا /cgi-bin/ بسته شده‌اند.
• مسیرهای CSS و JS (مثل /wp-includes/) باز هستند.
• مسیر نقشهٔ سایت (Sitemap) با آدرس کامل و صحیح در فایل وجود دارد.
• فایل با ابزار Robots.txt Tester در سرچ کنسول تست شده است.
• Disallow: / در سایت زنده وجود ندارد (مگر عمداً در حال توسعه باشید).
• از robots.txt برای مخفی کردن اطلاعات محرمانه استفاده نشده (این فایل عمومی است).
• برای صفحاتی که باید از ایندکس خارج شوند، از noindex استفاده شده، نه فقط Disallow.

---

۹. جمع‌بندی و گام بعدی

فایل robots.txt یک ابزار ساده اما حیاتی است. با یک فایل ۵ خطی درست، می‌توانید بودجهٔ خزش گوگل را بهینه کنید، صفحات بی‌ارزش را از دید خزنده‌ها پنهان کنید و از ایندکس شدن مسیرهای حساس جلوگیری کنید. با یک فایل غلط، می‌توانید کل سایت خود را از نتایج گوگل محو کنید.

توصیهٔ نهایی: همین حالا به yourdomain.com/robots.txt بروید و فایل خود را با نمونه‌های استانداردی که ارائه کردیم مقایسه کنید. اگر خطایی دیدید، با ابزار تست گوگل آن را بررسی و اصلاح کنید. این ۵ دقیقه می‌تواند از یک فاجعهٔ سئویی بزرگ جلوگیری کند.

اگر به هر دلیلی در پیکربندی این فایل یا سایر جنبه‌های سئوی تکنیکال سایت خود نیاز به کمک دارید، تیم پرشیا وب آمادهٔ ارائهٔ خدمات سئوی تکنیکال و بهینه‌سازی زیرساخت جستجو است.

پرشیا وب

ایندکس‌پذیری محتوای وب‌سایت به عنوان ستون اصلی سئو است