خطای کراول چیست؟ راهنمای جامع شناسایی، انواع و رفع خطاهای Crawl در سرچ کنسول

آخرین بروزرسانی در تاریخ می 31, 2026 توسط PersiaWebAdmin

اگر صفحات وب‌سایت شما در گوگل ایندکس نمی‌شوند، رتبه‌تان افت کرده یا ناگهان ترافیکتان کاهش پیدا کرده، اولین جایی که باید چک کنید خطاهای کراول است. خزنده‌های گوگل مثل ربات‌های بی‌وقفه‌ای هستند که دائماً وب‌سایت شما را بررسی می‌کنند. وقتی این ربات‌ها در مسیر خود با مانع روبرو شوند، یک «خطای کراول» ثبت می‌کنند. نادیده گرفتن این خطاها مثل این است که درِ مغازه‌تان را روی مشتری قفل کنید.

در این مقاله از پرشیا وب، قدم‌به‌قدم یاد می‌گیریم خطای کراول چیست، چند نوع دارد، چرا اتفاق می‌افتد و چطور باید آن‌ها را در سرچ کنسول پیدا و برطرف کنیم.

۱. خطای کراول (Crawl Error) چیست؟

خطای کراول زمانی رخ می‌دهد که ربات گوگل (Googlebot) تلاش می‌کند به یک صفحه یا منبع (مثل تصویر یا فایل CSS) در سایت شما دسترسی پیدا کند اما موفق نمی‌شود. نتیجه این اتفاق ساده اما مخرب است: صفحه‌ای که دچار خطا شود، وارد ایندکس گوگل نمی‌شود و اگر صفحه‌ای از قبل ایندکس شده باشد و خطا روی دهد، ممکن است از نتایج جستجو حذف شود.

خطاهای کراول مستقیماً روی سئو تأثیر منفی دارند و بودجه خزش (Crawl Budget) شما را هدر می‌دهند. یعنی ربات گوگل به جای خزیدن در صفحات باارزشتان، وقت خود را در صفحات خطادار تلف می‌کند.

۲. انواع خطاهای کراول؛ یک دسته‌بندی کامل و کاربردی

در گذشته گوگل خطاها را به دو دسته خطاهای سطح سایت (Site Errors) و خطاهای سطح آدرس (URL Errors) تقسیم می‌کرد. هرچند رابط کاربری سرچ کنسول تغییر کرده، اما این تقسیم‌بندی هنوز برای درک ریشه مشکلات حیاتی است. در ادامه همه انواع خطاهایی که ممکن است ببینید را همراه با نامی که در سرچ کنسول جدید می‌بینید توضیح می‌دهیم.

الف) خطاهای بحرانی دسترسی به کل سایت (Site-Level Errors)

این خطاها فاجعه‌بار هستند؛ یعنی گوگل اصلاً نمی‌تواند به هیچ‌جای سایت شما دسترسی پیدا کند. در سرچ کنسول در بخش تنظیمات > آمار خزیدن (Crawl Stats) می‌توانید نمودار این خطاها را ببینید.

1. خطای DNS (DNS Error): ربات گوگل نمی‌تواند دامنه شما را به IP سرور تبدیل کند. مثل این است که کسی اسم مغازه شما را در نقشه پیدا نکند.
2. خطای اتصال به سرور (Server Connectivity): سرور شما پاسخ نمی‌دهد، قطع است یا فایروال آن درخواست گوگل را رد می‌کند.
3. خطای دریافت Robots.txt (Robots.txt Fetch): ربات گوگل نمی‌تواند فایل robots.txt شما را واکشی کند. چون این فایل «نقشه راه» ربات است، گوگل تا مشکل حل نشود، خزیدن را متوقف می‌کند.

ب) خطاهای مرتبط با URLهای خاص (URL-Level Errors)

این خطاها فقط برای صفحات خاصی رخ می‌دهند. در سرچ کنسول جدید، بهترین جا برای دیدن آن‌ها گزارش «فهرست» (Indexing) > «صفحات» (Pages) است. بخش «دلایل عدم ایندکس شدن» را چک کنید.

1. خطای سرور (Server Error 5xx):
   • نام در سرچ کنسول: خطای سرور (5xx)
   • معنی: سرور شما هنگام درخواست صفحه دچار مشکل موقت (۵۰۲، ۵۰۳) یا دائم (۵۰۰) شده. این یعنی مشکل از هاست شماست.
2. خطای «یافت نشد» (404 Not Found):
   • نام در سرچ کنسول: یافت نشد (404)
   • معنی: صفحه در سرور وجود ندارد. یا لینک خراب است یا صفحه را بدون ریدایرکت پاک کرده‌اید.
3. خطای ۴۰۴ نرم (Soft 404):
   • نام در سرچ کنسول: Soft 404
   • معنی: صفحه ظاهراً وجود دارد (کد وضعیت ۲۰۰ می‌دهد)، اما محتوایش آن‌قدر کم، تکراری یا بی‌کیفیت است که گوگل آن را «صفحه خالی» یا خطا تشخیص می‌دهد. مثلاً صفحات دسته‌بندی خالی.
4. خطای دسترسی غیرمجاز (403 Forbidden):
   • نام در سرچ کنسول: خطای ۴۰۳
   • معنی: گوگل اجازه ورود به صفحه را ندارد. معمولاً به دلیل بلاک شدن توسط فایروال، محدودیت IP یا تنظیمات امنیتی اشتباه رخ می‌دهد.
5. خطای ریدایرکت (Redirect Error):
   • نام در سرچ کنسول: خطای تغییر مسیر
   • معنی: زنجیره طولانی ریدایرکت، حلقه ریدایرکت (به خودش ریدایرکت می‌شود) یا ریدایرکت به URL نامعتبر.
6. خطای «خزیده شد – در حال حاضر ایندکس نشده» (Crawled – currently not indexed):
   • این خطا خیلی رایج است. گوگل صفحه را خزیده و سالم است، اما آن را به‌اندازه کافی ارزشمند برای ایندکس شدن ندیده. علتش معمولاً محتوای کم یا کیفیت پایین است، نه یک مشکل فنی صرف.
7. صفحه بلاک شده توسط robots.txt:
   • شما عمداً یا سهواً در فایل robots.txt به گوگل گفته‌اید این صفحه را نخزد. نکته: اگر صفحه را بلاک کنید، گوگل آن را نمی‌خزد، اما ممکن است همچنان بدون محتوا در نتایج ایندکس شود (برای جلوگیری باید از تگ noindex استفاده کنید).

---

۳. دلایل بروز هر خطا به زبان ساده

برای رفع اصولی، باید ریشه مشکل را بشناسیم:

نوع خطا	دلایل محتمل
DNS / Server Connectivity	خرابی DNS سرور دامنه، قطعی هاست، ریستارت سرور، فایروال سخت‌گیرانه که IP گوگل را بلاک کرده.
Robots.txt Fetch	فایل robots.txt پاک شده، تنظیمات CDN مثل Cloudflare آن را بلاک کرده، یا سرور در زمان درخواست گوگل در دسترس نبوده.
5xx Server Error	ترافیک ناگهانی (Resource Limit)، مشکل در اسکریپت‌ها (مثلاً وردپرس)، خطاهای پایگاه داده، هاست اشتراکی ضعیف.
404 Not Found	اشتباه تایپی در لینک، حذف صفحه بدون ریدایرکت، تغییر ساختار URL بدون انتقال.
Soft 404	صفحه محصولی که ناموجود شده، اما به جای ۴۰۴ یا ریدایرکت، یک جمله «پیدا نشد» با استاتوس ۲۰۰ نشان می‌دهد.
403 Forbidden	بلاک شدن ربات گوگل توسط افزونه امنیتی وردپرس (مثل Wordfence)، مسدودیت کشوری در CDN.
خطای ریدایرکت	ریدایرکت زنجیره‌ای (A -> B -> C)، ریدایرکت به خود صفحه (حلقه بی‌پایان)، ریدایرکت به URL خراب.

---

۴. مشاهده و رفع خطاها در سرچ کنسول (آموزش تصویری قدم‌به‌قدم)

اینجا دقیقاً به شما می‌گویم در سرچ کنسول جدید کجا را نگاه کنید.

مرحله اول: بررسی سلامت کلی سایت

1. به Google Search Console بروید و سایتتان را انتخاب کنید.
2. از منوی سمت چپ به تنظیمات (Settings) بروید.
3. روی گزارش آماری خزیدن (Crawl stats) کلیک کنید. در این گزارش یک نمودار می‌بینید که وضعیت پاسخ‌های سرور شما (۲۰۰، ۳۰۱، ۴۰۴، ۵xx و …) را نشان می‌دهد. اگر ناگهان ستون خطاهای ۵xx یا ۴۰۴ بالا بزند، دقیقاً می‌فهمید در چه تاریخی مشکل شروع شده است.
4. در همان بخش، به وضعیت میزبانی (Host status) نگاه کنید. اگر هشداری درباره DNS یا اتصال سرور ببینید، باید فوراً با پشتیبانی هاست خود تماس بگیرید.

مرحله دوم: پیدا کردن صفحات دارای خطا

1. از منوی سمت چپ به فهرست (Indexing) > صفحات (Pages) بروید.
2. به پایین اسکرول کنید تا بخش «چرا صفحات ایندکس نمی‌شوند» را ببینید.
3. در اینجا می‌توانید روی هر ردیف کلیک کنید:
   • یافت نشد (404): روی آن کلیک کنید. لیست URLهایی که ۴۰۴ می‌دهند را می‌بینید. روی هرکدام که کلیک کنید، می‌توانید URL بازرسی (Inspect URL) را بزنید تا ببینید گوگل چه زمانی و از کجا (Referring page) با این لینک خراب روبرو شده.
   • خطای سرور (5xx): اگر در این ردیف URL دارید، روی آن‌ها کلیک کنید. معمولاً مشکل موقتی است، اما اگر ماندگار شد، فوری باید با توسعه‌دهنده یا هاست خود بررسی کنید.
   • صفحه دارای تغییر مسیر: این را جدی بگیرید. نشان‌دهنده ریدایرکت‌های مشکل‌دار است.
   • خزیده شد – در حال حاضر ایندکس نشده: نیاز به اقدام فوری ندارد، اما باید تحلیل کنید چرا گوگل این صفحات را کم‌ارزش دیده (ادغام محتوا، بهبود عمق مطلب).

پیشنهاد مطالعه : راهنمای جامع بهینه‌سازی وب‌سایت برای پلتفرم‌های اجتماعی

مرحله سوم: بازرسی تکی URL (ابزار جادویی)

برای هر URL مشکوک، از ابزار URL Inspection (در نوار بالایی) استفاده کنید.

1. URL را وارد و اینتر بزنید.
2. روی Test Live URL کلیک کنید. این کار دقیقاً شبیه خزیدن ربات گوگل در همان لحظه است.
3. اگر خطایی وجود داشته باشد، دقیقاً مشکل (مثلاً ۴۰۳ یا ۵۰۰) و منبع آن را نشان می‌دهد.
4. اگر مشکل برطرف شده، دکمه Request Indexing را بزنید تا گوگل صفحه را سریع‌تر برای ایندکس بررسی کند.

۵. روش‌های عملی رفع هر نوع خطای کراول

راه‌حل‌ها باید دقیق و عملی باشند. نسخه‌ای کپی-پیست‌شده از دیگران ارائه نمی‌دهیم. این‌ها راهکارهای تجربه‌شده تیم پرشیا وب هستند:

🔧 رفع خطای DNS و اتصال به سرور

• بررسی DNS: از ابزاری مثل DNSChecker مطمئن شوید DNS دامنه در همه جای دنیا صحیح پخش شده. از Nameserverهای معتبر (مثل Cloudflare) استفاده کنید.
• چک فایروال: از هاست خود بپرسید که آیا IPهای گوگل مسدود شده‌اند؟ یا در CDN خود (مثل Cloudflare) چالش‌های امنیتی سخت‌گیرانه روی ربات‌های جستجو فعال نکنید. گوگل نمی‌تواند کپچا حل کند!

🔧 رفع خطای Robots.txt Fetch

• فایل yourdomain.com/robots.txt را در مرورگر باز کنید. آیا در دسترس است؟ اگر خطا می‌دهد، فایل را دوباره در روت اصلی هاست آپلود کنید.
• اگر از Cloudflare استفاده می‌کنید، ممکن است تحت حملات DDoS یا قوانین امنیتی، این فایل برای گوگل بلاک شده باشد. یک قانون Page Rule برای *yourdomain.com/robots.txt* با امنیت روی Off یا Essentially Off بسازید.

🔧 رفع خطای ۴۰۴ (با اولویت‌بندی)

۱. گزارش را مرتب کنید: در گزارش Pages روی URLهای ۴۰۴ کلیک کنید و بر اساس «تعداد کلیک» از دست‌رفته، آن‌ها را اولویت‌بندی کنید. URLهایی که گوگل از نقشه سایت به آن‌ها اشاره کرده هم مهم‌اند.
۲. تصمیم بگیرید:
* صفحه مشابه دارد؟ ریدایرکت ۳۰۱ به نزدیک‌ترین صفحه مرتبط.
* صفحه مهم است و اشتباهی حذف شده؟ آن را با همان URL بازگردانی کنید.
* صفحه واقعاً دیگر نباید وجود داشته باشد؟ بگذارید ۴۰۴ بماند. از ابزار قدیمی «حذف موقت» استفاده نکنید. ۴۰۴ طبیعی است، فقط لینک‌های داخلی منتهی به آن را از سایت خود حذف کنید تا بودجه کراول هدر نرود.

🔧 رفع خطای Soft 404 (قاتل خاموش)

• به صفحات محتوای واقعی بدهید: صفحات دسته‌بندی خالی را پر کنید یا با noindex از ایندکس خارجشان کنید.
• صفحات جستجوی داخلی: معمولاً این صفحات Soft 404 می‌شوند. بهترین کار این است که کل پوشه جستجوی داخلی (مثل ?s=) را از طریق robots.txt بلاک کنید یا با تگ noindex از ایندکس خارج کنید.
• پاسخ صحیح HTTP: اگر محصولی ناموجود شده، باید کد وضعیت HTTP 410 (Gone) یا ۴۰۴ بدهد، نه ۲۰۰ با پیام “پیدا نشد”.

🔧 رفع خطای ۴۰۳

• بررسی .htaccess: ببینید آیا قوانینی برای بلاک کردن User-Agentهای خاص نوشته‌اید.
• افزونه‌های امنیتی: در وردپرس، موقتاً افزونه امنیتی را غیرفعال کنید و ببینید آیا خطای Live Test برطرف می‌شود. اگر بله، تنظیمات افزونه را طوری تغییر دهید که فایروال روی ربات‌های تأییدشده (Verified Bots) فعال نباشد.
• هدرها را چک کنید: با یک ابزار آنلاین بررسی هدر HTTP، ببینید آیا پاسخ ۴۰۳ شامل هدر خاصی از سمت CDN است.

🔧 رفع خطای ریدایرکت

• حلقه ریدایرکت: یک URL را تست کنید، تمام مسیر ریدایرکت را ببینید. نباید خودش به خودش ارجاع دهد. در وردپرس، تنظیمات دامنه و SSL را یکسان‌سازی کنید.
• زنجیره بلند: سعی کنید تمام ریدایرکت‌ها را مستقیم به مقصد نهایی ببرید. مثلاً URL A را مستقیم به URL C ریدایرکت کنید، نه از طریق URL B.

پیشنهاد مطالعه : راهنمای جامع سئو صفحه اصلی

۶. نکات طلایی فراتر از رفع خطا (یک وبسایت بی‌نقص بسازید)

• گزارش‌گیری هفتگی: مشکلات سرچ کنسول اعلان ایمیل ندارند. هر هفته یک‌بار گزارش Pages را باز کنید و روی هر تغییر جدید کلیک کنید. خیلی از خطاها با یک هفته تأخیر رفع شوند، ترافیک را برای ماه‌ها نابود می‌کنند.
• Sitemap را فراموش نکنید: حتماً یک نقشه سایت XML معتبر و به‌روز داشته باشید و آن را در سرچ کنسول ثبت کنید. نقشه سایت، راهنمای ربات است؛ اگر آدرس‌های خراب داخل نقشه باشد، دائم به گوگل آدرس اشتباه می‌دهید.
• خطای موبایل: در سرچ کنسول قدیم، خطاهای مخصوص موبایل وجود داشت. حالا گوگل با موبایل کراول می‌کند. اگر منابع (CSS, JS, Images) در robots.txt بلاک شده باشند، گوگل نمی‌تواند صفحه را به درستی رندر کند و آن را نامناسب برای موبایل تشخیص می‌دهد. پس منابع را از robots.txt بلاک نکنید.
• نمای بزرگ‌تر: در گزارش Crawl Stats، میانگین زمان دانلود یک صفحه را ببینید. اگر بالای ۲-۳ ثانیه باشد، گوگل بی‌خیال خزیدن کامل سایت می‌شود. سرعت هاست و سرور خود را جدی بگیرید.

 آیا واقعاً به ابزارهای گران‌قیمت نیاز داریم؟

مقاله رقیب چندین ابزار پولی مثل Ahrefs و DeepCrawl (که امروز اسمش Lumar است) را معرفی کرده است. حقیقت این است که برای ۹۰٪ وب‌سایت‌های ایرانی، دو ابزار زیر کفایت می‌کند و بهترین دسترسی را دارد:

۱. Google Search Console (رایگان و بی‌نظیر): تنها ابزاری که حقیقت محض را از زبان خود گوگل نشان می‌دهد.
۲. Screaming Frog SEO Spider (رایگان تا ۵۰۰ URL): این نرم‌افزار دسکتاپ را نصب کنید، سایت خود را کراول کنید و بلافاصله تمام کدهای وضعیت، ریدایرکت‌ها و حتی عمق صفحات را ببینید. ترکیب گزارش Response Codes این ابزار با سرچ کنسول، یک ارتش کامل راه می‌اندازد.

نکته تخصصی: ابزارهای بینگ وبمستر و Sitebulb هم ابزارهای کمکی خوبی هستند، اما هیچ‌کدام جای سرچ کنسول را در تشخیص خطاهای جدی که روی رتبه گوگل اثر می‌گذارند، نمی‌گیرند.

یک چک‌لیست نهایی برای شما (همین حالا انجام دهید)

• [ ] گزارش Crawl Stats را باز کنید: اگر خطای سرور یا DNS دارید، فوراً با هاست تماس بگیرید.
• [ ] گزارش Pages را باز کنید: URLهای «یافت نشد (۴۰۴)» را یکی‌یکی ریدایرکت ۳۰۱ بزنید یا لینک‌های داخلی‌شان را اصلاح کنید.
• [ ] گزار Soft 404 را چک کنید: صفحاتی که نباید ایندکس شوند را noindex کنید.
• [ ] یک URL از سایت را با Live Test تست کنید: مطمئن شوید robots.txt و فایروال ربات گوگل را بلاک نکرده‌اند.
• [ ] نقشه سایت (Sitemap) خود را دوباره در سرچ کنسول ثبت و تست کنید.

خطاهای کراول، شاید در نگاه اول فنی و ترسناک به نظر برسند، اما با ابزار رایگان و قدرتمند گوگل سرچ کنسول، شما می‌توانید مثل یک پزشک متخصص، تک‌تک مشکلات را شناسایی و درمان کنید. مهم‌ترین نکته، پایش مداوم و اقدام سریع است. اگر در رفع خطاهای خاص به مشکل خوردید، می‌توانید از خدمات مشاوره سئو تخصصی پرشیا وب استفاده کنید تا مسیر رشد شما متوقف نشود.

در صورتی که وبسایت شما نیاز به رفع ایراد دارد می توانید از بخش تعمیر سایت وردپرس در مجموعه پرشیا وب استفاده کنید.