خطای کراول چیست؟ راهنمای جامع شناسایی، انواع و رفع خطاهای Crawl در سرچ کنسول

آخرین بروزرسانی در تاریخ آگوست 23, 2026 توسط PersiaWebAdmin

اگر صفحات مهم سایت شما در گوگل ایندکس نمی‌شوند، بعضی URLها ناگهان از نتایج جستجو حذف شده‌اند، ترافیک ارگانیک کاهش پیدا کرده یا در سرچ کنسول تعداد زیادی صفحه با وضعیت‌هایی مثل 404، 5xx، 403، Soft 404 یا Redirect Error می‌بینید، قبل از هر اقدامی باید وضعیت خزش (Crawl) سایت را بررسی کنید.

گوگل برای پیدا کردن و بررسی صفحات سایت از خزنده‌هایی مانند Googlebot استفاده می‌کند. این خزنده‌ها باید بتوانند به صفحات، فایل‌های ضروری و منابع سایت دسترسی داشته باشند، پاسخ مناسبی از سرور دریافت کنند و مسیر درستی را برای رسیدن به URLهای مهم طی کنند. هر مانعی در این مسیر می‌تواند باعث شود گوگل یک URL را به‌درستی بررسی، رندر یا ایندکس نکند.

اما یک نکته مهم وجود دارد: هر خطایی که در سرچ کنسول می‌بینید الزاماً یک مشکل سئویی نیست. برای مثال، وجود یک صفحه 404 که عمداً حذف شده و هیچ لینک داخلی یا ارزش سئویی ندارد، لزوماً نیاز به رفع ندارد. در مقابل، یک 404 روی صفحه محصولی که بک‌لینک، بازدید و جایگاه گوگل دارد می‌تواند یک مشکل جدی باشد.

در این راهنمای جامع از پرشیا وب، فقط به معرفی خطاهای کراول اکتفا نمی‌کنیم؛ بلکه یاد می‌گیرید هر خطا را چطور پیدا کنید، علت واقعی آن را تشخیص دهید، تصمیم بگیرید آیا باید آن را برطرف کنید یا نه و دقیقاً چه اقدامی انجام دهید.

خطای کراول چیست و چرا برای سئو اهمیت دارد؟

خطای کراول (Crawl Error) زمانی اتفاق می‌افتد که Googlebot هنگام تلاش برای دسترسی، دریافت یا پردازش یک URL یا منبع با مشکل مواجه شود. این مشکل می‌تواند از سمت DNS، سرور، فایروال، فایل robots.txt، ساختار URL، ریدایرکت‌ها یا حتی وضعیت محتوای صفحه ایجاد شود.

برای درک بهتر، مسیر زیر را تصور کنید:

Googlebot → DNS → سرور/CDN → robots.txt → URL → پاسخ HTTP → رندر صفحه → ارزیابی و ایندکس

اگر در هرکدام از این مراحل مانعی وجود داشته باشد، ممکن است فرایند خزش یا پردازش صفحه با مشکل مواجه شود.

البته باید بین خزش، ایندکس و رتبه‌بندی تفاوت قائل شوید. یک صفحه ممکن است قابل خزش باشد اما ایندکس نشود؛ یا ایندکس شده باشد اما رتبه خوبی نگیرد. بنابراین دیدن عبارت‌هایی مانند Crawled – currently not indexed را نباید به‌صورت خودکار معادل «خطای فنی» در نظر گرفت.

خطاهای فنی شدید و مداوم می‌توانند باعث شوند گوگل نتواند صفحات مهم سایت را به‌موقع بررسی کند. همچنین اگر سایت تعداد زیادی URL غیرضروری، خطادار یا کم‌ارزش تولید کند، مدیریت منابع خزش برای سایت‌های بزرگ اهمیت بیشتری پیدا می‌کند. این موضوع به بودجه خزش (Crawl Budget) مرتبط است.

قبل از رفع خطای کراول، این اشتباه را مرتکب نشوید

یکی از رایج‌ترین اشتباهات در سئو این است که مدیر سایت وارد سرچ کنسول می‌شود، تعداد زیادی URL قرمز یا خطادار می‌بیند و تصور می‌کند باید همه آن‌ها را صفر کند.

این رویکرد اشتباه است.

هدف شما صفر کردن تعداد خطاها نیست؛ هدف، سالم کردن مسیر خزش و ایندکس صفحات ارزشمند سایت است.

وضعیت	آیا همیشه مشکل است؟	اقدام معمول
404	خیر	بررسی ارزش URL و لینک‌های ورودی؛ در صورت نیاز بازیابی یا 301
5xx	بله، اگر تکرارشونده باشد	بررسی سرور، هاست، منابع و خطاهای برنامه
403	اگر Googlebot را بلاک کند، بله	بررسی فایروال، CDN و افزونه امنیتی
Soft 404	در صفحات مهم، بله	اصلاح محتوا، 404/410 یا ریدایرکت مناسب
Redirect Error	بله	اصلاح زنجیره یا حلقه ریدایرکت
Crawled – currently not indexed	لزوماً خیر	بررسی کیفیت، ارزش، تکراری بودن و لینک‌سازی داخلی

انواع خطاهای کراول؛ از مشکل سرور تا URLهای خراب

برای اینکه بتوانید گزارش‌های سرچ کنسول را درست تفسیر کنید، بهتر است خطاها را در دو سطح بررسی کنیم: مشکلات سطح سایت و مشکلات سطح URL.

۱. خطاهای سطح سایت (Site-Level Errors)

این خطاها می‌توانند تعداد زیادی از URLهای سایت یا حتی کل دامنه را تحت تأثیر قرار دهند و به همین دلیل باید با اولویت بالا بررسی شوند.

خطای DNS

در این وضعیت، Googlebot نمی‌تواند نام دامنه را به آدرس IP مناسب تبدیل کند یا در فرایند دسترسی DNS با مشکل مواجه می‌شود. اگر DNS به‌درستی کار نکند، حتی بهترین محتوای دنیا نیز برای خزنده قابل دسترسی نخواهد بود.

خطای اتصال به سرور

در این حالت سرور یا شبکه نمی‌تواند به درخواست Googlebot پاسخ مناسبی بدهد. قطعی سرور، فشار بیش از حد روی منابع، مشکلات شبکه، تنظیمات فایروال و محدودیت‌های امنیتی می‌توانند از دلایل آن باشند.

خطای دریافت robots.txt

گوگل قبل از خزش سایت به فایل robots.txt توجه می‌کند. اگر این فایل برای مدت قابل توجهی غیرقابل دسترس باشد یا سرور پاسخ مناسبی ندهد، ممکن است روی رفتار خزش گوگل تأثیر بگذارد. بنابراین سلامت این فایل باید به‌صورت جداگانه بررسی شود.

۲. خطاهای سطح URL (URL-Level Errors)

این دسته معمولاً به URLهای مشخص مربوط می‌شود. در رابط فعلی سرچ کنسول، بخش Indexing > Pages یکی از مهم‌ترین نقاط برای بررسی این وضعیت‌هاست.

خطای سرور 5xx

• معنی: سرور هنگام پردازش درخواست با مشکل مواجه شده است.
• نمونه‌ها: 500، 502، 503 و سایر پاسخ‌های 5xx.
• اقدام: اگر خطا موقت است، وضعیت را دوباره بررسی کنید؛ اگر تکرار می‌شود، لاگ سرور، منابع هاست، PHP، دیتابیس و افزونه‌ها را بررسی کنید.

خطای «یافت نشد» (404 Not Found)

کد 404 یعنی URL درخواستی در حال حاضر منبعی ندارد. وجود 404 به‌تنهایی به معنای خراب بودن سایت نیست. اگر صفحه‌ای عمداً حذف شده و جایگزین مناسبی ندارد، 404 می‌تواند پاسخ کاملاً صحیحی باشد.

مشکل زمانی جدی می‌شود که صفحه‌ای ارزشمند حذف شده باشد، لینک‌های داخلی زیادی به آن اشاره کنند، در Sitemap قرار داشته باشد یا بک لینک های مهمی دریافت کرده باشد.

Soft 404 چیست؟

Soft 404 زمانی رخ می‌دهد که صفحه از نظر HTTP ظاهراً با موفقیت بارگذاری می‌شود، اما محتوای آن نشان می‌دهد که عملاً صفحه‌ای برای ارائه وجود ندارد یا ارزش محتوایی کافی ندارد.

برای مثال، تصور کنید محصولی حذف شده اما URL آن به صفحه‌ای با کد 200 منتقل می‌شود که فقط نوشته است: «محصول موردنظر پیدا نشد». از دید کاربر شاید شبیه یک صفحه باشد، اما از دید موتور جستجو می‌تواند یک Soft 404 تلقی شود.

خطای دسترسی غیرمجاز (403 Forbidden)

کد 403 یعنی سرور درخواست را دریافت کرده اما اجازه دسترسی به منبع را نداده است. اگر این وضعیت برای Googlebot روی صفحات قابل ایندکس اتفاق بیفتد، باید سریعاً علت آن بررسی شود.

فایروال، CDN، افزونه‌های امنیتی وردپرس، قوانین سرور، محدودیت IP یا تنظیمات احراز هویت از عوامل رایج این مشکل هستند.

خطای ریدایرکت (Redirect Error)

ریدایرکت زمانی مشکل‌ساز می‌شود که مسیر انتقال URL منطقی نباشد؛ برای مثال:

• URL A → URL B → URL C → URL D
• URL A → URL B → URL A
• ریدایرکت به URLای که خودش 404 یا 5xx است.
• ترکیب اشتباه قوانین HTTP/HTTPS یا www/non-www.

Crawled – currently not indexed

این وضعیت یکی از مواردی است که بیشترین سوءبرداشت درباره آن وجود دارد. عبارت Crawled – currently not indexed به این معنی نیست که گوگل نتوانسته صفحه را بخزد؛ برعکس، گوگل صفحه را خزیده اما در حال حاضر آن را وارد ایندکس نکرده است.

دلایل احتمالی می‌تواند شامل محتوای کم‌ارزش، شباهت زیاد به صفحات دیگر، کیفیت پایین، نبود سیگنال‌های کافی، ضعف لینک‌سازی داخلی یا تصمیم الگوریتمی گوگل درباره ارزش صفحه باشد.

صفحه مسدودشده توسط robots.txt

اگر URLی در robots.txt مسدود شده باشد، Googlebot نباید آن URL را برای خزش دریافت کند. نکته مهم این است که robots.txt ابزار حذف URL از ایندکس نیست. اگر هدف شما جلوگیری از ایندکس شدن یک صفحه است، بسته به شرایط باید از روش‌هایی مانند noindex استفاده کنید؛ اما برای اعمال noindex، گوگل باید بتواند صفحه را ببیند و تگ را دریافت کند.

چرا خطای کراول ایجاد می‌شود؟

قبل از اجرای هر راه‌حل، باید بفهمید مشکل از کدام لایه ایجاد شده است. جدول زیر یک نقشه سریع برای تشخیص علت در اختیار شما قرار می‌دهد:

نوع خطا	دلایل محتمل	اولین اقدام پیشنهادی
DNS / Server Connectivity	اختلال DNS، قطعی سرور، مشکلات شبکه، فایروال یا فشار منابع	بررسی وضعیت هاست و DNS
Robots.txt Fetch	خطای سرور، CDN، قوانین امنیتی یا فایل نادرست	باز کردن مستقیم robots.txt و بررسی پاسخ HTTP
5xx Server Error	کمبود منابع، خطای PHP، دیتابیس، افزونه یا سرور	بررسی لاگ‌ها و وضعیت منابع
404 Not Found	حذف صفحه، تغییر URL، لینک خراب یا تایپ اشتباه	بررسی ارزش URL و لینک‌های ورودی
Soft 404	صفحه خالی، محصول حذف‌شده، محتوای بسیار کم یا پاسخ 200 برای صفحه ناموجود	بررسی محتوای صفحه و کد HTTP
403 Forbidden	فایروال، CDN، افزونه امنیتی یا محدودیت دسترسی	بررسی قوانین امنیتی
Redirect Error	حلقه، زنجیره یا مقصد اشتباه	بررسی کل مسیر ریدایرکت

آموزش پیدا کردن خطاهای کراول در Google Search Console

حالا به بخش عملی کار می‌رسیم. برای پیدا کردن مشکلات خزش لازم نیست از همان ابتدا سراغ ابزارهای پولی بروید. Google Search Console در بسیاری از پروژه‌ها اطلاعات کافی برای شروع عیب‌یابی در اختیار شما قرار می‌دهد.

مرحله اول: سلامت کلی سایت را در Crawl Stats بررسی کنید

1. وارد Google Search Console شوید و Property موردنظر را انتخاب کنید.
2. از منوی سمت چپ وارد Settings شوید.
3. بخش Crawl Stats را باز کنید.
4. نمودار درخواست‌های خزش، پاسخ‌های سرور و وضعیت Host را بررسی کنید.
5. اگر در یک بازه زمانی خاص افزایش ناگهانی خطاهای 5xx یا کاهش شدید خزش مشاهده کردید، همان بازه را با تغییرات سایت تطبیق دهید.

برای مثال، اگر سه روز قبل سایت را به هاست جدید منتقل کرده‌اید و دقیقاً از همان تاریخ خطاهای DNS یا Server Connectivity افزایش یافته‌اند، احتمال ارتباط این دو اتفاق بسیار زیاد است.

مرحله دوم: URLهای مشکل‌دار را در گزارش Pages پیدا کنید

1. از منوی سمت چپ وارد Indexing > Pages شوید.
2. بخش مربوط به صفحاتی که ایندکس نشده‌اند را بررسی کنید.
3. روی هر Reason کلیک کنید تا URLهای مربوط به آن را ببینید.
4. URLها را بر اساس اهمیت، ترافیک، لینک داخلی، بک‌لینک و ارزش تجاری اولویت‌بندی کنید.

در این مرحله به جای اینکه صرفاً تعداد URLها را ببینید، یک سؤال مهم از خودتان بپرسید:

«آیا این URL باید در گوگل قابل دسترسی و ایندکس باشد؟»

اگر پاسخ مثبت است، مشکل را برطرف کنید. اگر پاسخ منفی است، باید بررسی کنید آیا وضعیت فعلی واقعاً با هدف سئویی شما مطابقت دارد یا خیر.

پیشنهاد مطالعه : راهنمای جامع بهینه‌سازی وب‌سایت برای پلتفرم‌های اجتماعی

مرحله سوم: URL Inspection؛ مهم‌ترین ابزار برای بررسی یک صفحه

اگر یک URL مشخص برایتان مهم است، به‌جای حدس زدن، از URL Inspection استفاده کنید.

1. URL را در نوار بالای Search Console وارد کنید.
2. وضعیت فعلی URL را بررسی کنید.
3. در صورت نیاز روی Test Live URL کلیک کنید.
4. دسترسی، وضعیت صفحه و سایر اطلاعات ارائه‌شده را بررسی کنید.
5. اگر مشکل برطرف شده و صفحه شرایط لازم را دارد، در صورت نمایش گزینه مربوطه از Request Indexing استفاده کنید.

نکته مهم: درخواست ایندکس تضمین نمی‌کند صفحه فوراً ایندکس شود. این ابزار فقط درخواست بررسی مجدد URL را ارسال می‌کند؛ تصمیم نهایی درباره ایندکس شدن با سیستم‌های گوگل است.

رفع عملی خطاهای کراول؛ برای هر خطا چه کار کنیم؟

رفع خطای DNS و Server Connectivity

اگر این خطاها در سطح سایت مشاهده می‌شوند، آن‌ها را نسبت به بسیاری از خطاهای تک‌URL در اولویت قرار دهید؛ زیرا مشکل می‌تواند روی تعداد زیادی از صفحات اثر بگذارد.

۱. DNS را بررسی کنید

بررسی کنید رکوردهای DNS دامنه به سرور صحیح اشاره می‌کنند و تغییرات اخیر DNS کامل اعمال شده‌اند. اگر اخیراً هاست، Nameserver یا CDN را تغییر داده‌اید، این مورد را جدی‌تر بررسی کنید.

۲. وضعیت سرور را بررسی کنید

از پشتیبانی هاست درباره قطعی، Load بالا، محدودیت CPU/RAM، محدودیت پردازش PHP، خطاهای وب‌سرور و وضعیت دیتابیس سؤال کنید.

۳. فایروال و CDN را بررسی کنید

اگر از CDN استفاده می‌کنید، بررسی کنید قوانین امنیتی آن درخواست‌های خزنده‌های موتورهای جستجو را به اشتباه مسدود نکنند.

رفع خطای robots.txt

ابتدا فایل زیر را مستقیماً در مرورگر باز کنید:

https://yourdomain.com/robots.txt

• آیا فایل با موفقیت باز می‌شود؟
• آیا پاسخ سرور 200 است؟
• آیا قوانین Disallow به‌اشتباه صفحات مهم را مسدود کرده‌اند؟
• آیا CDN یا WAF درخواست‌ها را محدود می‌کند؟

اگر سایت وردپرسی دارید، فایل robots.txt را بدون دلیل و به‌صورت تصادفی تغییر ندهید. یک قانون اشتباه می‌تواند دسترسی خزنده به بخش مهمی از سایت را محدود کند.

رفع خطای 404؛ چه زمانی 301 بزنیم و چه زمانی 404 را نگه داریم؟

این یکی از مهم‌ترین تصمیم‌ها در مدیریت خطاهای کراول است. برای هر 404 یکی از سه سناریوی زیر را بررسی کنید.

سناریو اول: صفحه اشتباهی حذف شده است

اگر صفحه هنوز ارزش دارد، بهترین اقدام معمولاً بازگردانی همان URL است. این کار باعث می‌شود URL، سابقه و سیگنال‌های قبلی آن حفظ شوند.

سناریو دوم: صفحه حذف شده اما جایگزین مرتبط دارد

در این شرایط می‌توانید URL قدیمی را با یک ریدایرکت 301 به نزدیک‌ترین صفحه مرتبط منتقل کنید. مقصد باید واقعاً ارتباط موضوعی داشته باشد؛ ریدایرکت کردن تمام URLهای حذف‌شده به صفحه اصلی راهکار مناسبی نیست.

سناریو سوم: صفحه دیگر هیچ جایگزین مناسبی ندارد

اگر صفحه واقعاً دیگر وجود ندارد و جایگزین مناسبی هم ندارد، باقی ماندن آن با پاسخ 404 می‌تواند کاملاً طبیعی باشد. در این حالت، لینک‌های داخلی سایت به URL حذف‌شده را اصلاح کنید.

رفع Soft 404؛ یکی از خطاهایی که نباید نادیده بگیرید

• اگر صفحه باید وجود داشته باشد: محتوای واقعی و ارزشمند به آن اضافه کنید.
• اگر صفحه حذف شده و جایگزین ندارد: پاسخ مناسب 404 یا در شرایط مناسب 410 ارائه کنید.
• اگر جایگزین کاملاً مرتبط دارد: از 301 استفاده کنید.
• اگر صفحه نباید در نتایج جستجو باشد: استراتژی مناسب ایندکس/نوایندکس را اجرا کنید.

به‌خصوص در سایت‌های فروشگاهی، صفحات محصولات ناموجود، فیلترها، جستجوی داخلی، دسته‌بندی‌های خالی و URLهای پارامتردار را با دقت بررسی کنید.

رفع خطای 403؛ وقتی گوگل اجازه ورود ندارد

اگر URL در مرورگر شما باز می‌شود اما Googlebot با 403 مواجه می‌شود، احتمالاً یک لایه امنیتی در مسیر درخواست وجود دارد.

• افزونه‌های امنیتی وردپرس: تنظیمات Block، Rate Limiting و Firewall را بررسی کنید.
• CDN/WAF: قوانین Bot Protection و Security Rules را بررسی کنید.
• .htaccess: قوانین محدودکننده User-Agent یا IP را بررسی کنید.
• احراز هویت: مطمئن شوید صفحه به ورود کاربر یا دسترسی خصوصی نیاز ندارد.
• لاگ سرور: در صورت امکان مشخص کنید دقیقاً کدام لایه پاسخ 403 را ایجاد کرده است.

رفع خطای Redirect؛ زنجیره و حلقه را حذف کنید

یک ریدایرکت سالم بهتر است تا حد امکان کوتاه باشد. اگر:

URL A → URL B → URL C

می‌توانید در بسیاری از موارد آن را به:

URL A → URL C

تبدیل کنید. این کار مسیر دسترسی را کوتاه‌تر و مدیریت URLها را ساده‌تر می‌کند.

برای بررسی ساختار ریدایرکت‌ها، راهنمای ریدایرکت را بررسی کنید. همچنین در صورت وجود مشکل میان HTTP و HTTPS، تنظیمات SSL و URL اصلی سایت را بررسی کنید.

پیشنهاد مطالعه : راهنمای جامع سئو صفحه اصلی

یک نکته مهم درباره 404 و بودجه خزش

گاهی گفته می‌شود «هر 404 باعث هدر رفتن بودجه خزش می‌شود». این جمله بیش از حد ساده‌سازی شده است. وجود چند URL 404 طبیعی در هر وب‌سایتی اتفاق می‌افتد و به‌تنهایی نشانه مشکل جدی نیست.

موضوع زمانی اهمیت بیشتری پیدا می‌کند که سایت تعداد زیادی URL غیرضروری تولید کند، لینک‌های داخلی دائماً به URLهای خراب اشاره کنند، پارامترها و فیلترهای بی‌نهایت ایجاد شوند یا Sitemap شامل URLهای نامعتبر باشد. در این شرایط مدیریت معماری سایت و الگوی تولید URL اهمیت زیادی پیدا می‌کند.

خطای کراول در سایت فروشگاهی؛ چه چیزهایی را باید بیشتر بررسی کنیم؟

اگر سایت شما فروشگاهی است، تعداد URLها معمولاً بسیار بیشتر از یک سایت شرکتی یا وبلاگی است. محصولات، دسته‌بندی‌ها، فیلترها، ویژگی‌ها، صفحات جستجو و پارامترهای URL می‌توانند تعداد زیادی آدرس تولید کنند.

• محصولات حذف‌شده یا ناموجود
• دسته‌بندی‌های بدون محصول
• URLهای فیلتر و مرتب‌سازی
• صفحات جستجوی داخلی
• پارامترهای Tracking
• محصولات با URLهای تکراری
• تغییر ساختار دسته‌بندی‌ها
• ریدایرکت محصولات قدیمی

در فروشگاه‌های بزرگ، قبل از هر تغییر گسترده باید مشخص کنید کدام URLها واقعاً ارزش ایندکس شدن دارند. هدف این نیست که همه URLهای تولیدشده توسط سایت وارد گوگل شوند.

خطاهای کراول در وردپرس؛ از کجا شروع کنیم؟

در سایت‌های وردپرسی، مشکلات کراول می‌توانند از ترکیب چند لایه ایجاد شوند: وردپرس، قالب، افزونه‌ها، افزونه‌های سئو، افزونه‌های امنیتی، کش، CDN، وب‌سرور و هاست.

بنابراین اگر یک URL با 403 یا 5xx مواجه شد، بلافاصله سراغ تغییر کد نروید. ابتدا مشخص کنید کدام لایه پاسخ اشتباه را تولید می‌کند.

ترتیب پیشنهادی عیب‌یابی در وردپرس

1. URL را در مرورگر بررسی کنید.
2. URL را با URL Inspection بررسی کنید.
3. Live Test را اجرا کنید.
4. کد وضعیت HTTP را بررسی کنید.
5. CDN و WAF را بررسی کنید.
6. افزونه‌های امنیتی و کش را بررسی کنید.
7. تنظیمات وردپرس و افزونه‌های سئو را بررسی کنید.
8. در نهایت سراغ لاگ‌های سرور و تنظیمات هاست بروید.

چطور بفهمیم مشکل از گوگل است یا از سایت؟

یک روش ساده برای تشخیص این است که یک URL مشکل‌دار را با چند مسیر مختلف بررسی کنید:

آزمایش	نتیجه	برداشت
باز کردن URL در مرورگر	باز نمی‌شود	احتمالاً مشکل واقعی در سایت یا سرور وجود دارد
URL Inspection	خطا دارد	باید نوع خطا مشخص و بررسی شود
Live Test	موفق	ممکن است مشکل قبلی موقت بوده باشد
مرورگر موفق، Googlebot ناموفق	403/5xx	احتمال مشکل CDN، WAF، فایروال یا تنظیمات سرور بیشتر است
هر دو موفق، ولی ایندکس نشده	بدون خطای فنی جدی	کیفیت، ارزش محتوا و سیگنال‌های ایندکس را بررسی کنید

Sitemap چه نقشی در جلوگیری از مشکلات خزش دارد؟

نقشه سایت XML به موتورهای جستجو کمک می‌کند URLهای مهم سایت را پیدا کنند. اما Sitemap قرار نیست جای معماری صحیح سایت، لینک‌سازی داخلی یا رفع خطاهای فنی را بگیرد.

یکی از اشتباهات رایج این است که URLهای 404، ریدایرکت‌شده یا صفحاتی که نباید ایندکس شوند داخل Sitemap قرار می‌گیرند. Sitemap باید تا حد امکان شامل URLهای اصلی، قابل دسترسی و قابل ایندکس سایت باشد.

آیا robots.txt باید همه صفحات غیرضروری را مسدود کند؟

خیر. robots.txt را نباید به یک فهرست عمومی برای «حذف صفحات از گوگل» تبدیل کنید. این فایل برای مدیریت دسترسی خزنده‌ها به URLهاست و استفاده نادرست از آن می‌تواند فرایند بررسی سایت را پیچیده کند.

به‌خصوص مراقب باشید فایل‌های CSS و JavaScript ضروری برای رندر صفحه را بدون دلیل مسدود نکنید. گوگل برای درک صحیح صفحات مدرن باید بتواند منابع ضروری آن‌ها را دریافت کند.

چطور خطاهای کراول را قبل از آسیب جدی شناسایی کنیم؟

بهترین روش، ایجاد یک فرایند پایش مداوم است؛ نه اینکه فقط زمانی که ترافیک سقوط کرد وارد سرچ کنسول شوید.

• هفتگی: گزارش Pages و تغییرات مهم را بررسی کنید.
• هفتگی: URLهای جدید و صفحات مهم را با URL Inspection کنترل کنید.
• ماهانه: Crawl Stats و وضعیت پاسخ‌های سرور را بررسی کنید.
• پس از مهاجرت سایت: ریدایرکت‌ها، Sitemap، robots.txt، HTTPS و URLهای اصلی را کامل تست کنید.
• پس از تغییر قالب یا افزونه‌های مهم: چند URL کلیدی را Live Test کنید.
• پس از افت ناگهانی ترافیک: قبل از تغییر محتوا یا لینک‌سازی، وضعیت Crawl، Indexing و Server Response را بررسی کنید.

آیا واقعاً به ابزارهای گران‌قیمت برای پیدا کردن خطاهای کراول نیاز داریم؟

برای بسیاری از سایت‌های کوچک و متوسط، پاسخ کوتاه خیر است. Google Search Console باید نقطه شروع شما باشد، چون اطلاعات مستقیمی درباره وضعیت سایت در اکوسیستم جستجوی گوگل ارائه می‌کند.

در کنار آن، Screaming Frog SEO Spider می‌تواند برای کراول آزمایشی سایت، بررسی Response Codes، ریدایرکت‌ها، لینک‌های داخلی، عمق صفحات و مشکلات ساختاری بسیار مفید باشد.

اگر سایت بسیار بزرگ است یا نیاز به پایش مداوم، گزارش‌های پیشرفته، مقایسه Crawlهای مختلف و تحلیل‌های گسترده دارید، ابزارهای حرفه‌ای مانند Ahrefs، Lumar و Sitebulb نیز می‌توانند مکمل مناسبی باشند.

تفاوت Crawl Error با Indexing Issue چیست؟

این دو مفهوم را با یکدیگر اشتباه نگیرید:

مشکل	سؤال اصلی
Crawl Error	آیا گوگل توانسته به URL دسترسی پیدا کند و پاسخ مناسب دریافت کند؟
Indexing Issue	آیا گوگل تصمیم گرفته URL را در ایندکس قرار دهد؟
Ranking Issue	اگر صفحه ایندکس شده، چرا جایگاه مناسبی در نتایج ندارد؟

این تفکیک به شما کمک می‌کند برای هر مشکل راه‌حل درست را انتخاب کنید. برای مثال، افزایش محتوای یک صفحه 403 مشکل را حل نمی‌کند؛ همان‌طور که رفع 404 لزوماً باعث رتبه گرفتن یک صفحه ضعیف نمی‌شود.

چک‌لیست کامل رفع خطاهای کراول

اگر می‌خواهید همین حالا وضعیت سایت خود را بررسی کنید، مراحل زیر را به‌ترتیب انجام دهید:

• ☐ وارد Google Search Console شوید.
• ☐ بخش Crawl Stats را بررسی کنید.
• ☐ وضعیت Host را بررسی کنید.
• ☐ گزارش Pages را باز کنید.
• ☐ URLهای 5xx را در اولویت بالا بررسی کنید.
• ☐ URLهای 403 را برای اطمینان از عدم بلاک شدن Googlebot بررسی کنید.
• ☐ 404های مهم را از نظر لینک داخلی، ترافیک و بک‌لینک بررسی کنید.
• ☐ برای صفحات حذف‌شده تصمیم بگیرید: بازگردانی، 301 یا 404/410.
• ☐ Soft 404ها را بررسی کنید.
• ☐ زنجیره و حلقه‌های Redirect را حذف کنید.
• ☐ فایل robots.txt را مستقیم باز و بررسی کنید.
• ☐ مطمئن شوید صفحات مهم در robots.txt مسدود نشده‌اند.
• ☐ Sitemap را بررسی کنید و URLهای نامعتبر را از آن خارج کنید.
• ☐ چند صفحه مهم را با URL Inspection تست کنید.
• ☐ پس از رفع مشکل، Live Test را اجرا کنید.
• ☐ در صورت نیاز Request Indexing را ارسال کنید.
• ☐ بعد از چند روز تغییرات گزارش‌های Search Console را دوباره بررسی کنید.

جمع‌بندی؛ مهم‌ترین نکته درباره خطاهای کراول

خطاهای کراول زمانی خطرناک می‌شوند که مانع دسترسی گوگل به صفحات مهم و ارزشمند سایت شوند. بنابراین هدف شما نباید این باشد که عدد خطاهای سرچ کنسول را به صفر برسانید؛ بلکه باید بفهمید هر خطا چه معنایی دارد و آیا واقعاً به اقدام نیاز دارد یا خیر.

برای عیب‌یابی اصولی، ابتدا وضعیت کلی سایت را در Crawl Stats بررسی کنید، سپس در Pages URLهای مشکل‌دار را پیدا کنید و در نهایت URLهای مهم را با URL Inspection و Live Test بررسی کنید.

در مرحله رفع مشکل نیز ترتیب کار مهم است: مشکلات DNS و سرور → خطاهای 5xx و 403 → مشکلات Redirect → URLهای 404 و Soft 404 → مشکلات کیفیت و ایندکس.

در نهایت به خاطر داشته باشید که یک سایت سالم از نظر کراول فقط سایتی نیست که خطای قرمز کمتری در سرچ کنسول دارد؛ بلکه سایتی است که Googlebot می‌تواند به صفحات مهم آن دسترسی پیدا کند، URLهای ارزشمند مسیر مشخصی دارند، Sitemap و لینک‌سازی داخلی منطقی هستند و سرور در زمان خزش پاسخ پایدار و صحیح ارائه می‌دهد.

اگر در تحلیل خطاهای کراول، ایندکس نشدن صفحات یا مشکلات فنی سایت خود به مشکل خورده‌اید، می‌توانید از خدمات :contentReference[oaicite:0]{index=0} پرشیا وب استفاده کنید تا مشکلات فنی سایت قبل از تبدیل شدن به افت جدی ترافیک شناسایی و برطرف شوند.

در صورتی که وبسایت شما نیاز به رفع ایراد دارد می توانید از بخش :contentReference[oaicite:1]{index=1} در مجموعه پرشیا وب استفاده کنید.