آخرین بروزرسانی در تاریخ فوریه 14, 2026 توسط PersiaWebAdmin
کلادفلر به تازگی ویژگی جدیدی را راهاندازی کرده است که صفحات HTML را هنگام درخواست سیستمهای هوش مصنوعی، به صورت خودکار به فرمت مارکداون تبدیل میکند. با این قابلیت، سایتهای حاضر در شبکه کلادفلر میتوانند بدون نیاز به ساخت صفحات جداگانه، محتوای سبکتری را در اختیار رباتها قرار دهند. این ویژگی که “Markdown for Agents” نام دارد، از طریق مذاکره محتوای HTTP کار میکند و هماکنون به صورت بتا در دسترس است.
مارکداون برای رباتهای هوش مصنوعی چگونه کار میکند؟
ویژگی جدید کلادفلر از طریق مذاکره محتوای HTTP (HTTP content negotiation) عمل میکند. یک خزنده هوش مصنوعی درخواستی با هدر Accept: text/markdown ارسال میکند. کلادفلر این درخواست را دریافت کرده، HTML اصلی را از سرور مبدأ واکشی میکند، آن را به مارکداون تبدیل کرده و نتیجه را به ربات تحویل میدهد. این فرآیند در شبکه لبه (edge network) کلادفلر انجام میشود، نه در سرور مبدأ. سایتها میتوانند این قابلیت را از طریق داشبورد برای هر دامنه فعال کنند و در حال حاضر به صورت بتا و بدون هزینه اضافی برای مشتریان طرحهای Pro، Business و Enterprise در دسترس است.
کاهش مصرف توکن؛ مزیت اصلی مارکداون برای رباتهای هوش مصنوعی
کلادفلر در وبلاگ خود با مثالی از پست خود نشان داد که نسخه HTML حدود ۱۶,۱۸۰ توکن مصرف میکند، در حالی که نسخه مارکداون همان محتوا تنها ۳,۱۵۰ توکن استفاده میکند. این شرکت در توصیف این ویژگی نوشت: “تغذیه HTML خام به یک هوش مصنوعی مثل این است که برای خواندن نامه به جای خود نامه، هزینه کاغذ بستهبندی را بپردازید.” هر پاسخ تبدیل شده شامل یک هدر x-markdown-tokens است که تعداد تخمینی توکنهای نسخه مارکداون را نشان میدهد. توسعهدهندگان میتوانند از این دادهها برای مدیریت پنجرههای زمینه یا برنامهریزی استراتژیهای تکهتکه کردن محتوا استفاده کنند.
سیگنالهای محتوای پیشفرض در پاسخهای مارکداون
پاسخهای تبدیل شده شامل یک هدر Content-Signal با مقدار پیشفرض ai-train=yes, search=yes, ai-input=yes هستند که نشان میدهد محتوا میتواند برای آموزش هوش مصنوعی، استفاده در جستجو و ورودی هوش مصنوعی (از جمله استفاده عاملگونه) استفاده شود. این که یک ربات خاص به این سیگنالها احترام بگذارد یا نه، به اپراتور آن ربات بستگی دارد. کلادفلر اعلام کرده است که در آینده گزینههای سفارشیسازی سیاستهای Content-Signal را به این ویژگی اضافه خواهد کرد.
تفاوت با رویکردی که مولر از آن انتقاد کرد
روزها قبل از راهاندازی این ویژگی توسط کلادفلر، جان مولر از گوگل ایده ارائه مارکداون به رباتهای هوش مصنوعی را “ایدهای احمقانه” خوانده بود و پرسیده بود که آیا رباتها میتوانند لینکهای مارکداون را به درستی تجزیه کنند یا خیر. اما نکته مهم این است که مولر از رویکرد متفاوتی انتقاد میکرد. برخی صاحبان سایت صفحات مارکداون جداگانه میساختند و آنها را از طریق میانافزار به عاملهای کاربری هوش مصنوعی ارائه میدادند. مولر نگرانیهایی درباره کلاهبرداری (cloaking) و لینکهای شکسته مطرح کرده بود. ویژگی کلادفلر از مکانیسم متفاوتی استفاده میکند. به جای تشخیص عامل کاربر و ارائه صفحات جایگزین، بر مذاکره محتوا متکی است. همین URL بر اساس آنچه کلاینت در هدر درخواست میکند، نمایشهای متفاوتی ارائه میدهد.
آیا این ویژگی مصداق کلاهبرداری (Cloaking) است؟
تعریف گوگل از کلاهبرداری، نمایش محتوای متفاوت به کاربران و موتورهای جستجو با هدف دستکاری رتبهبندی و گمراه کردن کاربران است. نگرانی کلاهبرداری ممکن است در اینجا متفاوت اعمال شود. در تشخیص عامل کاربر، سرور تصمیم میگیرد بر اساس این که چه کسی درخواست میدهد، چه محتوایی را نمایش دهد. در مذاکره محتوا، کلاینت فرمت خاصی را درخواست میکند و سرور پاسخ میدهد. محتوا همان اطلاعات است، فقط در قالبی متفاوت. نتیجه عملی از دید یک خزنده همچنان مشابه است. گوگلبات که HTML درخواست میکند، یک صفحه وب کامل میبیند. یک عامل هوش مصنوعی که مارکداون درخواست میکند، یک نسخه متنی خلاصهشده از همان صفحه را دریافت میکند. گوگل هنوز موضع رسمی خود را درباره ارائه مارکداون از طریق مذاکره محتوا اعلام نکرده است.
ردیابی جدید در Cloudflare Radar
کلادفلر همچنین ردیابی نوع محتوا را به Cloudflare Radar برای ترافیک رباتهای هوش مصنوعی اضافه کرده است. این دادهها توزیع انواع محتوای برگشتی به عاملها و خزندههای هوش مصنوعی را بر اساس نوع MIME نشان میدهد. میتوانید بر اساس ربات خاص فیلتر کنید تا ببینید خزندههای خاص چه نوع محتوایی دریافت میکنند. کلادفلر OAI-SearchBot را به عنوان مثال نشان داد و حجم پاسخهای مارکداون ارائه شده به خزنده جستجوی OpenAI را نمایش داد. این دادهها از طریق APIهای عمومی کلادفلر و Data Explorer در دسترس هستند.
چرا این موضوع اهمیت دارد؟
اگر سایت شما از طریق کلادفلر اجرا میشود، میتوانید با یک کلیک ساده قابلیت تبدیل به مارکداون را فعال کنید، بدون نیاز به ساخت صفحات جداگانه. با این حال، فعالسازی Markdown for Agents به طور پیشفرض هدر Content-Signal را روی ai-train=yes, search=yes, ai-input=yes تنظیم میکند. ناشرانی که درباره دسترسی هوش مصنوعی به محتوای خود محتاط بودهاند، باید این مقادیر پیشفرض را قبل از فعالسازی بررسی کنند.
نگاهی به آینده
کلادفلر اعلام کرده است که در آینده قصد دارد گزینههای سفارشیسازی سیاست Content-Signal را به Markdown for Agents اضافه کند. انتقاد مولر بر روی صفحات مارکداون جداگانه متمرکز بود، نه بر روی مذاکره محتوای استاندارد. گوگل هنوز به این موضوع پاسخ نداده است که آیا ارائه مارکداون از طریق مذاکره محتوا تحت دستورالعملهای کلاهبرداری آن قرار میگیرد یا خیر. این ویژگی اختیاری است و به طرحهای پولی کلادفلر محدود میشود. قبل از فعالسازی، حتماً مقادیر پیشفرض Content-Signal را بررسی کنید.