robots.txt والذكاء الاصطناعي: فحصنا 332 موقعًا مصريًا قبل إشارة منع التدريب المشتركة في 2027
الإجابة المختصرة: أعلنت جوجل في 30 أكتوبر 2026 أنها ستدعم في أوائل 2027 إشارة مشتركة في ملف robots.txt تتيح لصاحب الموقع رفض استخدام محتواه في تدريب نماذج الذكاء الاصطناعي التوليدي لدى عدة شركات بسطرين فقط، وأعلنت مايكروسوفت أنها ستطبقها بدءًا من 1 فبراير 2027. فحصنا في 3 نوفمبر 2026 ملفات robots.txt لـ 332 نطاقًا مصريًا من قائمة Tranco: 152 موقعًا فقط لديها ملف صالح، و17 موقعًا فقط تحظر أي زاحف ذكاء اصطناعي، ولا يستخدم أي موقع الرمز المشترك الجديد حتى الآن. القرار الصحيح لمعظم الشركات المصرية ليس الحظر الشامل، بل الفصل بين التدريب والظهور في إجابات الذكاء الاصطناعي.
أصبح ملف robots.txt والذكاء الاصطناعي موضوعًا تسويقيًا لا تقنيًا فقط: فهذا الملف الصغير في جذر موقعك يحدد اليوم هل تُستخدم صفحاتك في تدريب النماذج، وهل تظهر علامتك في إجابات المساعدات الذكية. في هذا المقال نشرح ما الذي تغيّر في أكتوبر 2026، ونعرض نتائج فحص خاص أجراه فريق سمارت ون جروب على المواقع المصرية، ثم نقدم إطار قرار وخطة من 7 خطوات قبل فبراير 2027.
ما الذي أعلنته جوجل ومايكروسوفت في 30 أكتوبر 2026؟
نشرت جوجل على مدونة Search Central تدوينة بعنوان دعم تحكم مشترك في تدريب الذكاء الاصطناعي، قالت فيها إن أصحاب المواقع سيتمكنون من استخدام رمز سياسة مشترك داخل robots.txt للتعبير عن تفضيلاتهم تجاه التدريب لدى جميع مزودي الذكاء الاصطناعي المشاركين، استنادًا إلى عمل مجموعة AIPREF في هيئة IETF. وأوضحت جوجل أن الموقع الذي يرفض التدريب عبر هذا الرمز، دون أن يذكر Google-Extended صراحة، ستعامله جوجل كما لو كان قد حظر Google-Extended، مع استمرار عمل الضوابط الخاصة بكل شركة.
وفي وثائق زواحف جوجل حُدد الموعد بأوائل 2027، مع التأكيد على أن Google-Extended لا يؤثر على إدراج الموقع في بحث جوجل ولا يُستخدم إشارة ترتيب، لكنه يتحكم في تدريب نماذج Gemini المستقبلية وفي استخدام المحتوى للتأسيس (Grounding) في تطبيقات Gemini وVertex AI.
وفي اليوم نفسه أعلنت مايكروسوفت Bing أنها ستعتمد الإشارة المشتركة للتدريب، وأضافت تفضيلًا منفصلًا للتأسيس على مستوى الصفحة بثلاث قيم: Allow وDisallow وDisallowExtended. وستبدأ مايكروسوفت تطبيق التفضيلات الجديدة في 1 فبراير 2027، وبعد 1 مارس 2027 لن تقرأ وسمي NoArchive وNoCache بوصفهما تفضيلًا للتدريب أو التأسيس.
ما هو رمز __usage_ai-training؟
رمز __usage_ai-training هو اسم وكيل افتراضي يُكتب في سطر User-Agent داخل robots.txt، ولا يرسله أي زاحف فعلي، وإنما تقرؤه الشركات المشاركة لمعرفة موقفك من تدريب النماذج التوليدية. وقد ورد في مسودة IETF قدمها كيفن كيلي من Anthropic في 30 أكتوبر 2026، وهي مسودة فردية بالإصدار 00 تنتهي صلاحيتها في 3 مايو 2027 ما لم تُحدَّث.
- رفض التدريب للموقع كله: سطر User-Agent: __usage_ai-training يليه سطر Disallow: /.
- الاستثناء ممكن لمسار محدد، مثل السماح بمجلد المواد الصحفية عبر Allow: /press-kit/.
- المجموعة العامة User-Agent: * لا تُعد تعبيرًا عن هذا التفضيل وفق نص المسودة.
- الرمز ليس أمرًا للزحف؛ فمنع زاحف معين ما زال يتطلب مجموعة باسمه الخاص.
والتعريف المعتمد للتدريب في مسودة المفردات لدى IETF هو: استخدام أصل رقمي لتعديل المعاملات المتعلَّمة لنموذج ذكاء اصطناعي توليدي، ولا يشمل ذلك التدريب الذي يقتصر حصريًا على نماذج غير توليدية.
robots.txt والذكاء الاصطناعي في المواقع المصرية: نتائج فحصنا
في 3 نوفمبر 2026 الساعة 09:34 بتوقيت القاهرة جلبنا ملف robots.txt لكل النطاقات المنتهية بـ .eg والبالغ عددها 332 نطاقًا في قائمة Tranco لأعلى مليون موقع (القائمة 262N9)، وحللنا مجموعات الوكلاء وفق المعيار RFC 9309، وفحصنا كذلك وجود ملف llms.txt. اعتبرنا الملف صالحًا إذا أعاد الحالة 200 بنص عادي لا بصفحة HTML.
| المؤشر | العدد | النسبة |
|---|---|---|
| نطاقات استجابت لطلب robots.txt | 290 من 332 | 87.3% |
| ملف robots.txt صالح على نطاق مصري | 152 | 45.8% من الإجمالي |
| تعيد صفحة HTML بدل الملف | 50 | 15.1% |
| تعيد الخطأ 404 | 66 | 19.9% |
| تذكر زاحف ذكاء اصطناعي واحدًا على الأقل | 19 | 12.5% من الملفات الصالحة |
| تحظر زاحف ذكاء اصطناعي واحدًا على الأقل حظرًا كاملًا | 17 | 11.2% من الملفات الصالحة |
| تحظر Google-Extended | 11 | 7.2% من الملفات الصالحة |
| تستخدم سطر Content-Signal بقيمة ai-train=no | 9 | 5.9% من الملفات الصالحة |
| تستخدم الرمز المشترك __usage_ai-training | 0 | 0% |
| تعلن خريطة الموقع Sitemap داخل الملف | 95 | 62.5% من الملفات الصالحة |
| تنشر ملف llms.txt | 26 | 7.8% من الإجمالي |
أكثر الزواحف المحظورة في العينة كانت CCBot في 15 موقعًا، ثم GPTBot في 14 موقعًا، ثم ClaudeBot في 13 موقعًا. وعلى مستوى النطاقات الفرعية، حظرت 3 مواقع حكومية فقط من 87 نطاقًا .gov.eg، و3 مواقع جامعية من 92 نطاقًا .edu.eg، و7 مواقع تجارية من 90 نطاقًا .com.eg.
خمسة أنماط لافتة في النتائج
- الحظر يأتي غالبًا من الإعداد الجاهز: 8 من المواقع الـ 17 الحاظرة تستخدم ملف robots.txt المُدار الذي تولده Cloudflare، وجميعها تحمل السطر Content-Signal بقيمة search=yes وai-train=no.
- الفصل بين التدريب والبحث موجود بالفعل: 12 من المواقع الـ 14 التي تحظر GPTBot لم تحظر OAI-SearchBot، أي أنها ترفض التدريب وتترك باب الظهور في بحث ChatGPT مفتوحًا.
- مواقف معلنة بالسماح: موقع فودافون مصر يسمح صراحة لوكلاء مثل OAI-SearchBot وGoogle-Extended وClaudeBot وPerplexityBot، وموقع جوميا مصر يسمح صراحة لـ Google-Extended ويحظر CCBot فقط.
- حظر شامل غير مقصود على الأرجح: موقعان جامعيان يحظران كل الزواحف عبر المجموعة العامة ويسمحان فقط لـ Googlebot ولزاحف فيسبوك، ما يعني حجب Bingbot وجميع زواحف البحث الذكي الأخرى.
- الأساسيات غائبة: أكثر من نصف النطاقات لا تقدم ملف robots.txt صالحًا أصلًا، و50 نطاقًا تعيد صفحة HTML كاملة عند طلب الملف، وهو خطأ إعداد شائع في بعض أنظمة إدارة المحتوى.
التدريب ليس هو الظهور: لماذا يضر الحظر الشامل بتسويقك؟
الخلط بين ثلاثة استخدامات مختلفة هو أكثر خطأ نراه لدى الشركات المصرية: الزحف لفهرسة البحث التقليدي، وتدريب النماذج، والتأسيس أي استدعاء صفحاتك لحظة الإجابة مع رابط إليها. فرفض التدريب لا يحجب موقعك عن بحث جوجل، لكن حظر Google-Extended لدى جوجل يشمل التدريب والتأسيس في تطبيقات Gemini معًا، بينما تفصل مايكروسوفت بينهما. أما ظهورك في AI Overviews وAI Mode فيخضع لضبط منفصل في Search Console.
بالنسبة لعيادة أو شركة خدمات أو متجر إلكتروني مصري، يعني ذلك أن الإشارة في إجابة مساعد ذكي مع رابط إلى موقعك أصبحت قناة اكتشاف حقيقية، كما شرحنا في مقالنا عن قسم المواقع الرسمية في Google AI Mode. لذلك فإن نسخ ملف جاهز يحظر كل الوكلاء قد يحمي محتواك من التدريب لكنه يُخفي علامتك من الإجابات أيضًا.
إطار قرار من ثلاثة مواقف
| الموقف | يناسب | ما تكتبه في robots.txt |
|---|---|---|
| انفتاح كامل | الشركات الخدمية والعيادات والمتاجر التي تريد أقصى ظهور | لا شيء إضافي، أو سماح صريح للوكلاء المهمة |
| رفض التدريب مع السماح بالإجابات | معظم الشركات التي تنتج محتوى أصليًا | مجموعة __usage_ai-training مع Disallow: / وترك وكلاء البحث الذكي مسموحًا لها |
| إغلاق واسع | المحتوى المدفوع أو الحساس أو المملوك بموجب تراخيص | الرمز المشترك مع حظر الوكلاء بأسمائها، وحماية المحتوى بكلمة مرور لا بالملف وحده |
خطة من 7 خطوات قبل فبراير 2027
- افتح رابط robots.txt لموقعك وتأكد أنه يعيد نصًا عاديًا بالحالة 200 لا صفحة HTML أو خطأ.
- اجرد كل وكلاء الذكاء الاصطناعي المذكورين في الملف، وتحقق هل أضافتهم إضافة أو خدمة حماية دون علمك.
- قرر موقفك كتابيًا وفق الإطار السابق، بمشاركة التسويق والإدارة القانونية.
- أضف مجموعة __usage_ai-training في كتلة مستقلة، ولا تضعها في كتلة تضم Googlebot أو Bingbot حتى لا تحجب البحث.
- أبقِ الضوابط الحالية مثل Google-Extended وGPTBot، لأنها ما يعمل فعليًا اليوم إلى أن يبدأ الدعم في 2027.
- إن كنت تستخدم NoArchive أو NoCache، فراجع إعداداتك لدى Bing قبل 1 مارس 2027.
- أعلن خريطة الموقع داخل robots.txt، وراقب سجلات الخادم شهريًا، وأعد الفحص بعد كل تحديث للقالب أو للاستضافة.
robots.txt تفضيل معلن وليس قفلًا أمنيًا؛ فالزواحف الملتزمة تحترمه، أما المحتوى السري فيحتاج إلى حماية على مستوى الخادم والاستضافة.
الأسئلة الشائعة
هل يؤدي رفض تدريب الذكاء الاصطناعي إلى خروج موقعي من بحث جوجل؟
لا. تنص وثائق جوجل على أن Google-Extended لا يؤثر على إدراج الموقع في بحث جوجل ولا يُستخدم إشارة ترتيب، والرمز المشترك سيُعامل معاملة Google-Extended حين لا يكون مذكورًا صراحة.
متى تبدأ الشركات في احترام الرمز __usage_ai-training؟
تقول جوجل إنها تستهدف أوائل 2027، وحددت مايكروسوفت 1 فبراير 2027 لبدء تطبيق التفضيلات الجديدة. حتى ذلك الحين تبقى الضوابط الخاصة بكل شركة هي المعمول بها.
هل تكفي المجموعة العامة User-Agent: * لرفض التدريب؟
لا. تنص المسودة على أن المجموعة العامة لا تُفسَّر على أنها تطابق رمز السياسة، وأن الملف الذي لا يحتوي على مجموعة __usage_ai-training لا يعبّر عن أي تفضيل.
ما الفرق بين التدريب والتأسيس (Grounding)؟
التدريب هو تعديل معاملات النموذج باستخدام محتواك بشكل دائم، أما التأسيس فهو استدعاء محتواك لحظة الإجابة عن سؤال المستخدم مع إمكانية الإشارة إليه برابط، ولذلك يرتبط التأسيس مباشرة بظهور علامتك.
هل يحمي robots.txt المحتوى من النسخ؟
لا. الملف تعبير علني عن تفضيلاتك تلتزم به الزواحف المحترمة فقط، والمحتوى الحساس يحتاج إلى تسجيل دخول أو حماية على مستوى الخادم.
هل أحتاج إلى ملف llms.txt؟
ملف llms.txt ملخص نصي اختياري لموقعك موجه للنماذج اللغوية، وقد وجدناه لدى 26 نطاقًا مصريًا من 332. وهو لا يحل محل robots.txt ولا يُعد تفضيلًا للتدريب، ولا يوجد دليل منشور على أنه يرفع الترتيب.
إذا أردت مراجعة ملف robots.txt لموقعك وتحديد الموقف الأنسب بين الحماية والظهور، يمكن لفريق التسويق الرقمي وتحسين الظهور وتطوير المواقع في سمارت ون جروب إعداد الملف واختباره ضمن خطة متابعة شهرية. تواصل معنا لطلب مراجعة مبدئية.
