الظهور في الذكاء الاصطناعي يبدأ بسؤال واحد: أي أنظمة الذكاء الاصطناعي مسموح لها بقراءة صفحاتك؟ فلكي يُستشهد بصفحتك في إجابة ذكاء اصطناعي، يجب أن يستطيع قراءتها الزاحف الذي يغذي تلك الإجابة: Googlebot لملخصات AI Overviews ووضع AI Mode في Google، وOAI-SearchBot لبحث ChatGPT، وPerplexityBot لـ Perplexity. والقاعدة في ملف robots.txt التي تحظرها أبسط سبب لعدم ظهور موقع ما أبدًا. أما زواحف التدريب مثل GPTBot وGoogle-Extended فقرار منفصل: بحسب توثيق الشركات نفسها، حظرها يُبعد محتواك عن تدريب النماذج دون أن يُخرجك من إجابات البحث لديها. الصق ملف robots.txt في الأداة أدناه لترى موقعك.
- ثلاثة أنواع من زواحف الذكاء الاصطناعي: زواحف بحث تجلب الصفحات لعرضها والاستشهاد بها، وزواحف تدريب تجمع البيانات للنماذج، وجالبون يقرؤون الصفحة حين يطلب شخص ذلك.
- ملخصات Google بالذكاء الاصطناعي بلا متطلبات إضافية. الصفحة المفهرسة القابلة لعرض مقتطف في بحث Google مؤهلة، كما يقول Google، وGoogle-Extended لا يؤثر في البحث.
- حظر GPTBot لا يُخرجك من بحث ChatGPT. حظر OAI-SearchBot هو ما يفعل ذلك.
- ملف robots.txt طلب وليس قفلًا. بعض الجالبين عند الطلب يقولون إنه قد لا ينطبق عليهم، وقد يحظر جدار حماية زواحف يسمح بها الملف.
فاحص زواحف الذكاء الاصطناعي: الصق ملف robots.txt
افتح yourdomain.com/robots.txt في المتصفح وانسخ محتواه كاملًا والصقه أدناه، ثم أدخل الصفحة التي تهمك. تقرأ الأداة القواعد كما تقرؤها الزواحف، وتبيّن القاعدة الحاسمة لكل منها. واختر سياسة تحتها لتحصل على الأسطر المطلوب إضافتها. لا يغادر ما تلصقه متصفحك.
ماذا يفعل كل زاحف ذكاء اصطناعي
توثّق كل شركة رموز user-agent الخاصة بها، وهي الأسماء التي تشير إليها قواعد robots.txt. وهذه الرموز المهمة لموقع في الخليج، مجمّعة بحسب ما يغيّره حظرها.
| الرمز | الشركة | ما يفعله | إن حظرته |
|---|---|---|---|
Googlebot | يزحف لبحث Google الذي تعتمد عليه ملخصات AI Overviews ووضع AI Mode | تخرج من بحث Google وميزات الذكاء الاصطناعي فيه | |
Google-Extended | رمز تحكم لتدريب نماذج Gemini والاستناد إلى المحتوى في تطبيقات Gemini | لا يتأثر البحث: يقول Google إنه ليس عاملًا في الترتيب | |
OAI-SearchBot | OpenAI | يعرض المواقع في ميزات البحث في ChatGPT | لن تظهر في إجابات بحث ChatGPT |
GPTBot | OpenAI | يجمع محتوى قد يُستخدم لتدريب نماذجها | يُعلَّم محتواك بأنه ليس للتدريب |
ChatGPT-User | OpenAI | يجلب الصفحات حين يطلب المستخدم ذلك من ChatGPT | تقول OpenAI إن قواعد robots.txt قد لا تنطبق عليه |
Claude-SearchBot | Anthropic | يفهرس الصفحات لتحسين نتائج البحث | قد تقل رؤية صفحاتك في إجاباته |
ClaudeBot | Anthropic | يجمع محتوى الويب لتدريب النماذج | يُستبعد محتواك القادم من التدريب |
PerplexityBot | Perplexity | يعرض المواقع ويربطها في نتائج Perplexity، ولا يُستخدم للتدريب | لن يُشار إليك في إجابات Perplexity |
Perplexity-User | Perplexity | يجلب الصفحات التي يسأل عنها المستخدم | تقول Perplexity إنه يتجاهل robots.txt عمومًا |
bingbot | Microsoft | يزحف لبحث Bing الذي يعتمد عليه Copilot من Microsoft أيضًا | تخرج من Bing وإجاباته بالذكاء الاصطناعي |
Applebot / Applebot-Extended | Apple | البحث في Siri وSpotlight وSafari / الانسحاب من التدريب | حظر Applebot-Extended وحده: تبقى في نتائج بحث Apple |
meta-webindexer / meta-externalagent | Meta | بحث Meta AI / الزحف لاستخدامات منها التدريب | البحث والتدريب يُتحكم فيهما منفصلين |
CCBot | Common Crawl | يبني أرشيفًا مفتوحًا للويب يُستخدم كثيرًا لتدريب نماذج الذكاء الاصطناعي | تُستبعد صفحاتك من الأرشيفات القادمة |
كيف تنطبق قواعد robots.txt على زواحف الذكاء الاصطناعي
يتبع ملف robots.txt بروتوكول استبعاد الروبوتات (RFC 9309)، وثلاث من قواعده تفسّر معظم المفاجآت:
- الزاحف يتبع فقط المجموعة التي تذكره. إن ذكرت مجموعة GPTBot فإنه يتجاهل مجموعة
User-agent: *كليًا، بما فيها أسطر Disallow. ولا يعود إلى*إلا الزاحف الذي لا مجموعة له. - داخل المجموعة يفوز أطول مسار مطابق، وحين تتطابق Allow وDisallow بالقدر نفسه تفوز Allow.
- لكل نطاق ملف robots.txt خاص به. المدونة على blog.example.sa يحكمها blog.example.sa/robots.txt لا ملف النطاق الرئيسي.
القاعدة الأولى توقع كثيرين. فكتابة مجموعة تسمح لـ GPTBot بكل شيء تُدخله أيضًا إلى المجلدات التي تحظرها مجموعة *، مثل /cart/. ولحظر زواحف التدريب مع ترك كل شيء آخر لقواعدك الحالية، أضف مجموعة كهذه في آخر الملف:
# AI training crawlers: blocked
User-agent: GPTBot
User-agent: Google-Extended
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /مثال محسوب: ملفان من robots.txt
ملف المثال في الأداة يحظر GPTBot وCCBot كليًا، ويُبعد كل الزواحف عن /cart/ و/account/. وعند فحصه على صفحة في المدونة، تستطيع كل زواحف البحث بالذكاء الاصطناعي قراءتها: 7 من 7. وكذلك أربعة من زواحف التدريب الستة، والجالبون الأربعة عند الطلب.
ومن الأنماط الشائعة العكس تمامًا: حظر كل شيء ثم السماح لـ Google.
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /| ملف robots.txt | زواحف البحث المسموح لها | زواحف التدريب المسموح لها | الجالبون عند الطلب المسموح لهم |
|---|---|---|---|
| مثال الأداة (يحظر GPTBot وCCBot) | 7 من 7 | 4 من 6 | 4 من 4 |
| «احظر الجميع واسمح لـ Googlebot» | 1 من 7 | 0 من 6 | 0 من 4 |
الملف الثاني يُبقي الموقع في Google، بما في ذلك ملخصات الذكاء الاصطناعي، ويُخرجه من بحث ChatGPT وPerplexity وBing وCopilot وبحث Apple وMeta AI. إن لم يكن هذا المقصود، فامنح كل زاحف بحث مجموعة Allow خاصة به أو احذف الحظر الشامل.
الظهور في الذكاء الاصطناعي: أن تُقرأ صفحتك لا يعني أن يُستشهد بها
السماح بالوصول يجعل الصفحة مؤهلة فقط. يقول Google إنه لا توجد متطلبات إضافية أو تحسينات خاصة أو بيانات منظمة مطلوبة للظهور في AI Overviews أو AI Mode: يكفي أن تكون الصفحة مفهرسة وقابلة لعرض مقتطف. وما يجعل الصفحة مستخدَمة هو ما يجعلها تُكتشف أصلًا: إجابة واضحة عن السؤال في أول الصفحة.
- الإجابة أولًا. ضع الإجابة المباشرة في أول فقرة تحت كل عنوان، ثم التفاصيل.
- استخدم الجداول للأرقام واذكر بجانبها المصدر والتاريخ.
- أبقِ النص في كود HTML. إن كان المحتوى المهم لا يظهر إلا بعد تشغيل JavaScript، فتأكد أنه موجود في مصدر الصفحة أيضًا.
- تحكّم في المقتطفات عن قصد. في Google تحدّ
nosnippetوdata-nosnippetوmax-snippetمما يُعرض، وnoindexتحذف الصفحة. وفي Bing تقصر NOCACHE إجابات المحادثة على الرابط والعنوان والمقتطف، وتُبعد NOARCHIVE المحتوى عنها. - لا تعتمد على llms.txt. لا يذكره أي من توثيقات الزواحف أعلاه.
للمواقع العربية والإنجليزية
افحص مساري اللغتين /en/ و/ar/ وكل نطاق فرعي، فلكل منها قواعده. وإجابات الذكاء الاصطناعي بالعربية تعتمد على الصفحات العربية، فالقاعدة التي تحظر /ar/ تكلّفك السوق الأضعف منافسة. وفي البحث المحلي، الملف التجاري المكتمل لا يقل أهمية؛ راجع دليل اضافة نشاط تجاري في قوقل ماب.
راجعنا رموز الزواحف ومتطلبات Google في 24 أكتوبر 2026. تضيف الشركات زواحف جديدة وتغيّر توثيقها، وسنحدّث الأداة وهذه الصفحة حين يحدث ذلك.
حاضر في البحث وفي الإجابات
نجعل مواقع الإمارات والسعودية قابلة للقراءة والاستشهاد في محركات البحث وإجابات الذكاء الاصطناعي، بالعربية والإنجليزية: قواعد الزواحف والبنية والمحتوى والقياس. اطّلع على تحسين الظهور في البحث والذكاء الاصطناعي، أو اطلب منا فحص موقعك.
أسئلة وأجوبة
كيف أعرف هل يستطيع ChatGPT الزحف إلى موقعي؟
ابحث في ملف robots.txt عن مجموعة تذكر OAI-SearchBot (بحث ChatGPT) أو GPTBot (التدريب)، أو الصق الملف في الأداة أعلاه. وإن لم يُذكر أي منهما فإنهما يتبعان قواعد User-agent: *.
هل حظر GPTBot يُخرج موقعي من ChatGPT؟
لا. تقول OpenAI إن GPTBot يجمع المحتوى للتدريب، بينما يُستخدم OAI-SearchBot لعرض المواقع في بحث ChatGPT. حظر GPTBot وحده يُبعد محتواك عن التدريب، وحظر OAI-SearchBot يُخرجك من إجابات بحث ChatGPT.
هل أحتاج إلى شيء خاص للظهور في ملخصات Google بالذكاء الاصطناعي؟
لا، بحسب Google. يكفي أن تكون الصفحة مفهرسة ومؤهلة لعرض مقتطف في بحث Google. لا توجد متطلبات أو تحسينات أو بيانات منظمة خاصة لـ AI Overviews أو AI Mode.
ما هو Google-Extended؟
رمز في robots.txt يستخدمه Google للتحكم في استخدام المحتوى لتدريب نماذج Gemini والاستناد إليه في تطبيقات Gemini. لا يزحف بنفسه، ويقول Google إنه لا يؤثر في الظهور أو الترتيب في بحث Google.
هل يساعد ملف llms.txt على الظهور في إجابات الذكاء الاصطناعي؟
لا يذكره أي من توثيقات زواحف شركات الذكاء الاصطناعي التي راجعناها. ما توثّقه هو قواعد الزواحف والصفحات القابلة للفهرسة والإجابات الواضحة.
هل تستطيع المساعدات الذكية قراءة صفحات يحظرها ملف robots.txt؟
بعض الجالبين عند الطلب قد يفعلون. تقول OpenAI إن قواعد robots.txt قد لا تنطبق على ChatGPT-User، وتقول Perplexity إن Perplexity-User يتجاهله عمومًا، وتقول Meta إن جالبها بطلب المستخدم قد يتجاوزه.
المصادر
- ميزات الذكاء الاصطناعي وموقعك، مركز Google للبحث: متطلبات AI Overviews وAI Mode
- زواحف Google الشائعة، مركز Google للبحث: Googlebot وGoogle-Extended (حُدّث في 15 أكتوبر 2026)
- زواحف OpenAI، OpenAI: OAI-SearchBot وGPTBot وChatGPT-User
- هل تزحف Anthropic إلى الويب؟، Anthropic: ClaudeBot وClaude-SearchBot وClaude-User
- زواحف Perplexity، Perplexity: PerplexityBot وPerplexity-User
- عن Applebot، Apple: Applebot وApplebot-Extended
- زواحف Meta، Meta: meta-externalagent وmeta-webindexer وmeta-externalfetcher
- CCBot، Common Crawl
- خيارات جديدة لأصحاب المواقع للتحكم في استخدام محتواهم في Bing Chat، مدونة Bing لأصحاب المواقع، سبتمبر 2023
- RFC 9309: بروتوكول استبعاد الروبوتات، IETF
