قبل ثمانية أشهر أعدنا كتابة ملف robots.txt الخاص بـ thMenu للترحيب الصريح بكل زاحف ذكاء اصطناعي نشط. النتيجة: تضاعف معدل الاستشهاد بنا في ChatGPT وPerplexity وClaude ثلاث مرات.
زواحف الذكاء الاصطناعي السبعة النشطة في 2026
هذه البوتات تمسح الويب لتدريب نماذج LLM والاسترجاع الحي. حجب أحدها يعني اختفاءك من بيئته.
- GPTBot (تدريب OpenAI) وOAI-SearchBot (بحث ChatGPT المباشر)
- PerplexityBot وPerplexity-User (لكل استعلام)
- ClaudeBot وanthropic-ai وGoogle-Extended وApplebot-Extended وFacebookBot
قالب thMenu
افتح كتلة User-agent منفصلة لكل زاحف مع Allow: /. لا تنسَ سطر Sitemap — وكيل بحث ChatGPT يعطي أولوية لروابط القائمة في sitemap.
حتى مع قاعدة "User-agent: *"، يقرأ كل بوت كتلته الخاصة أولاً. الكتل المخصصة تُعلن النية وتحميك إذا غيّرت الافتراضي يوماً إلى Disallow.
نتائج مُقاسة
مدونة thMenu فيها 387 مقالاً. بعد ثلاثة أشهر من التغيير، قفزت إشارات ChatGPT من 1,200 إلى 3,600 شهرياً. استشهادات Perplexity +180%، إشارات Claude.ai +220%. الزيارات من إجابات الذكاء الاصطناعي تتحول بنسبة 3.2% CTR — ضعف متوسط Google العضوي.
اكتشاف رئيسي: من يقرأ إجابة ذكاء اصطناعي ثم ينقر، مهتم بعمق بالفعل. جودة النقرة أعلى.
الأسئلة الشائعة
هل السماح لـ GPTBot يعني سرقة محتواي؟ لا — الاستشهادات تظهر كروابط مصدر في ChatGPT وترفع العلامة. الاستخراج ثمن الدخول إلى مجموعة التدريب.
هل CCBot وAhrefsBot زواحف ذكاء اصطناعي؟ CommonCrawl نعم، اسمح به. Ahrefs/SEMrush أدوات SEO؛ حجبها يوفر النطاق الترددي.
هل ترميز Schema.org ضروري؟ لا غنى عنه. بوتات الذكاء الاصطناعي تقرأ JSON-LD أولاً؛ الصفحات بـ Article وFAQPage يُستشهد بها مرتين أكثر.
هل وجدت هذا مفيداً؟ شاركه.
مقالات ذات صلة
12 فائدة ملموسة لقوائم QR الرقمية (مدعومة ببيانات حقيقية)
صفر تكاليف طباعة، زيادة 31 % في متوسط الفاتورة، دعم 20 لغة تلقائياً: 12 سبباً مد…
لماذا تزيد صور القائمة من مبيعات المطعم: الدليل الشامل
الأطباق التي تحتوي على صور تحصل على ما يصل إلى 30% من الطلبات أكثر. إليك العلم و…
Limadha yantazir mustakhdimu Apple Pay 12 thaniya akall min Chip+PIN fi al-mata3em
Bayanat Visa 2024: chip+PIN 25.3 thaniya, Apple Pay 13.1 thaniya. Li-brasseri mi…