إعلانات جوجل المجانية: دليل الظهور دون تكلفة إعلانية

يساعدك ملف الروبوت تكست robots.txt على تنظيم وصول برامج الزحف إلى موقعك، لكن تعديل سطر واحد دون فهمه قد يمنع محركات البحث من قراءة مقالات تريد ظهورها. لذلك لا تبدأ بالبحث عن «أفضل كود جاهز»؛ ابدأ بتحديد الصفحات التي ينبغي أن تزورها العناكب، والصفحات التي تريد استبعادها من نتائج البحث، فلكل هدف طريقة مختلفة.

ملف الروبوت تكست robots.txt.

ما هو ملف الروبوت تكست robots.txt وما وظيفته؟

هو ملف تقرأه عناكب محركات البحث المتوافقة مع بروتوكول استبعاد الروبوتات لمعرفة المسارات المسموح بزيارتها والمسارات المطلوب تجنبها. يوجد عادة عند إضافة /robots.txt إلى أصل الموقع، مثل https://example.com/robots.txt. لا تضعه داخل مجلد المقالات أو تكتبه بوصفه مشاركة في المدونة.

الإجابة المباشرة: robots.txt ملف نصي لإدارة الزحف، وليس وسيلة مضمونة لإزالة صفحات الويب من نتائج Google. إذا كان هدفك منع فهرسة صفحة، استخدم noindex مع إتاحة وصول الزاحف إليها. وفي بلوجر، لا تحتاج إلى تفعيل الملف المخصص ما لم يكن لديك سبب واضح لتغيير الإعداد التلقائي.

توضح وثائق Google عن وظيفة robots.txt أن حظر الزحف لا يضمن اختفاء عنوان الصفحة من البحث؛ فقد يعرفه المحرك من روابط موجودة في صفحات أخرى. كما أن الملف ليس نظام حماية: يستطيع الزائر فتح المسار إذا لم تمنعه صلاحيات الوصول.

 

الفرق بين الزحف والفهرسة

الزحف هو جلب المحتوى، أما الفهرسة فهي معالجة المحتوى والنظر في إدراجه ضمن فهرس البحث. تخيل أنك نشرت دليلًا جديدًا: إتاحة زيارته خطوة ضرورية لقراءته، لكنها لا تعني أن المحرك سيعرضه فورًا أو يمنحه ترتيبًا مرتفعًا. لذلك لا تستخدم عبارة (تسريع الأرشفة) باعتبارها نتيجة مضمونة لتغيير ملف صغير.

الهدف	الوسيلة المناسبة	ما ينبغي الانتباه إليه
تقليل الزحف إلى مسارات غير مهمة	قواعد Disallow مدروسة	قد تبقى عناوينها معروفة لمحرك البحث
استبعاد صفحة عامة من الفهرسة	noindex داخل الصفحة أو ترويسة HTTP	يجب السماح للزاحف بقراءة التوجيه
حماية محتوى خاص	تسجيل الدخول وصلاحيات الوصول	robots.txt ملف علني وليس حاجزًا أمنيًا
التعريف بروابط المحتوى المهمة	خريطة الموقع وروابط داخلية واضحة	اكتشاف الرابط لا يضمن فهرسته

هل تحتاج مدونة صغيرة إلى تخصيص الملف؟

ليس دائمًا. إذا كانت المدونة تعرض مقالات وصفحات عادية ولا توجد مشكلة زحف محددة، فقد يكون إبقاء الإعداد التلقائي أفضل من إضافة استثناءات لا تفهمها. ركز أولًا على سهولة التنقل بين المقالات، وسلامة الروابط، وإتاحة المحتوى المهم.

أما إذا كنت تدير آلاف المسارات الناتجة عن البحث الداخلي أو المرشحات، فابدأ بحصرها وتقييم فائدتها. لا تحجب قسمًا كاملًا لمجرد أن عدد صفحاته كبير؛ ربما يحتوي صفحات مستقلة تجلب زيارات مفيدة. اكتب هدف كل تغيير قبل تنفيذه، لتستطيع لاحقًا معرفة ما إذا كان قد حققه.

شرح أوامر robots.txt بأمثلة واضحة

اكتب الملف كنص عادي بترميز UTF-8، لا كمستند Word ولا كصفحة HTML. المجموعة تبدأ بتحديد برنامج الزحف، ثم ترد القواعد التابعة له. ويُستخدم رابط كامل عند تعريف خريطة الموقع، وفق دليل Google لإنشاء الملف واختباره.

لف الروبوت تكست robots.txt.

الأمر	وظيفته	مثال تعليمي
User-agent	تحديد الزاحف المقصود بالمجموعة	User-agent: *
Disallow	طلب عدم الزحف لمسار	Disallow: /drafts/
Allow	السماح بمسار، ويمكن استخدامه للاستثناء	Allow: /drafts/public/
Sitemap	الإشارة إلى عنوان خريطة الموقع	Sitemap: https://example.com/sitemap.xml
#	إضافة تعليق للمحرر	# Reviewed before publishing

نموذج يسمح بالزحف إلى الموقع

 
User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

هنا لا توجد قيمة بعد Disallow، ولذلك لا يحدد السطر مسارًا محظورًا. هذا مثال تعليمي وليس توصية باستبدال إعدادات كل موقع. استبدل عنوان الخريطة بعنوان صحيح يعمل على موقعك، ولا تترك نطاق المثال كما هو.

الفرق بين Disallow الفارغ والشرطة المائلة

المسافة ليست المشكلة في المثال التالي؛ القيمة / هي التي تغير المعنى. عند كتابة الأمر أدناه داخل مجموعة عامة، يُطلب من برامج الزحف المشمولة الامتناع عن الزحف إلى الموقع كله:

 
User-agent: *
Disallow: /

للتوضيح فقط: لا تستخدم هذا المثال على مدونة عامة تريد ظهور مقالاتها. وإذا كان لديك موقع تجريبي خاص، فحمايته بكلمة مرور أكثر ملاءمة من الاعتماد على تعليمات زحف علنية.

استثناء مسار من الحظر

 
User-agent: *
Disallow: /drafts/
Allow: /drafts/public/

ي هذا المثال يُحجب مسار المسودات، ويُسمح بالمجلد العام داخله. لدى Google تُحسم القواعد المتعارضة بحسب التطابق الأكثر تحديدًا، وعند التعادل تُفضّل قاعدة السماح. كما أن حالة الأحرف في المسار مهمة. راجع مواصفات تفسير Google للقواعد عند استخدام أنماط أو مجموعات متعددة.

لا تتعامل مع الملف كقائمة تنفّذ من أعلى لأسفل بحيث ينتصر آخر سطر تلقائيًا. وإذا أضفت مجموعة خاصة بـ Googlebot، فلا تفترض أنها ترث كل ما كتبته في المجموعة العامة. كلما زادت الاستثناءات، زادت حاجتك إلى اختبار روابط فعلية.

إعدادات الزحف في بلوجر خطوة بخطوة

بلوجر يدير ملفًا تلقائيًا، ويتيح استبدال محتواه عبر الإعداد المخصص. وتؤكد صفحة إدارة إعدادات Blogger الرسمية أن النص المخصص يُستخدم بدل النص التلقائي؛ لذا لا تفترض أنك تضيف سطرًا إلى ملف سابق محفوظ في الخلفية.

إعدادات الزحف في بلوجر خطوة بخطوة.

كيفية تعديل ملف الروبوت تكست robots.txt في بلوجر

1.  افتح عنوان /robots.txt على نطاق مدونتك الحالي، واحتفظ بنسخة من المحتوى الظاهر.
2. من لوحة بلوجر، اختر المدونة الصحيحة ثم افتح الإعدادات.
3. انتقل إلى قسم برامج الزحف والفهرسة.
4. فعّل محتوى ملف robots.txt المخصص إذا كانت لديك قواعد تحتاج إلى تطبيقها.
5. أدخل النص الذي راجعته، واحفظ التغيير.
6. افتح عنوان الملف مجددًا، وتحقق من ظهور النص الجديد، ثم افحص روابط المقالات المهمة.

لا تخلط هذه الخطوة مع (علامات رؤوس مخصصة لبرامج الروبوت). فالأخيرة إعداد منفصل قد يؤثر في توجيهات الفهرسة. كذلك راجع خيار إتاحة المدونة لمحركات البحث في إعدادات الخصوصية عند تشخيص مشكلة ظهور عامة.

نموذج بلوجر لحجب صفحات البحث الداخلي

المثال التالي يناسب هدفًا محددًا: منع الزحف إلى المسارات التي تبدأ بـ /search مع ترك المقالات العادية متاحة. لا تطبقه إذا كنت تريد الزحف إلى صفحات التصنيفات الواقعة تحت هذا المسار:

 
User-agent: *
Disallow: /search

Sitemap: https://YOUR-DOMAIN.example/sitemap.xml

استبدل النطاق التجريبي بنطاق مدونتك، وافتح رابط الخريطة أولًا للتأكد من صحته. حظر /search يشمل مثلًا /search?q=seo وكذلك /search/label/SEO، لأن القاعدة تطابق بداية المسار. وهي لا تحجب مقالة تقع تحت /2026/10/article.html ما لم توجد قواعد أخرى تنطبق عليها.

إذا كان هدفك منع الفهرسة لصفحات البحث، فهذه القاعدة وحدها لا تكفي. يجب أن يتمكن Google من قراءة noindex على الصفحة المستهدفة. لا تجمع الحظر مع توجيه لا يستطيع الزاحف الوصول إليه، ثم تنتظر اختفاء الصفحة تلقائيًا.

وإذا كنت تعمل على القالب أيضًا، فافصل التعديلات عن بعضها: احتفظ بنسخة احتياطية، ثم اتبع دليل تركيب قالب تنظيف بلوجر عند الحاجة الفعلية لتغيير القالب. تركيب قالب تنظيف ليس إجراءً مطلوبًا لتعديل robots.txt، وتغيير الاثنين معًا يصعّب معرفة سبب أي خلل.

كود الإضافة

👇👇👇ملف الروبوت تكست User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://www.elsabagh.com/sitemap.xml

اختبار ملف الروبوت وتشخيص الحظر قبل النشر

بدل الاكتفاء بعبارة (الكود صحيح)، أنشئ عينة صغيرة تمثل أنواع صفحاتك. الجدول التالي اختبار منطقي من إعداد هذا الدليل للمثال السابق فقط؛ ليس تقريرًا عن موقع حقيقي أو نتيجة فحص مباشر لمدونتك.

النتائج التالية تخص قاعدة Disallow: /search ضمن مجموعة User-agent: *، دون قواعد أخرى تؤثر فيها. المقصود السماح بالزحف أو حظره، وليس ضمان الفهرسة أو منعها.

المسار التجريبي	النتيجة المتوقعة	السبب
/	مسموح	لا يبدأ بمسار البحث
/2026/10/article.html	مسموح	مقال خارج المسار المحظور
/p/about.html	مسموح	صفحة ثابتة خارج الحظر
/search?q=seo	محظور	يطابق بداية /search
/search/label/SEO	محظور	التصنيف داخل مسار البحث نفسه
/sitemap.xml	مسموح	لا توجد قاعدة تمنع هذا المسار

ملف الروبوت تكست.

خطة فحص من ثلاث مراحل

قبل الحفظ: دوّن القاعدة التي ستغيرها، والسبب، ورابطين يجب أن يبقيا مسموحين. احتفظ بالنسخة السابقة خارج لوحة الإعدادات. إذا لم تستطع شرح أثر السطر بلغة بسيطة، أجّل إضافته.

بعد الحفظ: افتح الملف في نافذة خاصة، وتأكد أنه يعرض نصًا لا صفحة خطأ أو شاشة تسجيل دخول. راجع تقرير robots.txt في Search Console إن كان متاحًا للملكية المستخدمة، واستخدم فحص عنوان URL والاختبار المباشر لصفحة مهمة. فرّق بين بيانات آخر زحف ونتيجة الاختبار الحالي.

بعد إعادة الزحف: راقب أمثلة الصفحات المحجوبة، لا العدد الإجمالي وحده. إذا كانت الصفحات المحجوبة نتائج بحث لا تريد الزحف إليها، فقد يكون ذلك مقصودًا. أما إذا كانت مقالات أساسية، فراجع القواعد المتطابقة وأزل الحظر غير المقصود. السماح بالزحف بعد التصحيح لا يعني ضمان الفهرسة.

كيف تميز مشكلة القواعد عن مشكلة الخادم؟

إن كان الملف يعيد 404، فهذا لا يعني أن الموقع كله محظور؛ يتعامل Google عادة مع غياب الملف باعتباره غيابًا لقيود الزحف. أما أخطاء الخادم أو تعذر الجلب فقد تؤثر في الزحف، فلا تعالجها بإضافة Allow داخل ملف لا يستطيع المحرك تنزيله أصلًا. افحص إتاحة الملف والاستضافة أولًا، ثم منطق القواعد.

وعندما يبقى محتوى قديم ظاهرًا، تحقق من التخزين المؤقت ومن أنك تراجع النطاق الصحيح. الملف على نسخة www لا يطبق تلقائيًا على كل نطاق فرعي، ولا على بروتوكول مختلف. سجّل وقت التعديل حتى تقارنه بتاريخ الجلب الظاهر في أدوات المشرفين.

أخطاء شائعة لا يحلها نسخ كود جاهز

• حظر ملفات العرض: تجنب منع CSS وJavaScript اللازمة لفهم الصفحة وعرضها.
• كتابة Noindex داخل الملف: Google لا يدعمها كتوجيه فهرسة داخل robots.txt؛ مكانها الصحيح في الصفحة أو ترويسة الاستجابة.
• اعتبار كل استبعاد خطأ: ليس مطلوبًا أن تظهر كل صفحة بحث أو رابط خدمة في نتائج البحث.
• إضافة روابط خرائط غير صحيحة: وجود سطر Sitemap لا يصلح خريطة تعيد خطأ أو تشير إلى نطاق آخر بالخطأ.
• تغيير عدة إعدادات معًا: عدّل سببًا واحدًا موثقًا، ثم قيّم النتيجة.

لنفترض أن مقالًا مهمًا لم يظهر في البحث. ابدأ بفحص عنوانه، لا بتبديل الملف كله. إذا كان مسموحًا بالزحف ولا يحتوي noindex، فانتقل إلى حالة الاستجابة، والرابط الأساسي، والمحتوى، والروابط الداخلية. غياب المقال عن النتائج لا يثبت وحده وجود مشكلة في ملف الروبوت.

خريطة الموقع وإدارة الزحف: وظيفتان متكاملتان

خريطة الموقع تساعد في التعريف بعناوين المحتوى، بينما توجّه قواعد الزحف حركة البرامج داخل الموقع. لا تستخدم الخريطة لمحاولة تجاوز حظر وضعته في robots.txt. اختَر روابط تريد اكتشافها فعلًا، ثم تأكد من عدم وجود تعليمات متناقضة تمنع قراءتها.

تكامل خريطة الموقع مع إدارة الزحف.

قبل الانتقال إلى الأسئلة الشائعة، نفّذ خطوة واحدة الآن: افتح الملف الحالي، واختر مقالًا مهمًا وصفحة بحث، ثم اكتب النتيجة التي تتوقعها لكل منهما. هذه المقارنة الصغيرة أكثر فائدة من إضافة عشرات الأسطر دون هدف.

أسئلة شائعة

هل أرفع الملف إلى Search Console مثل خريطة الموقع؟

لا. يُنشر الملف في موضعه على الموقع، وتبحث عنه برامج الزحف تلقائيًا. أدوات Search Console تساعد على متابعة حالته، ولا تحول ملفًا محفوظًا على جهازك إلى ملف منشور على نطاقك.

هل أحتاج إلى ملف جديد لكل مقالة؟

لا؛ القواعد في الملف الواحد تغطي المسارات ضمن نطاق صلاحيته. تحتاج إلى مراجعة منفصلة عند وجود مضيف آخر مثل نطاق فرعي، وليس عند نشر كل مقال جديد.

 

هل حظر Googlebot يحظر جميع الروبوتات؟

لا. المجموعة التي تسمي زاحفًا بعينه تستهدفه وفق قواعد المطابقة. كما أن الالتزام بالملف ليس بديلًا عن وسائل منع الوصول عندما يكون المحتوى حساسًا.

هل يمكن كتابة ملاحظات عربية داخل الملف؟

يمكن كتابة تعليقات تبدأ بعلامة # مع حفظ الملف بترميز UTF-8. استخدمها لتوثيق سبب التعديل وتاريخه، وأبق أسماء الأوامر بصيغتها المعروفة.

هل أضيف Crawl-delay لتقليل زيارات Googlebot؟

لا تعتمد عليه لهذا الهدف؛ Google لا يدعم هذا التوجيه. إذا كانت زيارات الزحف تسبب ضغطًا، فشخّص أداء الخادم والطلبات المتكررة وراجع الحل المناسب للمشكلة.

خطوتك التالية: راجع روابط خريطة الموقع

الإعداد الجيد هو الذي تستطيع تفسير كل سطر فيه واختبار أثره. اترك المقالات المهمة متاحة، وتعامل مع الاستبعاد من الفهرس والحماية كهدفين منفصلين عن إدارة الزحف. بعد التأكد من سلامة القواعد، انتقل إلى دليل ملف sitemap.xml لمراجعة خريطة موقعك وربط الخطوتين بصورة منظمة.