كيفية استخدام ملف robots.txt

في أوائل الصيف ، احتفل مسوقو الإنترنت بعيدهم: ملف robots.txt يبلغ من العمر 20 عامًا. تكريما لذلك ، وسعت جوجل وظيفة أدوات مشرفي المواقع من خلال إضافة أداة التحقق من ملف robots.txt إلى المجموعة. المسوقين ذوي الخبرة يعرفون جيدًا ما هو الملف وكيفية التعامل معه. مبتدئين سوف تحصل على معلومات أساسية من هذه المادة.

لا أحب أن أقرأ؟ شاهد الفيديو

توجد المزيد من مقاطع الفيديو المفيدة على قناتنا على YouTube. الاشتراك؛)

اذهب الآن إلى النص.

لماذا هناك حاجة إلى ملف robots.txt

يحتوي ملف robots.txt على معلومات تستخدمها برامج البحث عند مسح موقع. على وجه الخصوص ، من ملف robots.txt ، ستكتشف برامج الزحف أقسام الموقع أو أنواع الصفحات أو الصفحات المحددة التي لا ينبغي فحصها. باستخدام الملف الذي تستبعده من فهرس محتوى محركات البحث الذي لا ترغب في عرضه لمحركات البحث. يمكنك أيضًا تعطيل فهرسة المحتوى المكرر.

إذا كنت تستخدم ملف robots.txt بشكل غير صحيح ، فقد يكلفك ذلك غالياً. سيؤدي الحظر الخاطئ المفروض على المسح الضوئي إلى استبعاد الأقسام أو الصفحات أو حتى جميع المحتويات المهمة من الفهرس. في هذه الحالة ، يصعب عليك الاعتماد على الترويج الناجح لموقع الويب.

كيفية العمل مع ملف robots.txt

يحتوي ملف النص robots.txt على إرشادات خاصة بروبوتات محرك البحث. عادةً ما يتم استخدامه لحظر المسح الضوئي لأقسام الخدمة بالموقع أو المحتوى المكرر أو المنشورات غير المخصصة للجمهور بأكمله.

إذا لم تكن بحاجة إلى إغلاق أي محتوى من المسح ، يمكنك ترك ملف robots.txt فارغًا. في هذه الحالة ، يبدو إدخال الملف كما يلي:

وكيل المستخدم: *

عدم السماح:

إذا كنت ستقوم بحظر موقع الروبوتات البحثية لسبب ما ، فسيبدو الإدخال في الملف كما يلي:

وكيل المستخدم: *

عدم السماح: /

لاستخدام ملف robots.txt بشكل صحيح ، يجب أن يكون لديك فكرة عن مستويات التوجيه:

  • مستوى الصفحة. في هذه الحالة ، يبدو التوجيه كما يلي: Disallow: /primerpage.html.
  • مستوى المجلد في هذا المستوى ، تتم كتابة التوجيهات على النحو التالي: Disallow: / example-folder /.
  • مستوى نوع المحتوى على سبيل المثال ، إذا كنت لا ترغب في قيام برامج الروبوت بفهرسة ملفات .pdf ، فاستخدم التوجيه التالي: Disallow: /*.pdf.

كن حذرا

تذكر الأخطاء الأكثر شيوعًا التي واجهتها عند تجميع ملف robots.txt:

  • الحظر الكامل على فهرسة الموقع من خلال محركات البحث

في هذه الحالة ، يبدو التوجيه كما يلي:

وكيل المستخدم: *

عدم السماح: /

لماذا تنشئ موقعًا على الويب إذا لم تسمح لمحركات البحث بالزحف إليه؟ يعد استخدام هذا التوجيه مناسبًا في مرحلة التطوير أو التحسين العالمي للمورد.

  • حظر مسح المحتوى المفهرس

على سبيل المثال ، قد يمنع مسؤول الموقع مسح المجلدات بمقاطع الفيديو والصور:

عدم السماح: / الصور /

عدم السماح: / مقاطع الفيديو /

من الصعب تخيل موقف يكون فيه فرض حظر على فحص المحتوى المفهرس مبررًا. عادة ، تحرم هذه الإجراءات موقع حركة المرور.

  • استخدام سمة تسمح

هذا العمل لا معنى له. محركات البحث بشكل افتراضي تفحص كل المحتوى المتاح. باستخدام ملف robots.txt ، يمكنك تعطيل المسح ، لكنك لست بحاجة إلى السماح بفهرسة أي شيء.

أداة التحقق من ملف Robots.txt

في منتصف يوليو ، قدمت Google أداة للتحقق من ملف robots.txt ، المتاح في اللوحة لمشرفي المواقع. للعثور عليه ، استخدم قائمة "أداة التحقق من موقع شريط الأدوات - المسح - ملف robots.txt".

تحل الأداة الجديدة المهام التالية:

  • يعرض الإصدار الحالي من ملف robots.txt.
  • تحرير والتحقق من صحة ملف robots.txt مباشرة في اللوحة لمشرفي المواقع.
  • عرض إصدارات الملفات القديمة.
  • تحقق من عناوين URL المحظورة.
  • عرض رسائل الخطأ لملف robots.txt.

إذا لم تقم Google بفهرسة الصفحات الفردية أو أقسام كاملة من موقعك ، فستساعدك الأداة الجديدة في التحقق لبضع ثوانٍ ما إذا كان هذا بسبب أخطاء ملف robots.txt. وفقًا لخبير Google Asaf Arnon ، تبرز الأداة توجيهًا محددًا يؤدي إلى حظر فهرسة المحتوى.

يمكنك إجراء تغييرات على ملف robots.txt والتحقق من صحته. للقيام بذلك ، ما عليك سوى تحديد عنوان URL الذي يثير اهتمامك وانقر فوق الزر "التحقق".

يوصي المتحدث باسم Google ، جون ميلر ، جميع مالكي الموقع بفحص ملف robots.txt باستخدام أداة جديدة. وفقًا للخبراء ، بعد قضاء بضع ثوانٍ في التحقق ، يمكن لمشرف الموقع تحديد الأخطاء الحرجة التي تمنع برامج زحف Google.

لاستخدام بشكل صحيح ...

... ملف robots.txt ، تحتاج إلى فهم معناه العملي. يستخدم هذا الملف لتقييد الوصول إلى الموقع لمحركات البحث. إذا كنت تريد منع الروبوتات من مسح الصفحة أو قسم من الموقع أو نوع المحتوى ، فأدخل التوجيه المناسب إلى ملف robots.txt. تحقق من استخدام الملف بشكل صحيح مع الأداة الجديدة المتاحة في لوحة مشرفي المواقع من Google. سيساعدك هذا في اكتشاف الأخطاء والقضاء عليها بسرعة ، وكذلك إجراء التغييرات اللازمة على ملف robots.txt.

#
أدوات تسويق محرك البحث

شاهد الفيديو: حول ملف وكيفية إنشائه أو التعديل عليه في أي موقع (ديسمبر 2019).

Loading...

ترك تعليقك