Noindex Nofollow و Disallow: توجيهات بحث الزاحف

إذا كنت تحاول إزالة صفحة من البحث عن موقع لا تملكه ، فيمكنك مطالبة Google بإزالة الصفحة من البحث إذا كانت تفي بالمعايير التالية:

• يعرض معلومات شخصية مثل بطاقة الائتمان أو رقم الضمان الاجتماعي
• الصفحة جزء من برنامج ضار أو مخطط تصيد
• الصفحة تنتهك القانون
• الصفحة تنتهك حقوق التأليف والنشر

إذا كانت الصفحة لا تفي بأحد المعايير المذكورة أعلاه ، يمكنك الاتصال بشركة تحسين محركات البحث أو شركة العلاقات العامة للمساعدة في إدارة السمعة عبر الإنترنت.

يجب عليك noindex صفحات الفئة؟

لا يُنصح عادةً بصفحات فئة noindex ، إلا إذا كنت مؤسسة على مستوى المؤسسة تقوم بتدوير صفحات الفئات برمجيًا استنادًا إلى عمليات البحث أو العلامات التي ينشئها المستخدم ويصبح المحتوى المكرر غير عملي.

بالنسبة للجزء الأكبر ، إذا كنت تقوم بوضع علامات على المحتوى الخاص بك بذكاء ، بطريقة تساعد المستخدمين على التنقل بشكل أفضل في موقعك والعثور على ما يحتاجون إليه ، فستكون بخير.

في الواقع ، يمكن أن تكون صفحات الفئات بمثابة مناجم ذهبية لكبار المسئولين الاقتصاديين لأنها تظهر عادةً عمق المحتوى ضمن موضوعات الفئة.

ألق نظرة على هذا التحليل الذي أجريناه في ديسمبر 2018 لتحديد قيمة صفحات الفئات لعدد قليل من المنشورات عبر الإنترنت.

لقد وجدنا أن الصفحات المقصودة للفئة مرتبة لمئات الكلمات الرئيسية للصفحة 1 ، وجلبت الآلاف من الزوار العضويين كل شهر.

غالبًا ما تجلب صفحات الفئات الأكثر قيمة لكل موقع الآلاف من الزوار العضويين لكل منها.

ألق نظرة على EW.com أدناه ، وقمنا بقياس حركة المرور إلى كل صفحة (ممثلة بحجم الدائرة) وقيمة حركة المرور إلى كل صفحة (ممثلة بلون الدائرة).

تخيل الآن الرسوم البيانية نفسها ، ولكن بالنسبة للمواقع القائمة على المنتجات حيث من المحتمل أن يقوم الزوار بعمليات شراء نشطة.

ومع ذلك ، إذا كانت فئاتك متشابهة بما يكفي لإرباك المستخدم أو التنافس مع بعضها البعض في البحث ، فقد تحتاج إلى إجراء تغيير:

• إذا كنت تقوم بتعيين الفئات بنفسك ، فإننا نوصي بترحيل المحتوى من فئة إلى أخرى وتقليل العدد الإجمالي للفئات لديك بشكل عام.
• إذا كنت تسمح للمستخدمين بتدوير الفئات ، فقد ترغب في عدم فهرسة صفحات الفئات التي أنشأها المستخدم ، على الأقل حتى تخضع الفئات الجديدة لعملية مراجعة.

كيف أمنع Google من فهرسة النطاقات الفرعية؟

هناك بعض الخيارات لمنع Google من فهرسة النطاقات الفرعية:

• يمكنك إضافة كلمة مرور باستخدام ملف .htpasswd
• يمكنك عدم السماح لبرامج الزحف باستخدام ملف robots.txt
• يمكنك إضافة أمر noindex إلى كل صفحة في النطاق الفرعي
• يمكنك 404 جميع صفحات النطاق الفرعي

إضافة كلمة مرور لحظر الفهرسة

إذا كانت نطاقاتك الفرعية لأغراض التطوير ، فإن إضافة ملف .htpasswd إلى الدليل الجذر لنطاقك الفرعي هو الخيار الأمثل. سيمنع جدار تسجيل الدخول برامج الزحف من فهرسة المحتوى على النطاق الفرعي ، كما سيمنع وصول المستخدم غير المصرح به.

أمثلة على حالات الاستخدام:

• Dev.domain.com
• Staging.domain.com
• Testing.domain.com
• QA.domain.com
• UAT.domain.com

استخدام ملف robots.txt لحظر الفهرسة

إذا كانت المجالات الفرعية الخاصة بك تخدم أغراضًا أخرى ، فيمكنك إضافة ملف robots.txt إلى الدليل الجذر لنطاقك الفرعي. يجب أن يكون الوصول إليها كما يلي:

https://subdomain.domain.com/robots.txt

ستحتاج إلى إضافة ملف robots.txt إلى كل مجال فرعي تحاول منعه من البحث. مثال:

https://help.domain.com/robots.txt

https://public.domain.com/robots.txt

في كل حالة يجب أن لا يسمح ملف robots.txt لبرامج الزحف ، ولحظر معظم برامج الزحف بأمر واحد ، استخدم الشفرة التالية:

وكيل المستخدم: *

عدم السماح: /

النجمة * بعد وكيل المستخدم: تسمى حرف البدل ، وسوف تتطابق مع أي تسلسل من الأحرف. سيؤدي استخدام حرف بدل إلى إرسال الأمر disallow التالي إلى جميع وكلاء المستخدم بغض النظر عن أسمائهم ، من googlebot إلى yandex.

تُخبر الشرطة المائلة للخلف الزاحف أن جميع الصفحات خارج النطاق الفرعي مضمنة في الأمر disallow.

كيفية حظر فهرسة صفحات النطاق الفرعي بشكل انتقائي

إذا كنت ترغب في ظهور بعض الصفحات من نطاق فرعي في البحث دون غيرها ، فلديك خياران:

• استخدم توجيهات noindex على مستوى الصفحة
• استخدام مجلد أو توجيهات عدم السماح على مستوى الدليل

ستكون توجيهات noindex على مستوى الصفحة أكثر صعوبة في التنفيذ ، حيث يجب إضافة التوجيه إلى HTML أو رأس كل صفحة. ومع ذلك ، ستمنع توجيهات noindex Google من فهرسة نطاق فرعي سواء تمت فهرسة النطاق الفرعي أم لا.

من الأسهل تنفيذ أوامر عدم السماح على مستوى الدليل ، ولكنها لن تعمل إلا إذا لم تكن صفحات النطاق الفرعي موجودة في فهرس البحث بالفعل. ما عليك سوى تحديث ملف robots.txt للنطاق الفرعي لمنع الزحف إلى الأدلة أو المجلدات الفرعية السارية.

كيف يمكنني معرفة ما إذا كانت صفحاتي غير مفهرسة؟

يمكن أن تؤدي إضافة صفحات توجيه بدون فهرس على موقعك إلى عواقب وخيمة على تصنيفات البحث ورؤية البحث.

إذا وجدت أن إحدى الصفحات لا ترى أي حركة مرور عضوية على الرغم من المحتوى الجيد والروابط الخلفية ، فتحقق أولاً من أنك لم تمنع برامج الزحف عن طريق الخطأ من ملف robots.txt الخاص بك. إذا لم يؤد ذلك إلى حل مشكلتك ، فستحتاج إلى التحقق من الصفحات الفردية بحثًا عن توجيهات noindex.

التحقق من NoIndex على صفحات WordPress

يجعل WordPress من السهل إضافة أو إزالة هذه العلامة على صفحاتك. الخطوة الأولى في التحقق من nofollow على صفحاتك هي ببساطة تبديل إعداد رؤية محرك البحث ضمن علامة التبويب "القراءة" في قائمة "الإعدادات".

من المحتمل أن يؤدي هذا إلى حل المشكلة ، ولكن هذا الإعداد يعمل كـ "اقتراح" وليس قاعدة ، وقد ينتهي الأمر بفهرسة بعض المحتوى الخاص بك على أي حال.

لضمان الخصوصية المطلقة لملفاتك ومحتوياتك ، سيتعين عليك اتخاذ خطوة أخيرة إما باستخدام كلمة مرور لحماية موقعك باستخدام أدوات إدارة cPanel ، إذا كانت متوفرة ، أو من خلال مكون إضافي بسيط.

وبالمثل ، يمكن إزالة هذه العلامة من المحتوى الخاص بك عن طريق إزالة حماية كلمة المرور وإلغاء تحديد إعداد الرؤية.

التحقق من NoIndex على Squarespace

يتم أيضًا فهرسة صفحات Squarespace بسهولة باستخدام إمكانية حقن رمز النظام الأساسي. مثل WordPress ، يمكن بسهولة حظر Squarespace من عمليات البحث الروتينية باستخدام حماية كلمة المرور ، ولكن النظام الأساسي ينصح أيضًا بعدم اتخاذ هذه الخطوة لحماية سلامة المحتوى الخاص بك.

من خلال إضافة سطر كود NoIndex داخل كل صفحة تريد إخفاءها من محركات البحث على الإنترنت وإلى كل صفحة فرعية أسفلها ، يمكنك ضمان سلامة المحتوى الآمن الذي يجب منعه من الوصول العام. مثل الأنظمة الأساسية الأخرى ، فإن إزالة هذه العلامة أمر بسيط أيضًا: ببساطة استخدام ميزة Code Injection لإخراج الشفرة مرة أخرى هو كل ما عليك القيام به.

تعتبر Squarespace فريدة من نوعها من حيث أن منافسيها يقدمون هذا الخيار بشكل أساسي كجزء من مجموعة الإعدادات في أدوات إدارة الصفحة. يغادر Squarespace هنا ، مما يسمح بالتلاعب الشخصي بالشفرة. هذا مثير للاهتمام لأنك قادر على رؤية التغيير الذي تقوم بإجرائه على محتوى صفحتك ، على عكس الآخرين في هذه المساحة.

التحقق من NoIndex على Wix

يسمح Wix أيضًا بإصلاح بسيط وسريع لمشكلات NoIndexing. في إعدادات "القوائم والصفحات" ، يمكنك ببساطة إلغاء تنشيط خيار "إظهار هذه الصفحة في نتائج البحث" إذا كنت تريد NoIndex صفحة واحدة داخل موقعك.

كما هو الحال مع منافسيها ، تقترح Wix أيضًا حماية كلمة المرور لصفحاتك أو الموقع بأكمله لمزيد من الخصوصية. ومع ذلك ، ينحرف Wix عن الآخرين من حيث أن فريق الدعم لا يصف إجراءً موازيًا على كلا الجبهتين من أجل تأمين المحتوى من الزاحف. يقدم Wix ملاحظة خاصة حول الاختلاف بين إخفاء صفحة من قائمتك وإخفائها من معايير البحث.

هذه نصيحة مفيدة بشكل خاص لمنشئي مواقع الويب الأقل خبرة والذين قد لا يفهمون في البداية الاختلاف مع الأخذ في الاعتبار أن الإزالة من قائمة موقعك تجعل الصفحة غير قابلة للوصول من الموقع ، ولكن ليس من خلال مصطلح بحث Google حكيم.