يعد تحليل ميزانية الزحف من بين واجبات الوظيفة لأي خبير تحسين محركات البحث (خاصةً إذا كان يتعامل مع مواقع ويب كبيرة). مهمة مهمة ، تمت تغطيتها بشكل لائق في المواد المقدمة من Google. ومع ذلك ، كما ترى على Twitter ، حتى موظفي Google يقللون من أهمية دور الزحف إلى الميزانية في الحصول على حركة مرور وترتيب أفضل:

هل هم محقون في هذا؟

كيف يعمل Google ويجمع البيانات؟

عندما نتطرق إلى الموضوع ، دعنا نتذكر كيف يجمع محرك البحث المعلومات ويفهرسها وينظمها. يعد الحفاظ على هذه الخطوات الثلاث في زاوية عقلك أمرًا ضروريًا أثناء عملك اللاحق على موقع الويب:

الخطوة 1: الزحف . البحث عن الموارد عبر الإنترنت بغرض اكتشاف - والتنقل عبر - جميع الروابط والملفات والبيانات الموجودة. بشكل عام ، تبدأ Google بالأماكن الأكثر شيوعًا على الويب ، ثم تتابع فحص الموارد الأخرى الأقل شيوعًا.

الخطوة 2: الفهرسة . يحاول Google تحديد موضوع الصفحة وما إذا كان المحتوى / المستند قيد التحليل يشكل مادة فريدة أو مكررة. في هذه المرحلة ، يعمل Google على تجميع المحتوى وإنشاء ترتيب للأهمية (من خلال قراءة الاقتراحات في العلامات rel = ”canonical” أو rel = ”alternate” أو غير ذلك).

الخطوة الثالثة: التقديم . بمجرد تقسيم البيانات وفهرستها ، يتم عرضها استجابةً لاستفسارات المستخدم. يحدث هذا أيضًا عندما تفرز Google البيانات حسب الاقتضاء ، من خلال مراعاة عوامل مثل موقع المستخدم.

هام: العديد من المواد المتاحة تتجاهل الخطوة 4: تقديم المحتوى . بشكل افتراضي ، يقوم Googlebot بفهرسة محتوى النص. ومع ذلك ، مع استمرار تطور تقنيات الويب ، كان على Google ابتكار حلول جديدة للتوقف عن "القراءة" فقط والبدء في "المشاهدة" أيضًا. هذا ما هو كل شيء عن التصيير. إنه يخدم Google لتحسين وصوله إلى حد كبير بين مواقع الويب التي تم إطلاقها حديثًا وتوسيع الفهرس.

ملاحظة : قد تكون المشكلات المتعلقة بعرض المحتوى هي سبب فشل ميزانية الزحف.

ما هي ميزانية الزحف؟

ميزانية الزحف ليست سوى التكرار الذي يمكن لبرامج الزحف ومحركات البحث من خلاله فهرسة موقع الويب الخاص بك ، بالإضافة إلى العدد الإجمالي لعناوين URL التي يمكنهم الوصول إليها في عملية زحف واحدة. تخيل ميزانية الزحف الخاصة بك كأرصدة يمكنك إنفاقها في خدمة أو تطبيق. إذا كنت لا تتذكر "تحصيل" ميزانية الزحف الخاصة بك ، فسوف يتباطأ الروبوت ويدفع لك زيارات أقل.

في مُحسّنات محرّكات البحث ، يشير مصطلح "الشحن" إلى العمل المبذول في الحصول على روابط خلفية أو تحسين الشعبية العامة لموقع الويب. وبالتالي ، فإن ميزانية الزحف هي جزء لا يتجزأ من النظام البيئي الكامل للويب. عندما تقوم بعمل جيد على المحتوى والروابط الخلفية ، فإنك ترفع حد ميزانية الزحف المتاحة لديك.

في مواردها ، لا تقوم Google بأي مجازفة لتعريف ميزانية الزحف بشكل صريح. بدلاً من ذلك ، فإنه يشير إلى مكونين أساسيين للزحف يؤثران على شمولية Googlebot وتكرار زياراته:

• حد معدل الزحف ؛
• طلب الزحف.

ما هو حد معدل الزحف وكيفية التحقق منه؟

بعبارات أبسط ، حد معدل الزحف هو عدد الاتصالات المتزامنة التي يمكن لبرنامج Googlebot إنشاؤها عند الزحف إلى موقعك. نظرًا لأن Google لا تريد الإضرار بتجربة المستخدم ، فإنها تحد من عدد الاتصالات للحفاظ على الأداء السلس لموقع الويب / الخادم الخاص بك. باختصار ، كلما كان موقع الويب الخاص بك أبطأ ، قل حد معدل الزحف لديك.

هام: يعتمد حد الزحف أيضًا على صحة مُحسّنات محرّكات البحث الإجمالية لموقعك على الويب - إذا أطلق موقعك العديد من عمليات إعادة التوجيه ، أو أخطاء 404/410 ، أو إذا كان الخادم غالبًا ما يعرض رمز الحالة 500 ، فسينخفض ​​عدد الاتصالات أيضًا.

يمكنك تحليل بيانات حد معدل الزحف بالمعلومات المتوفرة في Google Search Console ، في تقرير إحصائيات الزحف .

طلب الزحف ، أو شعبية موقع الويب

بينما يتطلب منك حد معدل الزحف صقل التفاصيل الفنية لموقعك على الويب ، فإن الزحف يكافئك على شعبية موقعك على الويب. بشكل تقريبي ، كلما زاد الضجيج حول موقع الويب الخاص بك (وعليه) ، زاد الطلب على الزحف.

في هذه الحالة ، تقوم Google بتقييم مشكلتين:

1. الشعبية العامة - إن Google أكثر حرصًا على إجراء عمليات زحف متكررة لعناوين URL التي تحظى بشعبية عامة على الإنترنت (وليس بالضرورة تلك التي تحتوي على روابط خلفية من أكبر عدد من عناوين URL).
2. حداثة بيانات الفهرس - تسعى Google جاهدة لتقديم أحدث المعلومات فقط. هام: لا يعني إنشاء المزيد والمزيد من المحتوى الجديد أن الحد الإجمالي لميزانية الزحف لديك يرتفع.

العوامل المؤثرة على ميزانية الزحف

في القسم السابق ، قمنا بتعريف ميزانية الزحف على أنها مزيج من حد معدل الزحف وطلب الزحف. ضع في اعتبارك أنك بحاجة إلى الاهتمام بكليهما ، في وقت واحد ، لضمان الزحف المناسب (وبالتالي الفهرسة) لموقع الويب الخاص بك.

ستجد أدناه قائمة بسيطة بالنقاط التي يجب مراعاتها أثناء تحسين ميزانية الزحف

• الخادم - القضية الرئيسية هي الأداء. كلما انخفضت سرعتك ، زادت مخاطر قيام Google بتعيين موارد أقل لفهرسة المحتوى الجديد الخاص بك.
• رموز استجابة الخادم - كلما زاد عدد عمليات إعادة التوجيه 301 والأخطاء 404/410 على موقع الويب الخاص بك ، كانت نتائج الفهرسة أسوأ ستحصل عليها. هام: كن على اطلاع على حلقات إعادة التوجيه - كل "قفزة" تقلل من حد معدل الزحف لموقعك على الويب للزيارة التالية للروبوت.
• الكتل في ملف robots.txt - إذا كنت تستند إلى توجيهات ملف robots.txt الخاصة بك على أساس الشعور الغريزي ، فقد ينتهي بك الأمر إلى إنشاء اختناقات في الفهرسة. النتيجة النهائية: ستقوم بتنظيف الفهرس ، ولكن على حساب فعالية الفهرسة الخاصة بك للصفحات الجديدة (عندما تم تضمين عناوين URL المحظورة بقوة في بنية موقع الويب بالكامل).
• التنقل الأوجه / معرفات الجلسة / أي معلمات في عناوين URL - والأهم من ذلك ، احترس من المواقف التي قد يتم فيها إضافة معلمات لعنوان مع معلمة واحدة ، بدون قيود. إذا حدث ذلك ، فستصل Google إلى عدد لا حصر له من العناوين ، وتنفق جميع الموارد المتاحة على الأجزاء الأقل أهمية من موقعنا على الويب.
• محتوى مكرر - المحتوى المنسوخ (بصرف النظر عن تفكيك المحتوى) يضر بشكل كبير بفاعلية فهرسة المحتوى الجديد.
• المحتوى الرقيق - يحدث عندما تحتوي الصفحة على نسبة منخفضة جدًا من النص إلى HTML. نتيجة لذلك ، قد تحدد Google الصفحة على أنها ما يسمى Soft 404 وتقييد فهرسة محتواها (حتى عندما يكون المحتوى ذا مغزى ، وقد يكون هذا هو الحال ، على سبيل المثال ، على صفحة الشركة المصنعة التي تقدم منتجًا واحدًا وليس فريدًا محتوى النص).
• ضعف الربط الداخلي أو عدمه .

أدوات مفيدة لتحليل الميزانية الزحف

نظرًا لعدم وجود معيار معياري لميزانية الزحف (مما يعني أنه من الصعب مقارنة الحدود بين مواقع الويب) ، استعد لمجموعة من الأدوات المصممة لتسهيل جمع البيانات وتحليلها.

جوجل Search Console

نمت GSC بشكل جيد على مر السنين. أثناء تحليل ميزانية الزحف ، هناك تقريران رئيسيان يجب أن ننظر فيهما: تغطية الفهرس وإحصائيات الزحف.

تغطية الفهرس في GSC

التقرير هو مصدر بيانات ضخم. دعنا نتحقق من المعلومات المتعلقة بعناوين URL المستبعدة من الفهرسة. إنها طريقة رائعة لفهم حجم المشكلة التي تواجهها.

تتطلب التقارير بأكملها مقالة منفصلة ، لذلك دعونا الآن نركز على المعلومات التالية:

• تم الاستبعاد بعلامة "noindex" - بشكل عام ، يعني المزيد من صفحات noindex حركة مرور أقل. الذي يطرح السؤال - ما الهدف من إبقائهم على الموقع؟ كيف تقيد الوصول إلى هذه الصفحات؟
• تم الزحف إليه - غير مفهرس حاليًا - إذا رأيت ذلك ، فتحقق مما إذا كان يتم عرض المحتوى بشكل صحيح في عيون Googlebot. تذكر أن كل عنوان URL بهذه الحالة يهدر ميزانية الزحف الخاصة بك لأنه لا ينتج عنه حركة مرور عضوية.
• تم اكتشاف - غير مفهرسة حاليًا - واحدة من أكثر المشكلات إثارة للقلق والتي تستحق وضعها في أعلى قائمة أولوياتك.
• نسخة مكررة بدون النسخة الأساسية التي يختارها المستخدم - جميع الصفحات المكررة خطيرة للغاية لأنها لا تضر فقط بميزانية الزحف الخاصة بك بل تزيد أيضًا من خطر تفكيكها.
• مكرر ، اختار Google أساسيًا مختلفًا عن المستخدم - نظريًا ، لا داعي للقلق. بعد كل شيء ، يجب أن تكون Google ذكية بما يكفي لاتخاذ قرار سليم بدلاً منا. حسنًا ، في الواقع ، تختار Google عناوينها الأساسية بشكل عشوائي تمامًا - غالبًا ما تقطع الصفحات القيمة بتوجيه أساسي إلى الصفحة الرئيسية.
• Soft 404 - جميع الأخطاء "الناعمة" خطيرة للغاية لأنها قد تؤدي إلى إزالة الصفحات الهامة من الفهرس.
• عنوان URL مكرر تم إرساله ولم يتم تحديده كعنوان أساسي - على غرار تقرير الحالة عن عدم وجود عناوين URL الأساسية التي يختارها المستخدم.

احصائيات الزحف

التقرير ليس مثاليًا وبقدر ما تذهب التوصيات ، أقترح بشدة اللعب أيضًا بسجلات الخادم القديمة الجيدة ، والتي تعطي نظرة أعمق على البيانات (والمزيد من خيارات النمذجة).

كما قلت سابقًا ، ستواجه صعوبة في البحث عن معايير للأرقام أعلاه. ومع ذلك ، من الجيد إلقاء نظرة فاحصة على:

• متوسط ​​وقت التنزيل. توضح لقطة الشاشة أدناه أن متوسط ​​وقت الاستجابة قد حصل على نتيجة مثيرة ، والتي كانت بسبب مشاكل متعلقة بالخادم:

• استجابات الزحف. انظر إلى التقرير بشكل عام لمعرفة ما إذا كانت لديك مشكلة في موقع الويب الخاص بك أم لا. انتبه جيدًا لرموز حالة الخادم غير النمطية ، مثل الرموز 304 أدناه. لا تخدم عناوين URL هذه أي غرض وظيفي ، إلا أن Google تهدر مواردها في الزحف عبر محتوياتها.

• الغرض من الزحف. بشكل عام ، تعتمد هذه البيانات إلى حد كبير على حجم المحتوى الجديد على الموقع. يمكن أن تكون الاختلافات بين المعلومات التي جمعتها Google والمستخدم رائعة للغاية:

محتويات عنوان URL المعاد الزحف إليه في عيون Google:

في غضون ذلك ، إليك ما يراه المستخدم في المتصفح:

بالتأكيد سبب للفكر والتحليل :)

• نوع Googlebot . هنا لديك الروبوتات التي تزور موقع الويب الخاص بك على طبق فضي ، جنبًا إلى جنب مع دوافعهم لتحليل المحتوى الخاص بك. توضح لقطة الشاشة أدناه أن 22٪ من الطلبات تشير إلى تحميل موارد الصفحة.

تضخم الإجمالي في الأيام الأخيرة من الإطار الزمني:

تكشف نظرة على التفاصيل عن عناوين URL التي تتطلب اهتمامًا أكبر:

برامج الزحف الخارجية (مع أمثلة من Screaming Frog SEO Spider)

تعد برامج الزحف من بين أهم الأدوات لتحليل ميزانية الزحف لموقعك على الويب. الغرض الأساسي منها هو تقليد حركات الزحف على موقع الويب. تظهر لك المحاكاة في لمحة ما إذا كان كل شيء يسير بسلاسة.

إذا كنت متعلمًا بصريًا ، فيجب أن تعلم أن معظم الحلول المتاحة في السوق تقدم تصورات للبيانات.

في المثال أعلاه ، تشير النقاط الحمراء إلى الصفحات غير المفهرسة. خذ بعض الوقت للنظر في فائدتها وتأثيرها على تشغيل الموقع. إذا كشفت سجلات الخادم أن هذه الصفحات تضيع الكثير من وقت Google بينما لا تضيف أي قيمة - فقد حان الوقت لإعادة النظر بجدية في نقطة الاحتفاظ بها على موقع الويب.

هام : إذا أردنا إعادة إنشاء سلوك Googlebot بأكبر قدر ممكن من الدقة ، فإن الإعدادات الصحيحة أمر لا بد منه. يمكنك هنا مشاهدة نماذج الإعدادات من جهاز الكمبيوتر الخاص بي:

عند إجراء تحليل متعمق ، من الجيد اختبار وضعين - نص فقط ، ولكن أيضًا جافا سكريبت - لمقارنة الاختلافات (إن وجدت).

أخيرًا ، لا يضر اختبار الإعداد المقدم أعلاه على اثنين من وكلاء المستخدم المختلفين:

في معظم الحالات ، ستحتاج فقط إلى التركيز على النتائج التي تم الزحف إليها / عرضها بواسطة وكيل الجوال.

هام: أقترح أيضًا استغلال الفرصة التي يوفرها Screaming Frog وإطعام الزاحف ببيانات من GA و Google Search Console. يعد الدمج طريقة سريعة لتحديد إهدار ميزانية الزحف ، مثل مجموعة كبيرة من عناوين URL التي يحتمل أن تكون زائدة عن الحاجة والتي لا تتلقى أي زيارات.

أدوات لتحليل السجل (Screaming Frog Logfile وغيرها)

يعد اختيار محلل سجل الخادم مسألة تفضيل شخصي. أداة go-to الخاصة بي هي محلل ملفات سجل الضفدع الصراخ. قد لا يكون هذا هو الحل الأكثر فعالية (تحميل حزمة ضخمة من السجلات = تعليق التطبيق) ، لكني أحب الواجهة. الجزء المهم هو أن تطلب من النظام عرض Googlebots التي تم التحقق منها فقط.

أدوات لتتبع الرؤية

مساعدة مفيدة ، لأنها تتيح لك تحديد أهم صفحاتك. إذا كانت الصفحة تحتل مرتبة عالية بالنسبة للعديد من الكلمات الرئيسية في Google (= تتلقى عددًا كبيرًا من الزيارات) ، فمن المحتمل أن يكون لها طلب أكبر على الزحف (تحقق من ذلك في السجلات - هل حقًا ينتج Google المزيد من الزيارات لهذه الصفحة المعينة؟).

لأغراضنا ، سنحتاج إلى تقارير عامة في Senuto - المسارات وعناوين URL - للمراجعة المستمرة في المستقبل. يتوفر كلا التقريرين في "تحليل الرؤية" ، علامة التبويب "الأقسام". الق نظرة:

النقطة الأساسية التي تهمنا هي التقرير الثاني. دعونا نفرزها للنظر في رؤية الكلمات الرئيسية الخاصة بنا (القائمة والعدد الإجمالي للكلمات الرئيسية التي يصنفها موقعنا في أعلى 10). ستفيدنا النتائج في تحديد المحور الرئيسي للتحفيز (والتخصيص الفعال) لميزانية الزحف الخاصة بنا.

أدوات لتحليل الروابط الخلفية (Ahrefs ، Majestic)

إذا كانت إحدى صفحاتك تحتوي على عدد كبير من الروابط الواردة ، فاستخدمها كأساس لاستراتيجية تحسين ميزانية الزحف. يمكن للصفحات الشعبية أن تأخذ دور المحاور التي تنقل العصير بشكل أكبر. بالإضافة إلى ذلك ، فإن الصفحة الشائعة التي تحتوي على مجموعة مناسبة من الروابط القيمة تتمتع بفرصة أفضل لجذب عمليات الزحف المتكررة.

في Ahrefs ، نحتاج إلى تقرير الصفحات ، وعلى وجه الدقة ، جزء منه بعنوان: "الأفضل من خلال الروابط":

يوضح المثال أعلاه أن بعض LPs المرتبطين بالحفل الموسيقي استمروا في إنشاء إحصائيات قوية للروابط الخلفية. حتى مع إلغاء جميع الحفلات الموسيقية بسبب الوباء ، لا يزال من المجدي استخدام صفحات قوية تاريخيًا لإثارة فضول الزحف إلى الروبوتات ونشر العصير في الزوايا العميقة لموقع الويب الخاص بك.

ما هي العلامات الدالة على مشكلة ميزانية الزحف؟

إن إدراك أنك تتعامل مع ميزانية زحف إشكالية (منخفضة للغاية) ليس بالأمر السهل. لماذا ا؟ بشكل أساسي ، لأن مُحسّنات محرّكات البحث هي مشروع معقد للغاية. قد تكون الرتب المنخفضة أو مشكلات الفهرسة نتيجة لملف تعريف ارتباط متوسط ​​أو عدم وجود محتوى مناسب على موقع الويب.

عادةً ما يتضمن تشخيص ميزانية الزحف التحقق من:

• كم من الوقت يمر من النشر إلى فهرسة الصفحات الجديدة (منشورات المدونة / المنتجات) ، على افتراض أنك لا تطلب الفهرسة من خلال Google Search Console؟
• ما المدة التي يحتفظ بها Google بعناوين URL غير الصالحة في فهرسها؟ هام: العناوين المعاد توجيهها استثناء - تقوم Google بتخزينها عن قصد.
• هل لديك صفحات تدخل في الفهرس ليتم حذفها لاحقًا؟
• كم من الوقت تقضيه Google على الصفحات التي تفشل في توليد قيمة (حركة المرور)؟ انتقل إلى تحليل السجل لمعرفة ذلك.

كيفية تحليل وتحسين ميزانية الزحف؟

يتم تحديد قرار الانغماس في تحسين ميزانية الزحف بشكل أساسي من خلال حجم موقع الويب الخاص بك. تقترح Google أنه بشكل عام ، يجب ألا تتألم مواقع الويب التي تقل عن 1000 صفحة بشأن تحقيق أقصى استفادة من حدود الزحف المتاحة. في كتابي ، يجب أن تبدأ القتال من أجل زحف أكثر كفاءة وفعالية إذا كان موقع الويب الخاص بك يتضمن أكثر من 300 صفحة وكان المحتوى الخاص بك يتغير ديناميكيًا (على سبيل المثال ، تستمر في إضافة صفحات / منشورات مدونة جديدة).

لماذا ا؟ إنها مسألة نظافة SEO. قم بتنفيذ عادات التحسين الجيدة وإدارة ميزانية الزحف السليمة في الأيام الأولى ، وسيكون لديك القليل لتصحيحه وإعادة تصميمه في المستقبل.

تحسين ميزانية الزحف. إجراء قياسي

بشكل عام ، يتكون العمل على تحليل ميزانية الزحف وتحسينها من ثلاث مراحل:

1. جمع البيانات ، وهي عملية تجميع كل ما نعرفه عن الموقع - من مشرفي المواقع والأدوات الخارجية.
2. تحليل الرؤية وتحديد الثمار المنخفضة المعلقة. ما الذي يعمل كالساعة؟ ماذا يمكن أن يكون أفضل؟ ما هي المجالات التي لديها أعلى احتمالية للنمو؟
3. توصيات لميزانية الزحف.

جمع البيانات لتدقيق ميزانية الزحف

1. زحف كامل إلى موقع الويب يتم إجراؤه باستخدام إحدى الأدوات المتاحة تجاريًا. الهدف هو إكمال ما لا يقل عن عمليتي زحف: الأولى تحاكي Googlebot ، بينما تجلب الأخرى موقع الويب كوكيل مستخدم افتراضي (سيفعل وكيل مستخدم المتصفح ذلك). في هذه المرحلة ، أنت مهتم فقط بتنزيل 100٪ من المحتوى . إذا لاحظت أن الزاحف دخل في حلقة (عندما ، بعد يوم من الزحف ، لا يزال لدينا 10٪ فقط من موقع الويب على محرك الأقراص الثابتة لدينا) - دعنا نعرف أن هناك مشكلة ويمكنك إيقاف الزحف. عدد معقول من عناوين URL للتحليل ، في حالة المواقع الكبيرة ، هو حوالي 250-300 ألف صفحة.

أ) ما نبحث عنه هو في الأساس عمليات إعادة توجيه 301 داخلية ، وأخطاء 404 ، ولكن أيضًا المواقف التي يمكن فيها تصنيف نصوصك على أنها محتوى رقيق. لدى Screaming Frog خيار الكشف عن المحتوى المكرر القريب:

2. سجلات الخادم . يجب أن يمتد الإطار الزمني المثالي للشهر الماضي ، ومع ذلك ، في حالة المواقع الكبيرة ، قد يكون الأسبوعان الماضيان كافيين. في أفضل السيناريوهات ، يجب أن يكون لدينا وصول إلى سجلات الخادم السابقة لمقارنة تحركات Googlebot في الوقت الذي كان كل شيء يسير فيه بسلاسة.

3. تصدير البيانات من Google Search Console . بالاقتران مع النقطتين 1 و 2 أعلاه ، يجب أن تمنحك البيانات من "تغطية الفهرس" وإحصاءات الزحف حسابًا شاملاً تمامًا لجميع الأحداث على موقع الويب الخاص بك.

4. بيانات حركة المرور العضوية . أهم الصفحات على النحو الذي تحدده Google Search Console و Google Analytics وكذلك Senuto و Ahrefs. نريد تحديد جميع الصفحات التي تبرز بين الحشود بإحصائياتها عالية الوضوح ، أو حجم حركة المرور ، أو عدد الروابط الخلفية. يجب أن تصبح هذه الصفحات العمود الفقري لعملك على ميزانية الزحف. سنستخدمها لتحسين الزحف إلى أهم الصفحات.

5. المراجعة اليدوية للفهرس . في بعض الحالات ، يكون أفضل صديق لخبير تحسين محركات البحث هو حل بسيط. في هذه الحالة: مراجعة للبيانات مأخوذة مباشرة من الفهرس! إنها مكالمة جيدة للتحقق من موقع الويب الخاص بك باستخدام مجموعة السرد من inurl: + الموقع: المشغلون.أخيرًا ، نحتاج إلى دمج جميع البيانات التي تم جمعها. عادةً ، سنستخدم زاحفًا خارجيًا مع ميزات تسمح باستيراد البيانات الخارجية (بيانات GSC ، وسجلات الخادم ، وبيانات حركة المرور العضوية).

تحليل الرؤية وثمار معلقة منخفضة

تتطلب العملية مقالة منفصلة ، ولكن هدفنا اليوم هو الحصول على نظرة شاملة لأهدافنا للموقع والتقدم المحرز. نحن مهتمون بكل شيء خارج عن المألوف: الانخفاض المفاجئ في حركة المرور (لا يمكن تفسيره بالاتجاهات الموسمية) والتحولات المتزامنة في الرؤية العضوية. نحن نتحقق من مجموعات الصفحات الأقوى لأنها ستصبح HUBS لدفع Googlebot بشكل أعمق إلى موقعنا على الويب.

في العالم المثالي ، يجب أن يغطي هذا الفحص التاريخ الكامل لموقعنا على الويب منذ إطلاقه. ومع ذلك ، مع تزايد حجم البيانات كل شهر ، دعونا نركز على تحليل الرؤية وحركة المرور العضوية من فترة الـ 12 شهرًا الماضية.

ميزانية الزحف - توصياتنا

ستختلف الأنشطة المذكورة أعلاه اعتمادًا على حجم موقع الويب المحسَّن. ومع ذلك ، فهي أهم العناصر التي أعتبرها دائمًا عند إجراء تحليل ميزانية الزحف. الهدف الرئيسي هو القضاء على الاختناقات على موقع الويب الخاص بك. بمعنى آخر ، لضمان أقصى قدر من الزحف لبرنامج Googlebots (أو وكلاء الفهرسة الآخرين).

1. لنبدأ من الأساسيات - التخلص من جميع أنواع الأخطاء 404/410 ، وتحليل عمليات إعادة التوجيه الداخلية وإزالتها من الارتباط الداخلي . يجب أن ننهي عملنا بالزحف النهائي. هذه المرة ، يجب أن تعرض جميع الروابط رمز استجابة 200 ، بدون عمليات إعادة توجيه داخلية أو أخطاء 404.

• في هذه المرحلة ، من الجيد تصحيح جميع سلاسل إعادة التوجيه التي تم اكتشافها في تقرير الروابط الخلفية.

2. بعد الزحف ، تأكد من أن بنية موقعنا على الويب خالية من التكرارات الصارخة .

• تحقق أيضًا من إمكانية تفكيكها - بصرف النظر عن المشكلات الناشئة عن استهداف نفس الكلمة الرئيسية بصفحات متعددة (باختصار ، تتوقف عن التحكم في الصفحة التي سيتم عرضها بواسطة Google) ، يؤثر تفكيك هذه الصفحة سلبًا على ميزانية الزحف بالكامل.
• دمج التكرارات التي تم تحديدها في عنوان URL واحد (عادةً ما يحتل مرتبة أعلى).

3. تحقق من عدد عناوين URL التي تحتوي على علامة noindex . كما نعلم ، لا يزال بإمكان Google التنقل عبر هذه الصفحات. هم فقط لا يظهرون في نتائج البحث. نحن نحاول تقليل نسبة علامات noindex في هيكل موقعنا على الويب.

• مثال على ذلك - مدونة تنظم هيكلها باستخدام العلامات ؛ يدعي المؤلفون أن الحل تمليه راحة المستخدم. يتم تصنيف كل مشاركة بعلامات من 3 إلى 5 علامات ، يتم تعيينها بشكل غير متسق وغير مفهرسة. يكشف تحليل السجل أنه ثالث أكثر بنية يتم الزحف إليها على موقع الويب.

4. راجع ملف robots.txt . تذكر أن تنفيذ ملف robots.txt لا يعني أن Google لن تعرض العنوان في الفهرس.

• تحقق من هياكل العناوين المحظورة التي لا يزال يتم الزحف إليها. ربما قطعهم يسبب عنق الزجاجة؟
• قم بإزالة التوجيهات القديمة / غير الضرورية.

5. تحليل حجم عناوين URL غير المتعارف عليها على موقع الويب الخاص بك. توقفت Google عن اعتبار rel = ”canonical” أمرًا صارمًا. في كثير من الحالات ، يتم تجاهل السمة تمامًا بواسطة محرك البحث (معلمات الفرز في الفهرس - لا تزال كابوسًا).

6. تحليل المرشحات وآلياتها الأساسية . تعتبر تصفية القوائم أكبر مشكلة في تحسين ميزانية الزحف. يصر مالكو أعمال التجارة الإلكترونية على تطبيق المرشحات القابلة للتطبيق في أي مجموعة (على سبيل المثال ، التصفية حسب اللون + المادة + الحجم + التوفر ... إلى عدد لا يحصى من الوقت). الحل ليس هو الأمثل ويجب أن يقتصر على الحد الأدنى.

7. هندسة المعلومات على موقع الويب - تصميم يأخذ في الاعتبار أهداف العمل ، وإمكانات حركة المرور ، وملف تعريف الارتباط الحالي. دعونا نعمل على افتراض أن ارتباط المحتوى المهم لأهداف أعمالنا يجب أن يكون مرئيًا على مستوى الموقع (في جميع الصفحات) أو على الصفحة الرئيسية. نحن نقوم بالتبسيط هنا ، بالطبع ، لكن الصفحة الرئيسية والقائمة العلوية / ارتباطات الموقع هي أقوى المؤشرات في بناء القيمة من الارتباط الداخلي. في الوقت نفسه ، نحاول تحقيق الانتشار الأمثل للمجال: هدفنا هو الموقف الذي يمكننا فيه بدء الزحف من أي صفحة مع الاستمرار في الوصول إلى نفس عدد الصفحات (يجب أن يكون لكل عنوان URL رابط وارد واحد في الحد الأدنى) .

• يعد العمل من أجل بنية معلومات قوية أحد العناصر الرئيسية لتحسين ميزانية الزحف. يتيح لنا تحرير بعض موارد الروبوت من موقع وإعادة توجيهها إلى موقع آخر. إنه أيضًا أحد أكبر التحديات ، لأنه يتطلب تعاون أصحاب المصلحة التجاريين - مما يؤدي غالبًا إلى معارك ضخمة وانتقادات تقوض توصيات تحسين محركات البحث.

8. تقديم المحتوى. حاسمة في حالة مواقع الويب التي تهدف إلى بناء روابطها الداخلية على أنظمة التوصية التي تلتقط سلوك المستخدم. قبل كل شيء ، تعتمد معظم هذه الأدوات على ملفات تعريف الارتباط. لا تخزن Google ملفات تعريف الارتباط ، لذا لا تحصل على نتائج مخصصة. النتيجة: يرى Google دائمًا نفس المحتوى أو لا يرى أي محتوى على الإطلاق.

• من الخطأ الشائع منع Googlebot من الوصول إلى محتوى JS / CSS المهم. قد تؤدي هذه الخطوة إلى حدوث مشكلات في فهرسة الصفحات (وإضاعة وقت Google في عرض المحتوى غير المتاح).

9. أداء موقع الويب - "حيوية الويب الأساسية" . على الرغم من أنني متشكك في تأثير CWV على تصنيفات المواقع (لأسباب عديدة ، بما في ذلك تنوع الأجهزة المتاحة تجاريًا والسرعات المتغيرة للاتصال بالإنترنت) ، إلا أنها واحدة من أكثر المعلمات التي تستحق المناقشة مع المبرمج.

10. ملف Sitemap.xml - تحقق مما إذا كان يعمل ويحتوي على جميع العناصر الأساسية (لا شيء سوى عناوين URL الأساسية التي تعرض رمز الحالة 200).

• توصيتي الأولى لتحسين ملف sitemap.xml بتقسيم صفحاتك حسب النوع أو - عندما يكون ذلك ممكنًا - الفئة. يمنحك القسم التحكم الكامل في حركات Google وفهرسة المحتوى.