تتم فهرسة مواقع الويب عندما يعثر محرك البحث على صفحة ويب ويخزنها في قاعدة البيانات الخاصة به. عندما يعرض محرك البحث مواقع الويب في النتائج بعد أن يبحث المستخدم عن شيء ما، فإنه يختار صفحات الويب المفهرسة من قاعدة البيانات الخاصة به.
تعد فهرسة مواقع الويب جزءًا مهمًا للغاية من تحسين محركات البحث (SEO) . من الضروري التأكد من أن محركات البحث يمكنها فهرسة موقعك. إذا لم يكن الأمر كذلك، فلن يتم تصنيف موقعك في نتائج البحث، وستفقد حركة المرور والعملاء المحتملين والتحويلات نتيجة لذلك.
ولهذا السبب نقدم لك هذا الدليل الكامل لفهرسة مواقع الويب 101 لتغطية كل ما تحتاج إلى معرفته. هيا بنا نبدأ!
- ما هي فهرسة الموقع
- 9 أفضل الممارسات للحصول على الفهرسة
- 4 أسباب لعدم فهرسة موقعك (وكيفية إصلاح ذلك!)
ما هي فهرسة الموقع؟
فهرسة مواقع الويب هي عملية تقوم بها محركات البحث بتحديد صفحات الويب على الإنترنت وتخزين البيانات من تلك الصفحات في قاعدة البيانات الخاصة بها من أجل النظر في تصنيف الصفحات في نتائج البحث المستقبلية.
يمكنك التفكير في الفهرسة مثل رف الكتب. يكتشف محرك بحث مثل Google كتابًا (صفحة ويب) ويضيفه إلى رف الكتب الخاص به (قاعدة البيانات الخاصة به). بعد ذلك، عندما يبحث شخص ما عن موضوع ما (استعلام بحث)، يمكن لـ Google اختيار مجموعة من الكتب (نتائج البحث) لتقديمها له.
يجب أن تتم فهرسة موقع الويب الخاص بك بواسطة محركات البحث حتى يتم تصنيف صفحاتك في نتائج البحث.
كيف تعمل فهرسة الموقع؟
تستخدم محركات البحث برامج الزحف ، والتي تُعرف أحيانًا باسم برامج الروبوت أو العناكب لمحركات البحث، للزحف إلى صفحات الويب على الإنترنت. عندما يعثر زاحف محرك البحث على صفحة ما ، فإنه يخزن معلومات أساسية عنها، مثل نسختها وعنوانها ووصفها التعريفي، ويرسل تلك المعلومات إلى محرك البحث.
يقوم محرك البحث بعد ذلك بفهرسة صفحة الويب عن طريق تخزين تلك المعلومات في قاعدة البيانات الخاصة به. وسيستخدم بعد ذلك الصفحات الموجودة في قاعدة البيانات الخاصة به لتقديم مواقع الويب ذات الصلة في نتائج البحث عندما يقوم المستخدم بإدخال استعلام.
إذا لم يتمكن زاحف محرك البحث من الزحف إلى صفحتك أو موقع الويب الخاص بك، فسيمنع محركات البحث من فهرسته، مما يعني أن موقعك لن يتم تصنيفه في نتائج البحث.
9 أفضل الممارسات للحصول على الفهرسة
كيف تتأكد من أن محركات البحث تقوم بفهرسة صفحاتك؟ في نهاية المطاف، يعود الأمر كله إلى تسهيل عملية الزحف إلى موقعك على محركات البحث. هناك العديد من الطرق للقيام بذلك، ولكن اتباع أفضل الممارسات التسعة هذه للحصول على الفهرسة هو أول مكان نبدأ به!
- إرسال خريطة الموقع الخاصة بك إلى جوجل: Submit your sitemap to Google
- أضف روابط داخلية في جميع أنحاء موقع الويب الخاص بك : Add internal links throughout your website
- تأكد من أن المحتوى الخاص بك يستحق الفهرسة: Make sure your content is worth indexing
- اطلب من Google فهرسة عناوين URL الفردية:Ask Google to index individual URLs
- تحسين سرعة تحميل صفحتك: Improve your page loading speed
- تحسين وقت استجابة الخادم الخاص بك: Improve your server response time
- إزالة المحتوى المكرر: Remove duplicate content
- البحث عن الروابط المعطلة وإصلاحها: Find and fix broken links
- تقليل عمليات إعادة التوجيه على موقعك
-
إرسال خريطة الموقع الخاصة بك إلى جوجل: Submit your sitemap to Google
إحدى أفضل الطرق لضمان فهرسة صفحاتك هي إرسال خريطة الموقع الخاصة بك إلى Google. من خلال إرسال خريطة الموقع الخاصة بك ، فإنك تمنح Google خريطة طريق كاملة لموقعك بالإضافة إلى كل عنوان من عناوين URL الخاصة بك .
وهذا يعني أن Google يمكنه تحديد صفحاتك وفهرستها بسهولة.
لإرسال خريطة موقعك إلى Google، اتبع الخطوات التالية:
- توجه إلى Google Search Console
- انقر على ملفات Sitemap ضمن الفهرسة من قائمة الشريط الجانبي الأيسر
- أدخل عنوان URL الخاص بك
- انقر فوق ‘إرسال
2. أضف روابط داخلية في جميع أنحاء موقع الويب الخاص بك : Add internal links throughout your website
تزحف عناكب محركات البحث إلى مواقع الويب عن طريق المرور بين الروابط الموجودة على الصفحات. وكما ذكرنا من قبل، يجب أن تكون عناكب محركات البحث قادرة على الزحف إلى موقعك حتى تتمكن محركات البحث من فهرسة صفحاتك.
ولهذا السبب من الضروري إضافة روابط داخلية في جميع أنحاء موقع الويب الخاص بك. وبدونها، سيكون من الصعب على برامج زحف الويب الزحف إلى صفحاتك وفهرستها بدقة.
يمكنك إضافة بضعة أنواع من الروابط الداخلية:
- التنقل: تظهر روابط التنقل في شريط التنقل أو التذييل.
- الشريط الجانبي: تظهر روابط الشريط الجانبي في الأشرطة الجانبية اليمنى أو اليسرى أو أسفل المحتوى.
- سياقي: تظهر الروابط السياقية ضمن المحتوى المكتوب الخاص بك.
اهدف إلى أن يحتوي المحتوى الخاص بك على ثلاث إلى خمس روابط خلفية داخلية. يجب أن تحتوي عناوين URL الأكثر أهمية على روابط تنقل لتوضيح أهميتها بالنسبة إلى Google، بالإضافة إلى تسهيل التنقل في موقع الويب الخاص بك قدر الإمكان للمستخدمين.
3. تأكد من أن المحتوى الخاص بك يستحق الفهرسة: Make sure your content is worth indexing
الهدف الرئيسي لأي محرك بحث هو تزويد مستخدميه بتجربة رائعة. وللقيام بذلك، يحتاج محرك البحث إلى عرض محتوى ذي صلة ومفيد يجيب على أسئلة مستخدميه ويزودهم بالمعلومات التي يحتاجون إليها.
إذا كانت محركات البحث لا تعتقد أن صفحتك مفيدة أو ذات قيمة للمستخدمين، فقد لا تقوم بفهرسة صفحتك، حتى إذا قمت بإرسال خريطة موقع.
الصفحات ذات المحتوى القليل أو الصفحات التي ترتبط فقط بصفحات أخرى على موقعك (مثل ترقيم صفحات مدونتك) غالبًا ما تتخطى محركات البحث فهرستها.
إليك بعض النصائح لمساعدتك في كتابة محتوى عالي الجودة وقيم:
- اكتب للناس وليس لمحركات البحث
- تقديم المعلومات والتقارير والأبحاث الأصلية
- تقديم وصف كامل وشامل للموضوع
- اكتب عناوين وصفية تلخص بدقة موضوع صفحتك
- اعرض خبرتك أو معرفتك الصناعية
4. اطلب من Google فهرسة عناوين URL الفردية:Ask Google to index individual URLs
التالي في قائمتنا لأفضل ممارسات فهرسة مواقع الويب هو طلب الفهرسة من Google. صحيح. يمكنك ببساطة أن تطلب من Google فهرسة عنوان URL الخاص بك.
ومن السهل جدًا القيام بذلك أيضًا.
إليك كيفية طلب الفهرسة من Google:
- انتقل إلى Google Search Console
- انقر على أداة فحص عنوان URL من قائمة الشريط الجانبي الأيسر
- أدخل عنوان URL للصفحة التي تريد فهرستها
- انقر فوق طلب الفهرسة
إذا كان هناك سبب وراء تفضيل Google لتخطي فهرسة هذه الصفحة بالذات، فغالبًا ما سيخبرك بالسبب. في بعض الأحيان، تكون هناك مشكلة فنية بسيطة تقف في طريق فهرسة الصفحة، وسيخبرك Google بالتفاصيل.
5. تحسين سرعة تحميل صفحتك: Improve your page loading speed
صدق أو لا تصدق، لا يتوفر لدى برامج زحف محركات البحث اليوم كله للزحف إلى صفحاتك وفهرستها. تلتزم برامج زحف الويب بميزانية الزحف – عدد الصفحات التي ستزحف إليها محركات البحث على موقع الويب خلال إطار زمني معين.
إذا استغرق تحميل موقع الويب الخاص بك وقتًا طويلاً، فقد ينفد الوقت لبرامج زحف الويب للزحف إلى جميع صفحاتك وفهرستها.
ولهذا السبب من الضروري التأكد من أن سرعة تحميل الصفحة هي بأسرع ما يمكن حتى تتمكن محركات البحث من فهرسة جميع صفحاتك بنجاح.
استخدم أداة PageSpeed Insights من Google لعرض وقت التحميل الحالي لموقعك بسرعة بالإضافة إلى التوصيات لتحسين سرعة التحميل.
6. تحسين وقت استجابة الخادم الخاص بك: Improve your server response time
يمكن لجميع عمليات الزحف من عناكب محركات البحث أن تؤثر سلبًا على موقع الويب الخاص بك، لذلك يعد وجود خادم عالي الأداء أمرًا مهمًا.
إذا كان وقت استجابة الخادم الخاص بك بطيئًا أو كان عرضة لأخطاء متسقة، فقد تواجه عناكب محركات البحث صعوبة في الزحف إلى موقع الويب الخاص بك وفهرسته.
استخدم تقرير حالة المضيف الخاص بـ Google Search Console للتحقق من وقت استجابة الخادم الخاص بك بسهولة. نوصي باستهداف وقت استجابة أقل من 300 مللي ثانية.
7. إزالة المحتوى المكرر: Remove duplicate content
يؤدي المحتوى المكرر إلى إرباك برامج زحف محركات البحث ويمكن أن يتسبب في عدم فهرسة الصفحة الصحيحة. ولهذا السبب فإن إزالة المحتوى المكرر هو التالي في قائمتنا لأفضل ممارسات فهرسة مواقع الويب.
يمكنك العثور بسرعة على المحتوى المكرر من خلال الانتقال إلى تقرير إحصائيات الزحف في Google Search Console والبحث عن العلامات المكررة. بعد ذلك، قم بإزالة أي حالات محتوى مكرر تجدها لتحسين موقع الويب الخاص بك بشكل أفضل للزحف وفهرسة محرك البحث.
8. البحث عن الروابط المعطلة وإصلاحها: Find and fix broken links
تتسبب الروابط المعطلة في حدوث أخطاء ويمكن أن تربك أيضًا برامج زحف محركات البحث، مما يزيد من صعوبة الزحف إلى عناوين URL الخاصة بك وفهرستها.
يعد العثور على هذه الروابط المعطلة وإصلاحها في أسرع وقت ممكن فكرة جيدة لتجنب أي مشكلات في الفهرسة.
“لا يأخذ مسار فهرسة Google في الاعتبار عناوين URL التي تعرض رمز الحالة 4xx للفهرسة، وتتم إزالة عناوين URL التي تمت فهرستها بالفعل والتي تعرض رمز الحالة 4xx من الفهرس.”
استخدم أداة مثل Screaming Frog أو تقرير Crawl Stats في Google Search Console للعثور بسهولة على أخطاء 404 على موقعك. وبمجرد العثور عليها، تأكد من إعادة توجيه عناوين URL هذه أو تحديثها أو إزالتها بالكامل من موقعك.
ومن الممارسات الجيدة أيضًا تحديد وقت لفحص موقعك بانتظام بحثًا عن الروابط المعطلة حتى تتمكن من إصلاحها بسرعة.
9. تقليل عمليات إعادة التوجيه على موقعك: Reduce redirects on your site
تعد عمليات إعادة التوجيه شائعة، ويستخدمها كل موقع ويب تقريبًا. ولكن هذا لا يعني أنهم لا يأتون مع مجموعة من المشاكل الخاصة بهم.
إذا قمت بتغيير عنوان URL على إحدى صفحاتك الرئيسية، ولكنك لم تقم بتحديث الروابط التي تشير إليه، فستجد أن Google يواجه صعوبة في فهرسة عنوان URL المحدث.
من ناحية أخرى، قد يكون من السهل ارتكاب خطأ عندما يتعلق الأمر بإعادة توجيه عناوين URL، ولن تتفاعل معها برامج زحف محركات البحث بشكل جيد.
تقوم عمليات إعادة توجيه المستخدمين من صفحة واحدة على موقعك إلى صفحة أحدث أو أكثر صلة. أحد الأخطاء الأكثر شيوعًا عند استخدام عمليات إعادة التوجيه هو إنشاء حلقة إعادة توجيه عن طريق الخطأ. تحدث حلقة إعادة التوجيه عندما تقوم بتوجيه المستخدمين إلى صفحة واحدة، ثم تقوم تلك الصفحة بتوجيههم إلى صفحة أخرى، وهكذا.
إنه أمر مربك لكل من المستخدمين وبرامج زحف محركات البحث ويمكن أن يتسبب في قيام محركات البحث بفهرسة صفحاتك بشكل غير صحيح.
استخدم أداة مثل Screaming Frog لعرض تقرير عن عمليات إعادة التوجيه لموقعك، وتأكد من أن كل واحدة منها توجه المستخدمين إلى صفحة ذات صلة، وقم بإزالة أي حلقات إعادة توجيه.
4 أسباب لعدم فهرسة موقعك (وكيفية إصلاح ذلك!)
لست متأكدًا من سبب عدم قيام محركات البحث بفهرسة موقعك؟
فيما يلي أربعة أسباب شائعة لعدم فهرسة المحتوى الخاص بك وكيفية إصلاحه!
- لم يتم تحسين موقعك لمستخدمي الجوال
- لا يلتزم المحتوى الخاص بك بأساسيات بحث Google
- ليس لديك خريطة الموقع
- يمنع ملف robots.txt الخاص بك برامج زحف محركات البحث من الزحف إلى موقع الويب الخاص بك
1. لم يتم تحسين موقعك لمستخدمي الهاتف المحمول
إن التأكد من أن موقع الويب الخاص بك متوافق مع الجوّال ليس مهمًا فقط لإنشاء أفضل تجربة للمستخدم على موقعك، ولكن أيضًا الحصول على فهرسة بواسطة Google.
تستخدم Google معايير الفهرسة التي تعطي الأولوية للجوال – لذا، حتى إذا قمت بإرسال خريطة موقع إلى Google وكان لديك محتوى قيم على موقعك، فلن يهم كثيرًا إذا لم يتم تحسين موقعك لمستخدمي الجوال.
كيف تصلحها
يعد تنفيذ التصميم سريع الاستجابة لموقع الويب الخاص بك أحد أفضل الطرق لجعل موقع الويب الخاص بك ملائمًا للجوال. فهو يضمن عرض موقعك وعمله بشكل صحيح للمستخدمين بغض النظر عن الجهاز الذي يستخدمونه.
إذا لم تكن متأكدًا مما إذا كان موقعك متوافقًا مع الجوّال، فاستخدم تقرير Lighthouse من Google لمعرفة ذلك بسرعة.
في بعض الأحيان، تكون الصورة الضالة أو العنصر المنسق بشكل غير صحيح على صفحتك هو الذي يسبب بعض مشكلات الهاتف المحمول. من السهل عمومًا تصحيح هذه الأخطاء، لذلك تمنحك Google علامة الاختيار الرسمية الخضراء الملائمة للجوال!
2. لا يلتزم المحتوى الخاص بك بإرشادات مشرفي المواقع من Google
لقد ذكرنا سابقًا أن Google ترغب في تزويد المستخدمين بأفضل محتوى ممكن – وهذا يعني أن تظهر لهم محتوى قيمًا وعالي الجودة يتوافق مع إرشادات مشرفي المواقع الخاصة بهم.
إذا لم تحدد المربعات الخاصة بكل شيء يعتقد Google أنه يجب أن يتضمن المحتوى الخاص بك أو إذا كانت صفحاتك تنتهك الإرشادات، فلن تتم فهرستها.
كيف تصلحها
يمكنك عرض القائمة الكاملة لإرشادات مشرفي المواقع من Google، ولكن فيما يلي نظرة عامة سريعة على بعض العناصر الأساسية التي يجب أن يتضمنها المحتوى الخاص بك:
- الكلمات الرئيسية والعبارات ذات الصلة دون حشو الكلمات الرئيسية
- روابط إلى صفحتك من صفحة أخرى يمكن العثور عليها على موقعك
- اكتب محتوى للأشخاص وليس لمحركات البحث
- اتبع أفضل ممارسات Google لاستخدام الصور ومقاطع الفيديو والبيانات المنظمة في المحتوى الخاص بك
3. ليس لديك خريطة للموقع
إذا لم يكن لديك خريطة موقع أو لم ترسلها إلى Google، فمن المحتمل أن يكون هذا هو السبب الأكبر لعدم فهرسة موقعك.
خريطة الموقع عبارة عن قائمة بجميع الصفحات الموجودة على موقعك، وهي إحدى أفضل الطرق التي يستخدمها Google للتعرف على المحتوى الموجود لديك.
إذا لم تتم فهرسة صفحاتك حاليًا أو لم تتلق زيارات، ولم تقم بإرسال خريطة موقع إلى Google، فلن يعرف Google شيئًا عن موقعك.
كيف تصلحها
قم بإنشاء خريطة موقع تسرد جميع عناوين URL الموجودة على موقع الويب الخاص بك واحفظها في ملف. انتقل إلى ملفات Sitemap في Google Search Console، وقم بتحميل خريطة الموقع الخاصة بك، ثم انقر فوق إرسال.
“قم بإنشاء ملف خريطة موقع XML للتأكد من أن محركات البحث تكتشف الصفحات الجديدة والمحدثة على موقعك، مع إدراج جميع عناوين URL ذات الصلة مع تواريخ آخر تعديل للمحتوى الأساسي الخاص بها.”
إذا قمت بتحديث أي من صفحاتك، فمن المهم إرسال خريطة الموقع الخاصة بك بانتظام للزحف والفهرسة حتى يكون لدى Google دائمًا قائمة محدثة بالمحتوى الموجود على موقع الويب الخاص بك.
4. يمنع ملف robots.txt الخاص بك برامج زحف محركات البحث من الزحف إلى موقعك
يدير ملف robots.txt حركة المرور من برامج الروبوت ويمنع اجتياح طلبات موقعك. يمكن أن يساعدك هذا الملف في إخبار محركات البحث بالطريقة التي تريدها أن تقوم بها بالزحف إلى موقع الويب الخاص بك.
لكنها يمكن أن تكون صعبة.
إذا وجدت أن موقعك لا تتم فهرسته، فقد يكون السبب هو أن ملف robots.txt الخاص بك يمنع برامج زحف محركات البحث من الزحف إلى موقعك على الويب.
كيف تصلحها
أفضل طريقة لإصلاح ملف robots.txt وتحسينه هي استشارة خبير تقني في تحسين محركات البحث نظرًا لأن هذه العملية قد تكون معقدة.
هل يجب فرسة جميع صفحات الويب الخاصة بك؟
على الرغم من أن الوضع الافتراضي هو وجوب فهرس جميع صفحات الويب، إلا أن هذا ليس هو الحال الدائم. قد تكون هناك بعض الحالات التي قد ترغب في تجنب فرسة معينة. ومن أمثلة هذه الحالات ما يلي:
- محتوى ضعيف:Thin Content
إذا كانت لديك مساحات ذات محتوى منخفض أو جودة منخفضة ولا توفر جودة كبيرة للمستخدمين، فهرسة هذا المحتوى ستضر بتحسين المحركات والبحث عن المزيد من المنافع لها. قد تعرّف هذه الصفحات المميزة من محركات البحث عن فرسة الصفحات التي قد لا تساهم بشكل مفيد في نتائج البحث.
- محتوى مكرر:Duplicate Content
سبب آخر للامتناع عن فهرسة بعض الصفحات على الانترنت هو عندما يكون لديك صفحات ذات محتوى مكرر أو مشابه إلى حد كبير. يمكن أن يؤدي ذلك إلى محركات البحث الخاصة أو الاجتماعية أو تصفية المحتوى المكرر. استخدم العلامات الأساسية للإشارة إلى الإصدار المفضل إن أمكن.
- الخصوصية أو الصفحات القانونية:Privacy or Legal Pages
لا ينبغي أن تفهرس صفحات مثل سياسة الخصوصية أو شروط الخدمة أو المسؤولية القانونية. على الرغم من أهمية هذه الصفحات إلا أنها لا تساهم في تعزيز محركات البحث الخاصة بك.
- الصفحات المؤقتة أو الخاصة بالحدث:Temporary or Event-Specific Pages
تعتبر الصفحات الموسمية أو الطفولة بأحداث معينة مثالاً على آخر الصفحات التي لا تحتاج إلى فاهرستها. إذا كان المحتوى حساسًا للوقت وغير ذي صلة بعد فترة معينة، فإن منع الفهرسة يمكن أن يؤدي إلى تجنب المحتوى القديم في نتائج البحث.
- معلمات URL Parameters
معلمات URL(والمعروفة أيضًا باسم إشارات المرور أو الإشارات) هي معلومات إضافية بنهاية عنوان URL. يتم استخدامه لتمرير البيانات إلى صفحة الويب، مع تسجيل إعدادات أو إعدادات محددة لتطبيقاتها. ونظرًا لأن هذه الجوانب تم ديناميكيًا، فلا ينبغي الزحف إليها وفهرستها.
يجب أن تعتمد على عدم هرس صفحة الويب على تقييم الموظفين والإستراتيجية لتحسين محركات البحث الشاملة لديك. يمكنك استخدام أدوات مثل العلامة الوصفية “noindex”توجيهات فيملف robots.txt الخاص بكمحركات البحث بشكل مناسب.