ماهو robots.txt directives:
robots.txt هو ملف بسيط بيستخدم لتوجيه محركات البحث (مثل جوجل) عن الأجزاء اللي مش منفعش تزورها أو تعمل index ليها في الموقع بتاعك.
يعني تقدر تتحكم في الأجزاء اللي محركات البحث هتدخلها والأجزاء اللي مش هتدخلها.
المشاكل الشائعة في ملف robots.txt:
- الكتابة غلط في القواعد:
- لو حطيت syntax غلط، محركات البحث ممكن تفهم القواعد بشكل خاطئ أو تتجاهل الملف كله.
- مثال:
User-agent: *
لو حطيت مسافة زيادة أو ناقصة، الملف ممكن ميشتغلش.
- منع كل محركات البحث:
- لو حطيت
Disallow: /
بدون ما تحدد user-agent معين، الملف هيوقف كل محركات البحث عن زيارة موقعك بالكامل.
- لو حطيت
- منع أجزاء مهمة من الموقع:
- لو منعت صفحات مهمة زي الصفحة الرئيسية أو صفحات المنتجات، ده هيأثر على SEO وترتيب موقعك في نتائج البحث.
- عدم تحديث الملف:
- لو غيرت في هيكل الموقع أو حذفت صفحات معينة ومحدثتش ملف robots.txt، ممكن تحصل أخطاء زي منع صفحات مش موجودة أو السماح بدخول صفحات مش عايز محركات البحث تدخلها.
- مشاكل في السماح بملفات CSS أو JS:
- لو منعت محركات البحث من الوصول لملفات الـCSS أو الـJS، الموقع ممكن يظهر بشكل مش صح في نتائج البحث.
الحلول للمشاكل دي:
- تأكد من صيغة الملف:
- استخدم أدوات مثل Google Search Console علشان تتأكد من إن الملف مكتوب بشكل صحيح.
- تحديد User-agent بشكل صحيح:
- لو عايز تطبق القواعد على كل محركات البحث، استخدم
User-agent: *
. - لو عايز تطبقها على محرك بحث معين (مثل جوجل)، استخدم
User-agent: Googlebot
.
- لو عايز تطبق القواعد على كل محركات البحث، استخدم
- عدم منع كل المحتوى:
- تأكد من إنك مش منع كل المحتوى بالغلط. لو عايز تمنع صفحات معينة بس، استخدم
Disallow: /صفحة-معينة/
.
- تأكد من إنك مش منع كل المحتوى بالغلط. لو عايز تمنع صفحات معينة بس، استخدم
- تحديث الملف باستمرار:
- كل ما تعمل تغييرات في الموقع، روح شوف ملف robots.txt وخليك متأكد إنه محدث.
- السماح بملفات CSS وJS:
- تأكد من إنك مش منع ملفات الـCSS أو الـJS. لو محتاج تمنع حاجة، تأكد إنها مش ملفات مهمة لظهور الموقع.
كيفية تطبيق robots.txt على موقع وردبريس:
- الدخول على لوحة تحكم ووردبريس:
- ادخل على موقعك من خلال
wp-admin
(مثل:yourwebsite.com/wp-admin
).
- ادخل على موقعك من خلال
- استخدام إضافة SEO:
- لو عندك إضافة زي Yoast SEO أو Rank Math، تقدر تدخل على الإعدادات وتعدل ملف robots.txt من هناك.
- في Yoast SEO: روح على SEO > Tools > File Editor وهتلاقي خيار لتعديل ملف robots.txt.
- تعديل الملف يدويًا:
- لو مش عايز تستخدم إضافة، تقدر تعدل الملف يدويًا من خلال الـFTP أو من خلال ملف manager في الاستضافة بتاعتك.
- الملف بيكون موجود في المجلد الرئيسي للموقع (root directory) واسمه
robots.txt
.
- إضافة القواعد:
- مثال لملف robots.txt بسيط:
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Allow: /wp-content/uploads/
- هنا بنمنع محركات البحث من دخول مجلدات
wp-admin
وwp-includes
، لكن بنسمح لها بدخول الملفات اللي فيwp-content/uploads
.
- هنا بنمنع محركات البحث من دخول مجلدات
- مثال لملف robots.txt بسيط:
- حفظ التغييرات:
- بعد ما تعدل الملف، احفظه وروح جرب الملف من خلال
yourwebsite.com/robots.txt
علشان تتأكد إنه شغال بشكل صحيح.
- بعد ما تعدل الملف، احفظه وروح جرب الملف من خلال
نصائح إضافية:
- استخدم أدوات الفحص:
- استخدم أدوات زي Google Search Console أو Screaming Frog علشان تتأكد من إن الملف شغال بشكل صحيح.
- خليك حذر مع الإضافات:
- لو بتستخدم إضافة لـSEO، تأكد من إنها مش بتعدل ملف robots.txt بشكل تلقائي من غير ما تعرف.
- احفظ نسخة احتياطية:
- دايماً احفظ نسخة من الملف قبل ما تعمل أي تعديلات، علشان لو حصلت مشكلة تقدر ترجع للتعديلات القديمة.
كده تكون عرفت كل حاجة عن ملف robots.txt والمشاكل اللي ممكن تواجهك، وازاي تطبقه على موقع ووردبريس!