اضافة ملف robots.txt لمدونة بلوجر من الهاتف
ما هو ملف robots.txt؟
ملف robots.txt هو عبارة عن ملف نصي يحتوي على مجموعة من التعليمات (عددها قد يكون صفر أو أكثر من التعليمات)، وهذه التعليمات هي المسئولة عن تنظيم كيفية تعامل الروبوتات مع السيرفر الخاص بك (موقعك الإلكتروني).
هذه التعليمات يتم كتابتها طبقا لـ معيار إستبعاد الروبوتات ويعرف بالإنجليزية بـ Robot Exclusion Protocol، وهو معيار وضعي، تم الإتفاق عليه عام 1994 من قبل العاملين والمهتمين بمجال الروبوتات التي تعمل من خلال الشبكة العنكبوتية.
والروبوت في هذا السياق هو عبارة عن برنامج يعمل من خلال سيرفر خاص، وأحيانا يسمى بـ الزاحف أو الجوال أو العناكب، وهي كلها معاني للكلمات الإنجليزية Robot أو Spider أو Wanderer، ووظيفة الروبوت في سياق المقالة هي فهرسة وأرشفة المواقع الإلكترونية، حيث يوجد العديد من الأنواع الأخرى التي تستخدم في مهام متعددة، ولكننا سوف نهتم بالروبوت الخاص بفهرسة وأرشفة المواقع الإلكترونية، ومن أشهر الأمثلة على هذا النوع هو زاحف شركة جوجل والمعروف بـ googlebot
الملف المستخدم بالشرح
User-agent: Mediapartners-Google Disallow: User-agent: * Allow: / Disallow:/search Disallow: /*?updated-max=* Allow: /search/label Sitemap: https://loiahmd.blogspot.com/?m=1/sitemap.xml
شرح كود ملف Robots.txt:
كود User-agent: Mediapartners-Google يقوم بتحديد جميع عناكب الانترنت الخاصة بالاعلانات مع برنامج ادسنس.
يقوم هذا الكود بتحديد عناكب أو بوتات الإعلانات، وكلمة Disallow اسفله تقوم بمنع تلك العناكب من الوصول أو ارشفة مدونتك.
كود User-agent: * يقوم بتحديد جميع عناكب الانترنت الخاصة بمحركات البحث والمسؤولة عن أرشفة الصفحات.
هذا الكود يقوم بتحديد جميع عناكب الانترنت، ومن ثم تأتي بعده مجموعة من أوامر Allow & Disallow لتحديد أي الصفحات التي من الممكن ارشفتها وتلك الممنوع علي محركات البحث من الولوج أو الزحف إليها وفهرستها.
كود ِ Allow: / يقوم بالسماح لمحركات البحث بأرشفة جميع صفحات موقعك.
يقوم كود Allow: / السماح لمحركات البحث مثل جوجل بأرشفة جميع صفحات موقعك كاملةً، وإذا أردت إستبعاد بعض الصفحات نقوم باستخدام كود Disallow لاستثناء مجموعة ضمنية من صفحات موقعك.
كود Disallow:/search يقوم بمنع أرشفة صفحات البحث.
يقوم كود Disallow:/search بمنع أرشفة صفحات البحث، وبالتالي يمنع ارشفة صفحات التسميات ولذلك قمنا باضافة الكود الثالث.
كود Allow:/search/label يقوم بالسماح أرشفة صفحات البحث الخاصة بالتسميات.
يقوم كود Allow:/search/label السماح لمحركات البحث ارشفة صفحات التسميات، وبالتالي تظهر صفحات التسميات في محركات البحث.
كود Disallow: /*?updated-max=* يقوم بمنع ارشفة صفحات التنقل الخاصة بمدونة بلوجر، بحيث يمنعها من الظهور في محركات البحث.
صفحات التنقل هي تلك الصفحات الخاصة بالـ Navigation أو بمعني أدق هي الصفحات التي تحتوي على التدوينات القديمة.
كود Sitemap: your sitemap url يقوم بإشهار ملف السايت ماب الخاص بمدونتك لدي محركات البحث.
تعليقات
إرسال تعليق