كيف يعتبر الملف Robots.txt هو المحرك الرئيسي للموقع ؟
تبليغسؤال
يرجى شرح بإيجاز لمإذا تشعر أنك ينبغي الإبلاغ عن هذا السؤال.
الملف Robots.txt دائما ما يتم وضعه في جذر موقع الويب على عكس الخريطة وملف htaccess الذي يجب ان يكون في كل مجلد يحتوي على منصة من نوع اخر لهذا فأن وجوده مهم من اجل منع عناكب محركات البحث من ارشفة صفحات لا فائدة من فهرستها في محركات البحث.
كيف يمكن الاستفادة من الملف Robots.txt في السماح ومنع محركات البحث من ارشفة بعض المسارات داخل الموقع ؟
إجابة ( 1 )
يرجى شرح بإيجاز لمإذا تشعر أنك ينبغي الإبلاغ عن هذه الإجابة.
الملف Robots.txt أهم الملفات المساعدة على ادارة الموقع من حيث توجيه العناكب الى المسارات التي تريد داخل الموقع ومنعها من الدخول الى مواقع اخرى مع امكانية تحديد رابط الخريطة على المدونة او الموقع حتى وان كان لديك اكثر من خريطة فيمكن وضع رابطها المباشر بعد أن يتم وضع الأمر Sitemap : قبل الرابط.
في مدونة ووردبريس لا يحتاج منك اكثر من اضافة الاوامر التالية الموجودة ادناه الى ملف الروبوت وهو سوف يمنع العناكب من الدخول الى لوحة التحكم مع منعها من الدخول إلى ملفات معينة دون غيرها ايضا في نفس المسار ويجب ان تسبقها بالأمر Disallow :
حتى وان كنت تعمل على منصات اخرى غير المدونة فيمكنك اضافة المسارات كما في اعلاه بدون الرابط الكامل والتي تشمل allow و disallow مع امر الخريطة والتوجه اليها من العناكب والروبوتات وهي sitemap مع : في نهاية كل أمر ووضع ما تشاء من الأوامر ولكن يجب أن تكون صحيحة وخالية من الأخطاء عن دراية ومعرفة وليست عشوائية .
إحدى تقييمات محركات البحث وبالاخص Google ومحرك Bing هو وجود الملف Robots.txt حيث يمكن عمل هذا الملف بواسطة اي محرر نصوص ان لم يكن موجود ورفعه على المسار الاساسي داخل لوحة التحكم Cpanel من خلال الملف www أو Public_html ويمكنك تحريره متى اردت ذلك.
الملف .htaccess يختلف كثيرا عن الملف روبوت نهائيا فهو بدون اسم بالامتداد المذكور وتسبقه نقطة في تسمية الملف يمكن انشاؤه او يتوفر جاهزا عند تثبيت اي سكربت Php ويمكن بواسطته عمل تحويل للروابط بالصيغة التي تريدها او عمل اعادة تحويل للروابط داخل الموقع ولا علاقة له بالارشفة نهائيا.
عمليات التحويل Redirects متنوعة أشهرها 301 و 302 ولكن توجد انواع كثيرة اخرى وكل نوع لغرض معين وجميعها تتم من خلال .htaccess حتى وان استخدمت الاضافات البرمجية في ووردبريس او المنتديات vbulletin وحتى xenforo لان مهمة هذه الاضافات هو تحرير هذا الملف واضافة هذه الشفرات الجاهزة اليه والتي تقوم انت بملئ اعداداتها من لوحة تحكم الادارة داخل المنصة التي تعمل عليها.