ما هو ملف الروبوت و هل هو ضروري للموقع او المدونة ؟

Question

السلام عليكم انا ليا سؤال للناس الي فاهمة فلو سمحتم محدش يفتي و للاي عارف يرد عليا ^^ هههههههه دلوقتي انا قريت مواضيع كتيرة عن ملفات الروبوت و انها بتسمح لمحركات البحث
بارشفة مواضيع معينة و البعد عن مواضيع اخرى ولكن هل اي مدونة او موقع بيحتوي ملف الروبوت اصلا ؟ و هل الملف دة ضروري ؟ و لا من غيرة مينفعش ارشفة الموقع اصلا ؟ رجاء الرد على الموضوع دة بالتفصيل
و لكم جزيل الشكر .........
مدونة رايق كول
RAYK COOL
http://raykcool.blogspot.com/‏

Answer 1

لا مؤاخذة .. أنا عندي مشكلة .. دخلت أخطاء الزحف ..عرض عناوين URL: HTTP ‏(0)‏  - انتهت المهلة ‏(0)‏  - تعذر تتبعه ‏(0)‏  - تم حظره بواسطة ملف robots.txt
‏(12)‏  - في ملفات Sitemap ‏(0)‏  - لا يمكن الدخول إليه ‏(0)‏  - لم يتم العثور عليه ‏(0)‏
كيف أمنع الحظر من الملف الذكور robots.txt مع العلم  أنا معاي مدونة مجانية ؟!

Answer 2

ادخل وقرأ عن robotstxt,وكيفية السماح له وكل ما يتعلق عن خرائط الموقع

Answer 3

اكيد الملف هام اخي ..
مثلاً في المنتديات لماذا تجعل الروبوت يارشف الملفات الشخصيه للاعضاء ..
قوم بتوجيهه الى المواضيع بدل تضييع الوقت وارشفة اشياء لا فائده منها ..
اجعل اسمه هكذا robots.txt وليس هكذا Robots.TXT
كل الموقع متاح لجميع العناكب
User-Agent: * Allow:
2 كل الموقع محجوب عن جميع العناكب
User-agent: * Disallow:
3 حجب جزء من الموقع عن حميع العناكب مثل صفحة الادمن والصور والملجدات الخاصة والسماح لهم بباقي الموقع
User-agent: *
Disallow: /cgi-bin
Disallow: /images
Disallow: /vb/admincp/index.php
Disallow: /vb/includes
4 حجب عناكب محرك معين عن دخول موقعك والسماح للاخرى اولا عليك ان تعرف نوع العناكب
يوجد عناكب تتجاهل الربوتس تدخل موقعك تبحث عن ثغرات امنيه وايميلات
User-agent: googlebot
Disallow: / User-agent: * Allow:
5 حجب حميع محركات البحث ماعادا محرمات معينة
User-agent: googlebot
Allow: / User-agent: MSNBOT
Allow: / User-agent: * Disallow:
6 منع محرك بحث معين من الدخو لمنطقة معينة مع السماح لباقي المحركات بدخول جميع الاماكن
User-agent: googlebot
Disallow: /cgi-bin
Disallow: /images
Disallow: /vb/admincp/index.php
Disallow: /vb/includes
User-agent: * Allow:
www وضعه في رئسيه الموقع في مجلد robots.txt قم بحفظ الكود في ملف txt
اما بالنسبه للمدونات المجانيه مثل وورد براسيس وبلوج سبوت .. اعتقد انك لا تستطيع عمل روبوت ..
^^

Answer 4

ممكن تعمله بيدك حتى لو كان ماموجود
وهو ببساطة يتعامل مع محركات البحث لايجاد موقعك من قبل الكرولير

Answer 5

اتمنى ان تفيدك هذه المدونه