طريقة إضافة و تهيئة ملف robots.txt لبلوجر

تقوية موقعك في المحركات البحث يعد من الأشياء الأساسية، فهو يجلب لك زوار أكثر و مستدهفين عبر المحركات البحث، وهناك عدة طرق لأرشفة موقعك بشكل أفضل قد تغفل عنها أو لا تعطيها أهمية مثل: خريطة الموقع sitemap و ملف robots.txt و الذي هو موضوعنا اليوم، والذي سنشرح فيه طريقة إضافة و تهيئة ملف robots.txt لبلوجر بخطوات بسيطة،

ولكن قبل أن نبدء أردت أن أنوهكم لتالي: 
إستخدام الخاطىء لهذا الملف يمكن أن يؤدي لتجاهل محركات البحث لموقعك و بتالي عدم أرشفته،

ما هو ملف robots.txt ؟
robots.txt هو ملف نصي يحتوي على سطور قليلة من أكواد، تحفط في سيرفر الموقع ولذي يرشد عناكب البحث عن طريقة أرشفة موقع أو مدونة، و عن طريق هذا الملف يمكنك منع عناكب البحث من أرشفة صفحات معينة في مدونتك مثل صفحة تسميات labels page في بلوجر،

أين أجد ملف robots.txt ؟
كل مدونة بلوجر عندها ملف robots.txt خاصبها بشكل إفتراضي، و الذي يمكنك وصول إليه عبر إضافة /robots.txt لرابط مدونتك بشكل تالي:

رمز Code:

http://www.yourblog.blogspot.com/robots.txt

و بعد هذا سترى شيء مشابه لهذا،

رمز Code:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

هذا كود مقسم لثلاثة أقسام سنشرح كل قسم على حدى قبل تهيئته ثم إضافاته لبلوجر،

رمز Code:

User-agent: Mediapartners-Google

هذا كود هو لإعلانات Google Adsense و هو يساعد في تقديم إعلانات أفضل في مدونتك، و لا أنصح بحذفه إذا كنت تستعمل Google Adsense،

رمز Code:

Disallow: /search

هذا كود هو لمنع زحف عناكب لجزء معين من مدونتك، أضف /search لكود ولن يتم زحف لصفحات نتائج البحث مثل: http://myblog.blogspot.com/search/label/example

و لمنع زحف لصفحة معينة يتم إستعمال هذا الكود كما قلنا بشكل تالي:

رمز Code:

Disallow: /p/page-url.html

أنسخ رابط الصفحة و أمسح رابط المدونة الرئيسي هكذا،

رمز Code:

Disallow: /p/contact-us.html

و أيضا منع زحف لتدوينات يتم بشكل تالي:

رمز Code:

Disallow: /yyyy/mm/post-url.html

أفعل كما فعلت مع مثال سابق، أنسخ رابط التدوينة و أمسح رابط المدونة الرئيسي،

رمز Code:

Disallow: /2014/11/top-10-google-chrome-add-ons-for-webdevelopers.html

رمز Code:

Allow: /

هو عكس كود السابق فهو يشير لعناكب بزحف لجزء معين من مدونة، و علامة "/" تعني صفحة الرئيسية أي أرشفة صقحة الرئيسية لمدونة،

رمز Code:

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

هذا جزء خاص بخارطة الموقع وهذا كود يشير لأرشفة كل تدوينات مدونة حيث أن إضافته داخل ملف robots.txt تسهل من عملية أرشفة و وصول لجميع تدوينات مدونة،
ملحوطة: الكود سابق سيرسل لعناكب البحث عن أحدث 25 تدوينة فقط، و لزيادة عدد تدوينات المرسلة أستبدله بكود التالي:

رمز Code:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

هذا الكود سيعمل على إرسال أحدث 500 تدوينة في مدونتك، وإذا كان عندك أكثر من 500 تدوينة يمكنك إستعمال خارطتين معا لموقع بشكل تالي:

رمز Code:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

كيف أضيف ملف robots.txt لبلوجر؟
الأن بعض شرحنا الأكواد و طريقة ضبطها سننتقل لعمل فعلي ألا و هو شرح طريقة إضافة ملف robots.txt لبلوجر،
1 - سجل دخول لحسابك في بلوجر،

2 - ثم بعد هذا إذهب إلى إعدادات>> تفضيلات البحث >> برامج زحف والفهرسة >> ملف robots.txt مخصص أختر تحرير ثم علم على نجمة بنعم،


3 - و الصق الكود بعد أن تقوم بضبطه وفق إحتياجتك و بعد إنتهاء أضغط حفض،


تهاني، لقد تم إضافة ملف robots.txt لمدونتك، ولترى التعديل أضف robots.txt/ في نهاية رابط مدونتك، و عندها سترى تعديل الذي أجريته على الكود،

بعد إضافتك لملف robots.txt ستتمكن من حصول أرشفة أفضل في محركات البحث بعون الله، و لا تنسى إذا أفاذك الموضوع فشاركه لإيستفيد غيرك، تحياتي لكم،