[آموزش] ساخت و بهینه سازی فایل Robots.txt

[Masih 6,279]

با سلام .

 

یا یکی دیگه از آموزش های اختصاصی خودم - یعنی MasiH در خدمت کاربران انجمن بیست اسکریپت هستم . :biggrinsmiley: اینبار قصد دارم به شما نحوه ی بهینه سازی و سئوی فایل robots.txt رو بهتون یاد بدم که از چند سایت مختلف خارجی جمع آوری کردم و با نکته برداری و اختصار و ترجمه براتون قرار میدم .

 

 

با فایل robots.txt آشنا هستید ؟

 

در هر آموزش ، باید درباره ی موضوع کمی توضیح داد . خوب بیایید با این فایل آشنا بشیم . این فایل ، در واقع مجوز ربات های جستجوگر رو تعیین می کنه . این فایل در حقیقت به صورت کامل نمی تونه مانع Crawler ها بشه تا یک بخش رو ایندکس نکنند اما خوده گوگل (که مهم ترین موتورجستجو از نظر سئوکاراس) توصیه کرده که حتما این فایل روایجاد کنید . پس ما هم ایجاد می کنیم .

 

 

نحوه ی ساختاری این فایل !

 

این فایل از چند بخش مختلف تشکیل میشه . در خط اول همیشه باید نوع ربات های مورد خطاب خودمون رو تعیین کنیم .

 

 

User-Agent: *

 

 

این عنوان باید در این فایل قرار بگیره . نماد "*" (ستاره) به این معناست که ربات مورد خطاب ما ، هر رباتی هست که ممکنه وارد سایت ما بشه و بخواد چیزی رو ایندکس کنه .

 

بعد از این خط ، شما باید دایرکتوری یا فایل های مورد نظر خودتون رو لیست کنید .

فقط باید دقت داشته باشید که Allow و Disallow ها زیر هم باشند .مثلا یکی درمیون نکنید! همه ی Allow ها رو زیر هم ، بعد Disallow ها .

 

 

+ دقت کنید : توصیه شده اول Disallow ها رو لیست کنید بعد Allow ها.

 

 

نقشه سایت یا همون سایت مپ رو اضافه کنید .

 

 

Sitemap:  لینک ها تنها برای اعضای سایت قابل نمایش است.    لینک ها تنها برای اعضای سایت قابل نمایش است.  

 

 

هر چند تا که سایت مپ دارید به این صورت و زیر هم وارد کنید .

 

 

مهمترین قسمت های این فایل همینا بود . مابقی چیزا زیاد اهمیت نداره و ربات ها ممکنه بهش توجهی نکنند .

 

 

 

این فایل رو کجا باید بزارم ؟

 

این فایل باید در روت مکان نصب اسکریپت قرار بگیره. برای مثال ما یک ساب دامین ایجاد کردیم و در اون وردپرس نصب کرده ایم . ساب دامین یک پوشه ای در روت فایل منیجر به نام test ایجاد کرده . در اینصورت فایل ما باید در مسیر public_html/test قرار بگیره . یعنی آدرس فایل ما در یک سایت لینک ها تنها برای اعضای سایت قابل نمایش است. باید باشه . یا لینک ها تنها برای اعضای سایت قابل نمایش است.

 

 

 

چطوری معرفی کنم ؟

 

برای معرفی این فایل به ربات ها ، شما کاره خاصی نیازی نیست بکنید . چون اکثر ربات ها وقتی به سایتتون میان ، سعی می کنن فایل رو پیدا کنند . البته اگه فایل رو درست در مکان خودش قرار داده باشید .

 

اما در یکی از سایت های آموزش وردپرس ، در قسمت پشتیبانی هاش ، چیزی رو دیدم که از نظر خودم زیاد منطقی نیست اما لازم می دونم بگم .

 

در اون سایت (که حالا نمی گم کجا ولی سایت خارجی) ، گفته شده که شما می تونید فایل رو در پوشه ی دیگه ای قرار بدید اما باید در سورس سایت بهش لینک بدین که ربات بتونه وارد اون فایل بشه و شناسایی کنه.

 

در صورتی که گوگل توصیه کرده حتما باید در روت سایت قرار داشته باشه .

 

 

 

موارد بهینه سازی این فایل !

 

1. این فایل رو به هیچ وجه با تگ index یا noindex برچسب نزنید !

2. در صورت تمایل یک لینک مخفی به این فایل در سورس سایتتون ایجاد کنید . شناساندن فایل به ربات ها از طریق لینک در سورس می تونه به اجرای دستورات شما کمک کنه .

3. فایل ها رو به صورت تداخلی در فایل مجوز ندین . برای مثال شما دایرکتوری wp-content رو disallow کردید ولی در قسمت allow ها فایل wp-content/file.pdf رو مجاز کردید . در اینصورت ربات فایل هایی که مجاز می کنید اگه در دایرکتوری ای قرار بگیرند که غیرمجاز کرده باشید ، ایندکس نخواهند شد . پس سعی کنید فایل های مورد نظر برای مجوز دادن حتما از مسیر غیرمجاز ها مجزا باشند .

4. هرگز به ربات ها دستور ندهید که چه زمانی به سایت شما بیایند! اگر رباتی به دستور مجوز ساعت دسترسی شما عمل کند ممکن است سایت شما با مشکل بزرگی مواجه شود . چرا که ورود ربات ها به سایت شما زمان دقیقی نمی تواند داشته باشد . اگر شما زمانی تعیین کنید که ربات در آن زمان به سایت شما سر نزند، ممکن است با این کار ، ربات که قصد ورود به سایت شما در همان ساعت را دارد ، بازگشت خورده و پس از چندین بار و تکرار این مورد ، ورود ربات به سایت شما کاهش پیدا کند . چرا که ربات در هر بازدید توقع دارد چیزی را ایندکس کند ، ولی وقتی پس از چند بازدید و مواجه شدن با شکست در ورود به سایت شما و دست خالی بازگشتن ، از ورود مجدد به سایت شما خودداری می کند و شما را به عنوان یک سایت بدون فعالیت شناسایی و کنار خواهد گذاشت .

 

5. در Disallow کردن دایرکتوری و فایل ها با استفاده از نماد * دقت بالایی داشته باشید . چرا که ممکن است یک بخش عظیمی از سایت خود را غیرمجاز کنید! برای مثال شما می خواهید تمامی برچسب های موجود را disallow کنید ، پس شما از Disallow : /tags/* استفاده می کنید . در اینصورت تمامی برچسب های شما disallow خواهند شد و این طبیعی است . اما باید در موارد دیگر دقت بالایی داشته باشید .

 

6. خطر دریافت ارور و افت محبوبیت در موتورجستجوگر وجود دارد . اگر شما یک مسیر از سایت خود را غیرفعال کردید به صورتی که ورود به آن با ارور مواجه می شود ، تنها به disallow کردن آن در فایل robots.txt بسنده نکنید و در هاست خود ، در قسمت Error Pages باید آن ارور را ریدایرکت کنید .

 

:73:

ببینید فایل به این کوچکی چه ها می تواند بکند! من خسته شدم ، شما رو نمی دونم . اما بهتره این فایل رو جدی بگیرید . هر چند ممکنه ربات ها اونو جدی نگیرند! :136:

 

موفق باشید . اگه مفید بود تشکر یادتون نره . :biggrinsmiley: