فایل txt robots چیست؟ (آموزش دستورات او)

فایل txt robots چیست؟  (آموزش دستورات او)


قبل از اینکه به مفهوم فایل robots.txt بپردازیم، اجازه دهید با یک مثال شروع کنیم. تصور کنید که سایت شما مانند یک انجمن است که افراد زیادی هر روز از آن بازدید می کنند. اگر این سالن نزدیک درب ورودی لیدر نداشته باشد که مردم را راهنمایی کند، ممکن است سالن فرو بریزد و نظم آن به هم بخورد! اینجاست که فایل robots.txt به کار می آید.

استفاده از فایل robots.txt بسیار مهم است و اگر می خواهید عملکرد سایت خود را بهبود ببخشید پیشنهاد می شود از این فایل استفاده کنید. در این مقاله به مفهوم، معنی و نحوه استفاده از فایل robots.txt خواهیم پرداخت. در آینده با ما همراه باشید.

فایل robots.txt چیست؟

فقط افراد عادی از سایت شما بازدید نمی کنند. اما ربات های گوگل نیز در زمان های مختلف از سایت شما بازدید می کنند و به این کار خزیدن می گویند. ربات های گوگل به دلیل یافتن صفحات جدید یا نمایه سازی صفحات سایت از سایت شما بازدید می کنند.

فایل robots.txt یک فایل متنی است که نحوه خزیدن و ایندکس کردن صفحات سایت توسط روبات ها را مشخص می کند. یعنی به طور کلی راهنمایی هایی را برای ربات های گوگل برای بازدید و پیمایش سایت ارائه می دهد.

فایل robots.txt از پروتکل REF یا Robot Exclusion تشکیل شده است که شامل پیوندهای فالو و عدم فالو است. این فایل توسط وب‌مسترها برای روبات‌های گوگل ایجاد می‌شود تا به روبات‌ها آموزش دهد که کدام صفحات سایت را خزیدن یا فهرست‌بندی کنند و کدام صفحات را نکنند. بنابراین، اگر به عنوان یک متخصص سئو، مدیر سایت یا مدیر سایت کار می کنید، در ادامه این مقاله جزئیات بیشتری در مورد نحوه استفاده از این فایل به شما ارائه خواهد شد.

robots.txt چگونه کار می کند

ربات های گوگل به دو روش سایت ما را بررسی می کنند:

1- از طریق لینک
2- از طریق فایل robots.txt

– از طریق اتصالات

بررسی سایت ها توسط ربات های گوگل از طریق لینک به این صورت است که ربات های گوگل لینک های داخلی قرار داده شده در سایت را دنبال کرده و از آنها برای دسترسی به تغییرات و صفحات جدید سایت ما استفاده می کنند. در نتیجه، آنها تصمیم می گیرند که آیا صفحات جدید را ایندکس کنند یا خیر.

به عبارت دیگر ربات های گوگل ابتدا وارد وب سایت ما می شوند و از طریق لینک های صفحه اصلی و منوی سایت وارد صفحات جدید می شوند و اگر صفحات جدید لینک های داخلی داشته باشند آنها را فالو می کنند.

– از طریق فایل robots.txt

در روش اول، ربات های گوگل لینک ها را دنبال می کردند. اما اگر از فایل robots.txt در سایت خود استفاده کرده باشید، ابتدا ربات های گوگل به سراغ آن می روند و دستورالعمل های شما را می خوانند. به عبارت دیگر با استفاده از فایل robots.txt می توانید صفحاتی را که می خواهید توسط گوگل خزیده شوند انتخاب کنید و ربات های گوگل طبق دستور شما با استفاده از این فایل سایت را می خزند.

اهمیت استفاده از فایل robots.txt

شما می توانید با استفاده صحیح از فایل robots.txt عملکرد سایت خود را بهبود ببخشید و این فایل می تواند برای شما بسیار مفید باشد. در این قسمت به نکاتی می پردازیم که اهمیت استفاده از فایل robots.txt را برای شما روشن می کند.

– پیشگیری از آدمخواری

گاهی اوقات پیش می آید که دو صفحه از سایت شما در صفحه نتایج گوگل رتبه بندی می شود و در این حالت کاربر دو صفحه یکسان از وب سایت شما را می بیند. به این می گویند آدم خواری که برای ترافیک سایت شما خوب نیست.

هنگامی که این اتفاق می افتد، می توانید از فایل robots.txt برای شناسایی صفحات تکراری در سایت خود استفاده کنید و به آنها بگویید ایندکس نشوند.

– از ایندکس شدن فایل های خاصی در سایت خود جلوگیری کنید

اگر فایل هایی در سایت خود دارید که نمی خواهید در نتایج جستجوی گوگل (پی دی اف، عکس و ویدیو) نمایش داده شوند، به راحتی می توانید با دستور ایندکس نشدن توسط روبات ها از نمایش آنها در گوگل جلوگیری کنید. فایل txt این قابلیت می تواند برای سایت های فروش فایل و دوره های آموزشی بسیار مفید باشد.

– جلوگیری از نمایش بخشی از محتوای سایت شما

محتوایی در سایت شما وجود دارد که نمی خواهید در نتایج جستجوی گوگل (درباره ما و تماس با ما) ظاهر شود. در این صورت می توانید از طریق فایل robots.txt دستور ایندکس نشدن آنها را بدهید و از این امر جلوگیری کنید.

– مدیریت ترافیک ربات

اگر معیار خاصی برای بازدید ربات ها از صفحات سایت خود ندارید، تعداد ربات هایی که برای خزیدن از سایت شما بازدید می کنند بیشتر از زمانی است که شما این معیار را دارید.

خدمات میزبانی خاص؛ آنها محدودیت هایی دارند و ممکن است برخی از سایت ها به این دلیل با مشکل مواجه شوند. شما می توانید با استفاده از فایل robots.txt ترافیک ربات های گوگل را مدیریت کنید و از تداخل با سرور میزبان سایت خود جلوگیری کنید، در نتیجه تاثیر بهتری بر روی دید صفحات مهم شما دارد که می تواند منجر به Google Discover نیز.

انواع دستورات در فایل robots.txt

همانطور که در قسمت های قبلی ذکر شد، می توانید دستورات مختلفی را با استفاده از فایل robots.txt اعمال کنید، از جمله موارد زیر:

  • عامل کاربر
  • ممنوع است
  • AllowSitemap
  • خزیدن-تاخیر

در این قسمت به بررسی هر یک از این دستورات و کاربرد آنها می پردازیم.

* فرمان عامل کاربر

این دستور زمانی استفاده می شود که می خواهید یک ربات خاص را هدف قرار دهید. همچنین می توانید از کاراکتر * برای این دستور استفاده کنید که به معنای اعمال دستور بر روی همه ربات ها است. این دستور به روش های زیر استفاده می شود:

عامل کاربر:*

با در نظر گرفتن همه ربات ها

عامل کاربر:*……ربات

با توجه به یک ربات خاص

* فرمان ممنوعیت

می توانید از دستور Disallow برای تعیین اینکه ربات های گوگل در کدام صفحات وب سایت شما خزیده نشوند استفاده کنید. به عبارت دیگر کاربرد این دستور عدم نمایش محتوای مورد نظر در نتایج جستجوی گوگل است. نحوه استفاده از این دستور به شرح زیر است:

عامل کاربر:*

ممنوع کردن: / فایل

* دستور مجاز

با استفاده از دستور Allow، می‌توانید به ربات‌های Google اجازه دهید به پوشه‌ای که قبلاً فرمان Disallow را روی آن اعمال کرده‌اید دسترسی داشته باشند و فایلی را که انتخاب کرده‌اید بخزند. می توانید از دستور Allow در فایل robots.txt به صورت زیر استفاده کنید.

عامل کاربر:*

ممنوع کردن: / فایل

وضوح: /file/X.jpg

* نقشه سایت یا نقشه سایت را سفارش دهید

روش های زیادی برای دسترسی به نقشه سایت وجود دارد که یکی از رایج ترین آنها نوشتن نقشه سایت در فایل robots.txt است. توجه داشته باشید که با انجام این کار فایل نقشه سایت شما در موتورهای جستجوی مختلف مانند بینگ و فایرفاکس پشتیبانی می شود.

* تاخیر خزیدن

با استفاده از این دستور می توانید تعیین کنید که ربات ها چند ثانیه منتظر بمانند تا سایت شما را بخزند. این دستور می تواند مستقیماً بر سرعت بارگذاری سایت شما تأثیر بگذارد و باید بتوانید از آن به درستی استفاده کنید.

نحوه استفاده از فایل robots.txt

استفاده از فایل robots.txt بسیار آسان است و می توانید به سادگی با قرار دادن یک عبارت در انتهای آدرس سایت خود به فایل robots.txt دسترسی داشته باشید و دستورات مختلفی را بر روی آن اعمال کنید. با افزودن پسوند robots.txt/ به آدرس سایت خود می توانید به فایل robots.txt دسترسی پیدا کنید.

همچنین اگر می خواهید فایل robots.txt را ویرایش کنید یا دستورات ذکر شده در قسمت های قبل را روی این فایل اعمال کنید، می توانید به تب Root سایت خود رفته و فایل robots.txt را در آنجا مشاهده کنید.

نکاتی در مورد نحوه استفاده بهتر از فایل robots.txt

برای استفاده از این فایل، مطمئن شوید که محتوا یا قسمت‌هایی از سایت خود را که می‌خواهید خزیده و فهرست‌بندی شوند را مسدود نکنید.
توصیه می شود برای جلوگیری از نمایش محتوای حساس در نتایج جستجو از فایل robots.txt استفاده نکنید. زیرا استفاده از دستور Disallow در این فایل تضمین نمی کند که محتوایی که انتخاب می کنید خزیده و ایندکس نشود و برای آن باید از دستور متن Noindex استفاده کنید.

آخرین کلمه

در این مقاله از ایران هاست (ارائه دهنده خدمات ثبت دامنه.ir) با بررسی فایل robots.txt، موارد استفاده و نحوه استفاده از آن همراه شما بوده ایم. باید گفت که ویژگی های زیادی مانند فایل robots.txt وجود دارد که می توانید از آنها برای بهبود عملکرد سایت و پیشی گرفتن از رقبای خود استفاده کنید. پس بهتر است به تحقیق در مورد این ابزار و امکانات ادامه دهید و هر روز در مورد یکی از آنها مطالعه کنید.