متا تگ robots

با استفاده از متا تگ ها میتوانید بسیاری از مسائل مهم را به روبات های موتورهای جستجو بفهمانید به این شکل که برای هر مسئله ای یک دستور در متا تگ ها ایجاد می کنید و شما میتوانید دستورات خود را از قبیل دستورات بازدارنده را به روبات های جستجو گر بفهمانید تا طبق خواسته شما سایت را مورد بررسی قرار دهند .
با استفاده از متا تگ robots میتوانید جزئیات دستورات خود را به طور دقیق تری عنوان کنید متا تگ های robots دارای دو نوع هستند :

1. به شکل کدهای html
2. هدر های http

در ادامه پارامترهایی که در متا تگ ها استفاده میشود را مورد بررسی قرار می دهیم .این پارامتر ها به حروف کوچک و بزرگ حساسیتی نشان نمی دهند اما رفتار و برداشت روباتهای موتور های جستجو امکان دارد کمی متفاوت از یکدیگر باشد :
پارامتر های ایندکس صفحات

Index : زیاد و به طور حتم استفاده از این پارامتر توصیه نمی شود زیرا روبات های موتور های جستجو به طور پیش فرض تمامی صفحات را ایندکس می کنند و با درج این پارامتر به روبات ها دستور ایندکس صفحه را می دهید .

Noindex : با درج این پارامتر به روبات ها دستور می دهید این صفحه را ایندکس نکنند .

Follow : اگر از این دستور استفاده کنید روبات ها تمامی صفحات حتی انهایی را که از پارامتر Noindex استفاده کرده اند را هم بررسی می کند و تمامی لینکهای درج شده در این صفحات را اعتبار سنجی می کند و نسبت به ان لینکها را رتبه بندی می کند .

Nofollow: با استفاده از این پارامتر به روباتها دستور می دهید که هیچ لینکی را بررسی نکند و انها را رتبه بندی نکند .

Noimageindex : با استفاده از این کد دستوری روبات ها را از بررسی تصاویر و ایندکس کردن تصاویر منع می کند .

None : زمانی که میخواهید به روبات ها دستور بدهید که نه صفحه را ایندکس کنند و نه لینکهای داخل صفحه را بررسی کنند و اعتبار بدهند از این پارامتر میتوان استفاده کرد که معنای دو پارامتر Noindex و Nofollow را می دهند .

Noarchive :اگر میخواهید که لینک کش صفحه در نتایج جستجوی موتورهای جستجو نمایش داده نشود از این پارامتر استفاده کنید .

Nocache : مانند عملکرد پارامتر Noarchive را انجام می دهد با این تفاوت که پارامتر Nocache برای مرور گرهای فایر فاکس و اینترنت اکسپلورر و موتور های جستجوی MSN/Live استفاده می شود .

Nosnippet : این پارامتر به روبات های موتور جستجو دستور می دهد که توضیحات صفحه یا متای توضیحات (تگ Description ) را در نتایج جستجوی موتورها نمایش ندهد .

Noodyp: بعضی از سایتها کارشان جمع آوری اطلاعات دیگر سایتها میباشد که موتورهای جستجو برای نمایش اطلاعات از اطلاعات این سایتها استفاده می کنند که اصطلاحا" به این سایتها , سایتهای دایرکتوری گفته می شود با استفاده از این پارامتر به روباتها دستور می دهید که توضیحات سایت شما را در سایتهای دایرکتوری نمایش ندهد .

Noydir : مانند دستور Noodyp عمل می کند اما فقط مختص دایرکتورهای یاهو میباشد .دیگر موتورهای جستجو نمی توانند از توضیحات سایت شما که در دایرکتوری های یاهو درج شده است استفاده کنند .

Unavailable_after : با استفاده از این پارامتر به روبات ها دستور می دهید که از تاریخی که مشخص شده است دیگر صفحه را ایندکس نکنند .

از تمامی پارامتر های گفته شده در دو نوع متا تگ های robots میتوا ن استفاده کرد x-robots-tagو meta robots tag

تگ meta robots tag در قسمت کدهای html به کار برده می شود .
نمونه های کد های استفاده شده :

تگ X-robots

نکاتی که در مورد استفاده از این متا تگ ها میتواند اهمیت داشته باشد :