فایل راهنمای خزندهها فایلی در ریشه دامنه است که به خزندهها درباره مسیرهایی که ترجیح میدهید خزش نشوند راهنمایی میدهد. این فایل برای مدیریت خزش استفاده میشود و نباید آن را جایگزین سیستم امنیتی، رمز عبور یا روش قطعی حذف صفحه از نتایج جستجو بدانید.
ساختار پایه فایل راهنمای خزندهها
دستور User-agent مشخص میکند قوانین برای کدام خزنده نوشته شدهاند. علامت ستاره یعنی همه. دستور Disallow مسیرهایی را معرفی میکند که نباید خزش شوند. در انتهای فایل نیز میتوان آدرس نقشه سایت را معرفی کرد.
User-agent: *
Disallow: /private/
Sitemap: https://example.com/sitemap.xmlفایل راهنمای خزندهها ابزار امنیت نیست
اگر یک پوشه اطلاعات خصوصی دارد، فقط قرار دادن آن در فایل راهنمای خزندهها کافی نیست. این فایل عمومی است و حتی میتواند نام مسیر را نشان دهد. اطلاعات حساس باید با دسترسی مناسب در سطح سایت یا سرور محافظت شوند.
عدم دسترسی با حذف از ایندکس یکی نیست
هدف اصلی عدم دسترسی کنترل خزش است. اگر صفحهای از جای دیگری لینک شده باشد، رفتار ایندکس میتواند به عوامل دیگری هم وابسته باشد. برای مدیریت ایندکس باید ساختار کامل صفحه و روش مناسب آن را بررسی کنید.
مسیرها را با دقت بنویسید
یک اسلش اشتباه میتواند مسیر بزرگتری از چیزی که انتظار دارید تحت تأثیر قرار دهد. قبل از جایگزینی فایل، مسیرهای مهم مثل صفحات محصول، مقاله، دستهبندی و فایلهای ضروری را بررسی کنید.
نقشه سایت را اضافه کنیم؟
اگر سایت نقشه سایت دارد، معرفی آدرس آن در فایل راهنمای خزندهها کار رایجی است و دسترسی به نقشه سایت را ساده میکند. مطمئن شوید نشانی وب دقیق و قابل دسترسی است.
چکلیست قبل از انتشار
- فایل را روی دامنه آزمایشی یا محیط کنترلشده بررسی کنید.
- مطمئن شوید مسیرهای مهم به اشتباه عدم دسترسی نشدهاند.
- آدرس نقشه سایت صحیح باشد.
- از فایل راهنمای خزندهها برای محافظت از اطلاعات محرمانه استفاده نکنید.
- بعد از تغییر، صفحات اصلی سایت را دوباره بررسی کنید.
برای ساخت یک نسخه پایه میتوانید از سازنده فایل راهنمای خزندهها رفل استفاده کنید و سپس آن را با ساختار واقعی سایت خود تطبیق دهید.