|
مقالات و سایت های مخفی اینترنت را چگونه بیابیم؟
این عنوان یکی از مقالاتی بود که چند روز گذشته در وب سایت Helpero ارسال شده بود. عنوان صفحه طوری بود که کاربر را کنجکاو کند تا به متن مقاله نگاهی بیاندازد. من نیز از روی همین کنجکاوی، مقاله نه چندان بلند آن را مطالعه کردم! نویسنده در 5 مرحله کاربر را راهنمایی می کند تا بتواند صفحاتی را که تحت وب به صورت مخفی در آمده اند را بیابد. در اینجا منظور از مخفی بودن، به صفحاتی اشاره می شود که به وسیله Robots.txt از دید موتورهای جستجو پنهان می شوند. متن زیر ترجمه (برداشت) آزادی است از این نوشته که برای این پست آن را در نظر گرفته ام. 
در اینترنت صاحبان وب سایت های زیادی وجود دارند که بعضی از صفحات سایت خود را از دید موتور های جستجو پنهان می کنند. اما حالا به وسیله Robots.txt شما توانایی این را دارید که اینگونه صفحه ها را به سادگی پیدا کنید. Robots.txt همانطور که از پسوند آن پیداست، فایلی است متنی که در ریشه اصلی سایت قرار می گیرد و به وسیله آن می توان فهرست شدن صفحات را توسط روبوت های جستجو کنترل کرد. اگر در این فایل از خاصیت disallow استفاده شود، صفحات مورد اشاره از دید موتور های جستجو مخفی می مانند. اطلاعات بیشتر در مورد نحوه استفاده از Robots.txt را می توانید در این پست مشاهده نمایید.
ادامه مطلب یادتون نره ...
نوشته شده توسط
علیرضا در
دوشنبه 6 خرداد 1387
و ساعت
02:05 ق.ظ
صفحه اصلی
ارسال این لینک به دوستان در یاهو مسنجر
لینك
این مطلب
نظرات
()
|