جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو
در برخی از مواقع، صاحبان وبسایتها یا توسعهدهندگان تصمیم میگیرند که مانع ایندکس شدن سایت یا بخشهایی از آن توسط موتورهای جستجو شوند. این اقدام معمولاً به دلایل خاصی انجام میشود که موارد زیر مهمترین و اصلیترین آنها به شمار میآیند:
وبسایتهایی که هنوز در مراحل اولیه توسعه یا رفع اشکال هستند، نباید برای عموم قابل مشاهده باشند. در این مرحله، محتوای سایت ممکن است ناقص یا پر از خطا باشد و نمایش آن در نتایج جستجو میتواند به تصویر حرفهای سایت آسیب برساند. استفاده از محیطهای آزمایشی، مانند استیجینگ در وردپرس، میتواند راهکاری مناسب برای آزمایش سایت بدون نگرانی از ایندکس شدن باشد.در ادامه اگر از محیطهای استیجینگ روی سرورهای اختصاصی یا مجازی استفاده میکنید، باید مطمئن شوید تنظیمات فنی بهدرستی انجام شده باشد؛ زیرا یک کانفیگ سرور اصولی میتواند از ایندکس شدن ناخواسته این محیطهای آزمایشی جلوگیری کند.
اگر قصد دارید وبسایتی با دسترسی محدود، مانند یک پلتفرم دعوتنامهای یا مختص اعضا راهاندازی کنید، ایندکس شدن آن در موتورهای جستجو میتواند تمام هدف محدودیت را زیر سؤال ببرد. چنین سایتهایی نیاز دارند که تنها برای افراد مشخصی قابل دسترسی باشند و در نتایج جستجو ظاهر نشوند.
معمولا توسعهدهندگان یا مدیران وب برای آزمایش و ارزیابی تحولات یا مشخصههای تازه، ادیشنای کپی از سایت اصلی ایجاد میکنند. این وبسایتهای آزمایشی معمولاً حاوی دادههای هستند که برای عموم طراحی نشدهاند. ایندکس شدن این صفحات میتواند باعث سردرگمی کاربران و حتی مشکلاتی برای SEO سایت اصلی شود.
روشهای مختلفی برای محدود کردن دسترسی موتورهای جستجو وجود دارد که شما میتوانید بسته به نوع نیاز و هدف وبسایت، بهترین گزینه را انتخاب کنید. مواردی که در ادامه معرفی میکنیم، مهمترین روشهای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو هستند:
یکی از سادهترین و موثرترین روشها برای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو در وردپرس، تنظیم فایل robots.txt است. این فایل به موتورهای جستجو اطلاع میدهد که کدام بخشهای سایت نباید کراول (ارزیابی) شوند. در وردپرس، این کار به دو روش قابل انجام است که در ادامه هریک از آنها را شرح میدهیم.
وردپرس یک گزینه داخلی دارد که به شما توانایی میدهد بدون نیاز به اصلاحات دستی در فایلها، موتورهای جستجو را از ایندکس کردن سایت منصرف کنید. مراحل انجام این کار به شرح زیر است:
با این کار، وردپرس بهصورت خودکار ویرایش فایل robots.txt را برای شما انجام میدهد و موتورهای جستجو را از ایندکس کردن سایت منصرف میکند.
برای کسانی که ترجیح میدهند کنترل بیشتری بر تنظیمات داشته باشند، ویرایش دستی فایل robots.txt گزینه مناسبی است. مراحل این روش عبارتاند از:
User-agent: * Disallow: /
این کد به موتورهای جستجو میگوید که از ایندکس کردن کل سایت خودداری کنند. اگر میخواهید تنها یک صفحه خاص ایندکس نشود، آدرس آن صفحه را به جای (/) وارد کنید، به عنوان مثال:
Disallow: /blog/food-review-2019
نکته حرفهای
در هنگام ویرایش فایل robots.txt، به حساسیت حروف (case sensitivity) دقت کنید. اشتباه در نگارش دستورات میتواند منجر به کراول شدن ناخواسته یا بروز خطا شود. بهطورکلی این روشها به شما قابلیت میدهند بهسادگی و با کنترل مفصل، دسترسی موتورهای جستجو به سایت یا بخشهای خاصی از آن را مدیریت کنید.
یکی دیگر از روشهای مؤثر برای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو، محافظت از وردپرس با استفاده از رمز عبور است. موتورهای جستجو و رباتهای وب نمیتوانند به فایلهای محافظتشده با پسورد دسترسی پیدا کنند، بنابراین استفاده از این روش میتواند یک راهکار ساده و کارآمد برای محدود کردن دسترسی به سایت شما باشد. در اینجا چند روش برای محافظت از سایت وردپرس با پسورد آورده شده است:
یکی از روشهای موثر برای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو، ایجاد حفاظت رمز عبور برای کل سایت است. اگر هاست وردپرس شما قابلیت دسترسی به cPanel را فراهم میآورد، میتوانید با استفاده از این ابزار از سایت خود در برابر دسترسیهای غیرمجاز و ایندکس شدن توسط موتورهای جستجو محافظت کنید. در ادامه مراحل انجام این کار را بیان میکنیم:
علاوه بر روشهای دستی، استفاده از پلاگینها نیز یکی از راههای راحت و مؤثر برای محافظت از سایت به شمار میآید. پلاگین Password Protected یکی از پلاگینهای محبوب در این زمینه است که با ادیشنهای تازه وردپرس سازگار است و استفاده از آن پیچیدگی خاصی ندارد.
پس از نصب و فعالسازی پلاگین، به مسیر Settings → Password Protected بروید و تنظیمات پلاگین را طبق نیاز خود پیکربندی کنید.
محافظت با پسورد یکی از امنترین روشها برای جلوگیری از ایندکس شدن سایت است، زیرا دسترسی به محتوای سایت را به حداقل میرساند و فقط کاربران مجاز قادر به مشاهده آن خواهند بود. این روش برای سایتهایی که در مراحل توسعه هستند یا برای پروژههای خصوصی بسیار مناسب است.
حذف صفحات ایندکسشده از گوگل، یک روش آسان و سریعتر برای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو است. در واقع اگر سایت شما قبلاً توسط گوگل ایندکس شده است و حالا میخواهید آن را از نتایج جستجو حذف کنید، باید از ابزارهای گوگل استفاده کنید.
گوگل ابزارهایی دارد که به شما قابلیت میدهد بهراحتی صفحات ایندکسشده را از نتایج جستجو بردارید. در اینجا مراحل حذف صفحات از گوگل آمده است:
اولین قدم این است که Google Search Console را برای سایت خود تنظیم کنید. این ابزار به شما قابلیت میدهد تا به طور مفصل بر وضعیت ایندکس صفحات سایت خود نظارت داشته باشید.
در بخش Removals، روی دکمه Temporarily hide کلیک کنید و URL صفحهای را که میخواهید از گوگل حذف شود، وارد کنید. در پنجره تازهی که باز میشود، گزینه Clear URL from cache and temporarily remove from search را انتخاب کرده و سپس Submit Request را بزنید.
پس از انجام این مراحل، گوگل صفحه را به طور موقت از نتایج جستجو حذف میکند. البته برای جلوگیری از ایندکس شدن مجدد آن، باید از روشهای قبلی مانند ویرایش robots.txt یا محافظت با پسورد استفاده کنید.
بدون شک یکی از سادهترین و مؤثرترین روشها برای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو، استفاده از متا تگ “noindex” است. این تگ به موتورهای جستجو دستور میدهد که صفحهای را ایندکس نکنند و در حاصل آن صفحه در نتایج جستجو ظاهر نخواهد شد.
برای افزودن این متا تگ به یک صفحه، کافی است کد زیر را در بخش کد HTML صفحه قرار دهید:
این کار باعث میشود که موتورهای جستجو از ایندکس کردن آن صفحه خودداری کنند. البته اگر از سیستمهای مدیریت محتوا (CMS) مانند وردپرس استفاده میکنید و دسترسی به کد منبع ندارید، میتوانید از پلاگینهایی مانند Yoast SEO برای افزودن این تگ استفاده کنید. این پلاگینها به شما فرصت میدهند که بدون نیاز به دستکاری مستقیم کد، این تنظیمات را اعمال کنید.
اگر قصد دارید علاوه بر جلوگیری از ایندکس شدن، لینکهای موجود در صفحه نیز توسط موتورهای جستجو دنبال نشوند (برای مثال، در صفحاتی مانند صفحات تأیید ثبتنام یا خریداری که نمیخواهید لینکهای خاصی ایندکس شوند)، میتوانید به شکل زیر از ترکیب “noindex” و “nofollow” استفاده کنید.
این کار به موتور جستجو دستور میدهد که نه تنها صفحه را ایندکس نکند، بلکه لینکهای آن صفحه را نیز دنبال نکند.
برای جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو، میتوانید از روش استفاده از هدر HTTP X-Robots-Tag هم استفاده کنید. این هدر مانند متا تگ “noindex” عمل میکند، با این تفاوت که به هدر پاسخ HTTP صفحه اضافه میشود. در واقع این روش معمولاً زمانی کاربرد دارد که بخواهید کنترل بیشتری روی نحوه ایندکس شدن صفحات سایت توسط موتورهای جستجو داشته باشید.
برای اضافه کردن X-Robots-Tag به هدر HTTP، شما باید به فایلهای سرور خود دسترسی داشته باشید. علاوه بر این بسته به مرورگری که استفاده میکنید، ممکن است استفاده از ابزارهای توسعهدهنده مانند ModHeader یا Modify Header Value در گوگل کروم ضروری باشد. این ابزارها به شما کمک میکنند که که هدرهای HTTP را به طور موقت یا دائمی تغییر دهید. در اینجا چند نمونه از نحوه استفاده از X-Robots-Tag آمده است:
بهطورکلی این روش به شما کمک میکند که برای هر موتور جستجو، تنظیمات خاص خود را اعمال کنید. برای مثال، میتوانید از دستور “nofollow” برای رباتهای گوگل استفاده کنید، در حالی که رباتهای دیگر ممکن است صفحه را ایندکس نکنند و یا دنبال کردن لینکها را انجام ندهند.
جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو به دلایل مختلفی انجام میشود، به همین دلیل باید با روشهای انجام آن آشنا شوید تا در مواقع ضروری بتوانید در کمترین زمان ممکن جلوی ایندکس شدن صفحات و یا بخشهای مختلف سایت را بگیرید.
روشهای مختلفی برای جلوگیری از ایندکس شدن سایت وجود دارد که هرکدام بسته به نیاز و شرایط شما قابل استفاده هستند. در این گزارش ابتدا شما را با دلایل مختلف جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو آشنا کردیم و سپس روشهای مختلف آن را به طور جامع بیان دادیم. اگر همچنان درباره جلوگیری از ایندکس شدن سایت سوال خاصی دارید، از طریق بخش کامنتها با ما به اشتراک بگذارید.
جلوگیری از ایندکس شدن سایت میتواند در مواقعی که سایت شما در حال توسعه، آزمایش یا شامل دادهها حساس است، مفید باشد. این کار به جلوگیری از نمایش محتوای ناتمام یا خصوصی در نتایج جستجو کمک میکند و تجربه کاربری بهتری را فراهم میآورد.
بله، شما میتوانید از ابزار Google Search Console برای حذف موقت صفحات ایندکسشده استفاده کنید. این کار صفحات را از نتایج جستجو خارج میکند، اما برای جلوگیری از ایندکس شدن مجدد، باید روشهای دیگری مانند استفاده از “noindex” را اعمال کنید.
بله، موتورهای جستجو قادر به دسترسی به صفحات محافظتشده با پسورد نیستند. استفاده از این روش برای جلوگیری از ایندکس شدن سایتهای خصوصی و آزمایشی مؤثر است.
این روش زمانی مفید است که شما بخواهید نهتنها از ایندکس شدن صفحه جلوگیری کنید، بلکه مانع از پیگیری لینکهای موجود در آن صفحه شوید. این گزینه معمولاً در صفحاتی مانند صفحات تشکر یا تأیید تهیه کاربرد دارد.
https://www.hostinger.com/tutorials/prevent-search-engines-from-indexing-wordpress
https://www.ilfusion.com/how-to-prevent-google-from-indexing-certain-web-pages
