حذف صفحه در گوگل چگونه است؟

گاهی اوقات صفحات وب دیگر به کسب و کار شما مرتبط نیستند. یا ممکن است دلایل دیگری برای حذف یک صفحه وب داشته باشید. اما حذف صفحات می تواند باعث سئو یا مشکلات تجربه کاربر شود.

حذف صفحه از گوگل، یا همان فرآیند نمایه‌زدایی (Deindexing)، یکی از مهم‌ترین اقدامات برای حذف یک URL از نتایج جستجو است.

در این مقاله آموزش سئو  از سایت سئو آلفا ، روش‌های کارآمد و ساده‌ای را برای حذف کامل URL از فهرست گوگل با شما به اشتراک می‌گذاریم تا بتوانید کنترل بیشتری روی محتوای آنلاین خود داشته باشید.

چرا باید یک URL یا دامنه را از گوگل Deindexing کنید؟

فهرست جستجوی گوگل در واقع یه مخزن بزرگ از میلیون‌ها صفحه وبه که ربات‌های گوگل به مرور زمان اطلاعاتشون رو جمع‌آوری کردن.

وقتی شما یه چیزی رو توی گوگل سرچ می‌کنید، این موتور جستجو سریع از توی این فهرست عبور می‌کنه و نتایجی رو که فکر می‌کنه به درخواست شما نزدیک‌تره، بر اساس یه سری فاکتورها، نشون میده.

اکثر مواقع، صاحبان سایت‌ها دوست دارن که صفحاتشون توی نتایج گوگل نمایش داده بشه تا ترافیک بیشتری به سایتشون جذب کنن.

اما گاهی پیش میاد که شما نمی‌خواید یه URL توی نتایج گوگل ظاهر بشه یا حتی می‌خواید صفحه‌ای که قبلاً نشون داده شده رو حذف کنید.

دلایل مختلفی برای این کار وجود داره که چرا شاید نخواید یه صفحه وب توی گوگل نمایش داده بشه. چند تا از این دلایل رو براتون آوردیم تا با این قضیه بیشتر آشنا بشید:

1- محتوای تکراری

وقتی دو صفحه با محتوای خیلی شبیه به هم دارید، حذف یکی از اون‌ها از گوگل می‌تونه براتون کلی مفید باشه.

البته استفاده از URL متعارف (Canonical) تو این جور مواقع می‌تونه کمک‌کننده باشه، ولی اگه هدف صفحه مثلاً اجرای یه کمپین گوگل ادوردز باشه که از محتوای دیگه‌ی سایتتون استفاده کرده، شاید نخواید اون صفحه تو نتایج جستجوی ارگانیک دیده بشه.

حتی ممکنه (هرچند خیلی بعیده) این صفحه به عنوان محتوای تکراری شناخته بشه. بیشتر وقت‌ها صفحات فرود (Landing Pages) مربوط به گوگل ادوردز خیلی روی تبدیل (Conversion) تمرکز دارن و ممکنه استایل و محتوای اون‌ها با بقیه‌ی سایتتون فرق داشته باشه.

در چنین شرایطی، حذف این صفحات از نتایج جستجو می‌تونه انتخاب بهتری باشه تا محتوای سایتتون منسجم‌تر بشه و تأثیر منفی نداشته باشه.

2- مطالب قدیمی

4روش کاربردی صفحات از گوگل

1-آموزش حذف سایت از گوگل با ابزار removal

حذف یک سایت از گوگل با استفاده از ابزار Removals در Google Search Console رو می‌تونید با چند مرحله ساده انجام بدید.

این ابزار به شما این امکان رو میده که به طور موقت یا دائم صفحات یا کل سایتتون رو از نتایج جستجوی گوگل خارج کنید. برای این کار مراحل زیر رو دنبال کنید:

1. وارد شدن به Google Search Console

ابتدا به حساب کاربری Google Search Console خودتون وارد بشید. مطمئن بشید که سایت یا دامنه‌ای که می‌خواهید حذف کنید، در کنسول ثبت شده و شما بهش دسترسی دارید.

2. دسترسی به ابزار Removals

بعد از ورود به Google Search Console، از منوی سمت چپ به بخش Indexing برید و از اونجا گزینه Removals رو انتخاب کنید. در این قسمت می‌تونید درخواست حذف صفحه یا دامنه خودتون رو ثبت کنید.

3. ثبت درخواست حذف

برای حذف کردن صفحات یا کل سایتتون، روی دکمه New Request کلیک کنید. حالا دو گزینه بهتون نمایش داده میشه:

• Remove this URL only: فقط یه صفحه خاص رو از نتایج جستجوی گوگل حذف می‌کنه.
• Remove all URLs with this prefix: همه صفحات و زیرصفحه‌های مرتبط با اون URL رو حذف می‌کنه. اگه بخواید کل سایت رو حذف کنید، باید از این گزینه استفاده کنید.

4. وارد کردن URL یا مسیر موردنظر

در این مرحله، URL یا مسیری که می‌خواید حذف بشه رو وارد کنید. اگه می‌خواید کل سایتتون رو حذف کنید، باید به شکل زیر مسیر اصلی سایت رو وارد کنید:

اگر می‌خواید پوشه یا دسته‌ای از صفحات رو حذف کنید، می‌تونید مسیر اون‌ها رو وارد کنید، مثل:

5. تأیید درخواست حذف

بعد از وارد کردن URL، روی دکمه Submit کلیک کنید تا درخواست شما ثبت بشه. گوگل شروع به پردازش درخواست شما می‌کنه و پس از بررسی، صفحات یا سایت مورد نظر از نتایج جستجو حذف میشه.

6. پیگیری وضعیت درخواست

می‌تونید وضعیت درخواست حذف رو از همین بخش Removals پیگیری کنید. درخواست شما یا پذیرفته میشه و صفحات حذف میشن، یا دلایلی برای عدم حذف ارائه میشه که می‌تونید اونا رو بررسی و اصلاح کنید.

نکات مهم:

• این ابزار به صورت موقتی صفحات رو حذف می‌کنه و بعد از مدتی ممکنه دوباره صفحات ایندکس بشن. اگه می‌خواید یه حذف دائمی داشته باشید، باید از متا تگ‌های noindex یا ریدایرکت‌های 410 استفاده کنید.
• استفاده از ابزار Removals بیشتر برای مواقعی توصیه میشه که باید به سرعت محتوایی رو از نتایج جستجوی گوگل خارج کنید.

با این روش ساده می‌تونید سایتتون رو از گوگل حذف کنید و در صورت نیاز دوباره ایندکس بشه

البته استفاده از این ابزار همیشه توصیه نمیشود. برای مطالعه بیشتر درباره موارد تذکر داده شده توسط گوگل در عدم استفاده از remove URLs به صفحه When NOT to use the URL removal tool مراجعه کنید.

2- استفاده از متا تگ noindex

استفاده از متا تگ noindex یکی از ساده‌ترین و موثرترین روش‌ها برای جلوگیری از ایندکس شدن صفحات وب‌سایت در گوگل و دیگر موتورهای جستجو است. این تگ به خزنده‌های موتورهای جستجو می‌گوید که محتوای صفحه را بررسی کنند، اما آن را در نتایج جستجو نمایش ندهند. حالا ببینیم چطور میشه این تگ رو به صفحات اضافه کرد و به چه نکاتی باید دقت کنیم.

چرا از متا تگ noindex استفاده کنیم؟

گاهی ممکنه صفحه‌ای در وب‌سایت داشته باشید که نمی‌خواید در نتایج جستجوی گوگل نمایش داده بشه. مثلا:

• صفحات موقت یا تستی
• صفحاتی با محتوای تکراری
• صفحات آرشیو یا دسته‌بندی
• صفحه‌هایی که حاوی اطلاعات حساس یا شخصی هستند در این موارد، استفاده از تگ noindex می‌تونه بهترین روش برای جلوگیری از ایندکس شدن باشه.

چگونه متا تگ noindex را به صفحه اضافه کنیم؟

اضافه کردن متا تگ noindex خیلی ساده است. فقط باید این تگ رو در بخش <head> صفحه HTML خودتون قرار بدید:

<meta name=”robots” content=”noindex, follow”>

توضیح محتویات این تگ:

• noindex: این به موتورهای جستجو می‌گوید که صفحه نباید ایندکس بشه و در نتایج جستجو نمایش داده نشه.
• follow: به موتورهای جستجو می‌گه که لینک‌های موجود در این صفحه رو دنبال کنند، حتی اگر صفحه خودش ایندکس نشده باشه. (این بخش اختیاریه ولی بهتره اضافه بشه.)

مثال کاربردی:

فرض کنید یک صفحه در سایت خودتون دارید با آدرس example.com/test و نمی‌خواید این صفحه در نتایج گوگل نمایش داده بشه. باید تگ زیر رو در بخش <head> اون صفحه وارد کنید:

<!DOCTYPE html>
<html lang=”fa”>
<head>
<meta charset=”UTF-8″>
<meta name=”robots” content=”noindex, follow”>
<title>صفحه تست</title>
</head>
<body>
<h1>این یک صفحه تستی است</h1>
</body>
</html>

چگونه مطمئن شویم صفحه ایندکس نشده؟

بعد از اینکه متا تگ noindex رو به صفحه اضافه کردید، برای اینکه مطمئن بشید صفحه از ایندکس گوگل خارج شده، می‌تونید یکی از این روش‌ها رو امتحان کنید:

1. از ابزار Google Search Console استفاده کنید و ببینید وضعیت ایندکس صفحه چطوره.
2. جستجوی URL در گوگل: چند روز بعد از اضافه کردن تگ noindex، می‌تونید URL صفحه رو توی گوگل جستجو کنید و ببینید آیا هنوز در نتایج هست یا نه.

نکات مهم:

• اگر می‌خواید فقط بخشی از صفحات رو حذف کنید و نه کل وب‌سایت، استفاده از این تگ بهترین گزینه است.
• Robots.txt نمی‌تونه صفحات رو از ایندکس گوگل حذف کنه؛ فقط اجازه دسترسی خزنده‌های موتورهای جستجو به فایل‌های خاص رو محدود می‌کنه. اگر هدف شما حذف کامل از نتایج جستجو است، باید حتما از تگ noindex استفاده کنید.
• بهتره در کنار noindex، از ریدایرکت 410 هم در مواقع لازم استفاده کنید (مثل وقتی که می‌خواید صفحه به‌طور کامل حذف بشه).

چه زمانی نباید از تگ noindex استفاده کرد؟

• اگر قصد دارید صفحه‌ای همچنان برای کاربران و موتورهای جستجو قابل مشاهده باشه و فقط نمی‌خواید یه سری از لینک‌های صفحه ایندکس بشن، بهتره از تگ nofollow استفاده کنید.
• در مواقعی که می‌خواید کل سایت رو برای همیشه حذف کنید، استفاده از ریدایرکت 410 ممکنه گزینه بهتری باشه.

با استفاده صحیح از متا تگ noindex، می‌تونید کنترل بیشتری روی صفحاتی که در نتایج گوگل نمایش داده میشن داشته باشید و به راحتی از ایندکس شدن محتوای غیرضروری جلوگیری کنید.

3-استفاده صحیح از ریدایرکت 410

استفاده صحیح از ریدایرکت 410 یکی از روش‌های موثر برای مدیریت صفحات وب‌سایت است که دیگر در دسترس نیستند. ریدایرکت 410 به موتورهای جستجو و کاربران می‌گوید که یک صفحه به‌طور دائم حذف شده است و دیگر وجود ندارد. در اینجا به توضیح استفاده صحیح از ریدایرکت 410 و نکات مربوط به آن می‌پردازیم.

چرا از ریدایرکت 410 استفاده کنیم؟

ریدایرکت 410 (Gone) به موتورهای جستجو اطلاع می‌دهد که:

• صفحه به‌طور دائم حذف شده است: برخلاف ریدایرکت 404 (Not Found) که فقط به معنی عدم وجود صفحه است، ریدایرکت 410 به‌طور واضح بیان می‌کند که صفحه قبلاً وجود داشته و به‌طور عمدی حذف شده است.
• تنظیمات جستجو بهینه‌تر می‌شود: با استفاده از این ریدایرکت، موتورهای جستجو می‌توانند به‌سرعت صفحه را از نتایج جستجو حذف کنند، زیرا می‌دانند که این صفحه هرگز دوباره در دسترس نخواهد بود.
• تجربه کاربری بهتر: اگر کاربرانی به صفحات حذف شده مراجعه کنند، با پیغام 410 مواجه می‌شوند که به آن‌ها توضیح می‌دهد که صفحه دیگر وجود ندارد، و می‌توانند به راحتی به صفحات دیگر سایت هدایت شوند.

چگونه ریدایرکت 410 را پیاده‌سازی کنیم؟

برای پیاده‌سازی ریدایرکت 410، می‌توانید از روش‌های مختلفی استفاده کنید. یکی از رایج‌ترین روش‌ها استفاده از فایل .htaccess در سرورهای Apache است:

مثال استفاده از .htaccess:

برای ریدایرکت یک صفحه خاص به وضعیت 410، می‌توانید خط زیر را به فایل .htaccess خود اضافه کنید:

Redirect 410 /old-page.html

برای چندین صفحه:

اگر می‌خواهید چندین صفحه را به وضعیت 410 ریدایرکت کنید، می‌توانید از موارد زیر استفاده کنید:

• Redirect 410 /old-page1.html
• Redirect 410 /old-page2.html
• Redirect 410 /old-page3.html

چه زمانی نباید از ریدایرکت 410 استفاده کرد؟

• صفحات موقتی: اگر صفحه‌ای فقط به‌طور موقت حذف شده و احتمال بازگشت آن وجود دارد، بهتر است از ریدایرکت 404 یا 302 استفاده کنید.
• صفحات مهم: اگر صفحه‌ای مهم است و شما به دلیل تغییراتی آن را حذف کرده‌اید، بهتر است از ریدایرکت 301 (Permanent) به صفحه جدید استفاده کنید.

4-بلاک کردن دایرکتوری در robots.txt

بلاک کردن یک دایرکتوری در فایل robots.txt یکی از روش‌های مؤثر برای مدیریت دسترسی ربات‌های موتور جستجو به محتوای وب‌سایت شما است.

با استفاده از این فایل می‌توانید تعیین کنید که کدام قسمت‌های وب‌سایت برای ربات‌ها قابل دسترسی نیستند. در ادامه، نحوه انجام این کار را توضیح می‌دهم.

نحوه بلاک کردن دایرکتوری در فایل robots.txt

1. دسترسی به فایل robots.txt:
   • این فایل معمولاً در ریشه وب‌سایت شما قرار دارد. به عنوان مثال، اگر وب‌سایت شما example.com باشد، فایل robots.txt باید در example.com/robots.txt موجود باشد.
   • اگر این فایل وجود ندارد، می‌توانید یک فایل متنی جدید بسازید و آن را با نام robots.txt ذخیره کنید.
2. نحوه بلاک کردن دایرکتوری:
   • برای بلاک کردن یک دایرکتوری خاص، از دستور Disallow استفاده می‌شود. به عنوان مثال، اگر می‌خواهید دایرکتوری /private را بلاک کنید، باید به شکل زیر عمل کنی

User-agent: *
Disallow: /private/

• • در این مثال:
    • User-agent: * به معنی این است که تمام ربات‌ها باید این دستور را دنبال کنند.
    • Disallow: /private/ به ربات‌ها می‌گوید که نمی‌توانند به دایرکتوری /private دسترسی داشته باشند.

بلاک کردن فایل‌های خاص:

• همچنین می‌توانید فایل‌های خاص را نیز بلاک کنید. به عنوان مثال، برای بلاک کردن تمام فایل‌های با پسوند .pdf در دایرکتوری /downloads، می‌توانید از دستور زیر استفاده کنید:

User-agent: *
Disallow: /downloads/*.pdf

تست فایل robots.txt:

• بعد از ایجاد یا ویرایش فایل robots.txt، بهتر است با استفاده از ابزارهای تست Google Search Console یا دیگر ابزارهای مشابه، اطمینان حاصل کنید که دستورات به درستی کار می‌کنند و ربات‌ها نمی‌توانند به دایرکتوری‌های بلاک شده دسترسی پیدا کنن

نتیجه نهایی

حذف صفحات وب گاهی اوقات یک امر ضروری است. خواه صرفاً تعمیر و نگهداری منظم وب سایت باشد یا نیاز به خلاص شدن از شر محتوایی که دیگر معتبر نیستند، مطمئن باشید راه هایی برای مدیریت این امر وجود دارد تا تأثیر سئو و تجربه کاربر را به حداقل برسانید.

اگر می‌خواهید برای شناسایی نقاط ضعیف محتوای وب‌سایت خود کمک کنید، تیم‌  متخصص سئو و محتوا  سئو آلفا می‌توانند به شما کمک کنند. برای دریافت قیمت و مشاوره سئو رایگان خدمات سئو با ما تماس بگیرید.

برگرفته از مقالات زیر

How To Remove A Page From Google
How to remove a web page from Google’s index