Як заборонити індексацію сторінки robots.txt

36

Від автора: У вас на сайті є сторінки, які ви б не хотіли показувати пошуковим системам? З цієї статті ви дізнаєтеся докладно про те, як заборонити індексацію сторінки robots.txt чи правильно це і як взагалі правильно закривати доступ до сторінок.

Отже, вам потрібно не допустити індексацію якихось певних сторінок. Простіше всього це зробити в самому файлі robots.txt, додавши в нього необхідні рядки. Хочу зазначити, що адреси папок ми прописували щодо, url-адреси конкретних сторінок вказувати таким же чином, а можна прописати абсолютний шлях.

Припустимо, на моєму блозі є пару сторінок: контакти, про мене і мої послуги. Я б не хотів, щоб вони індексувалися. Відповідно, пишемо:

User-agent: *
Disallow: /kontakty/
Disallow: /about/
Disallow: /poslugi/

Природно, вказуємо справжні url-адреси. Якщо ж вам необхідно не індексувати сторінку http://blog.ru/about-me, то в robots.txt потрібно прописати так:

Disallow: /about-me/

Інший варіант

Відмінно, але це не єдиний спосіб закрити роботу доступ до певних сторінок. Другий – це розмістити в html-коді спеціальний мета-тег. Природно, розмістити тільки в тих записах, які треба закрити. Виглядає він так:

Тег повинен бути вміщений у контейнер < head в html-документі для коректної роботи. Як бачите, у нього два параметри. Name вказується як робот і визначає, що ці вказівки призначені для пошукових роботів.

Параметр ж content обов’язково повинен мати два значення, які вписуються через кому. Перше – заборона або дозвіл на індексацію текстової інформації на сторінці, друге – вказівку щодо того, індексувати чи посилання на сторінці.

Таким чином, якщо ви хочете, щоб сторінці взагалі не індексувалася, вкажіть значення noindex, nofollow, тобто не індексувати текст і заборонити перехід за посиланнями, якщо вони є. Є таке правило, що якщо тексту на сторінці немає, то вона не буде проіндексована. Тобто якщо весь текст закритий в noindex, то індексуватися нічому, тому нічого і не буде потрапляти в індекс.

Крім цього є такі значення:

noindex, follow – заборона на індексацію тексту, але дозвіл на перехід за посиланнями;

index, nofollow – можна використовувати, коли контент повинен бути взятий в індекс, але всі посилання в ньому повинні бути закриті.

index, follow – значення за замовчуванням. Все дозволяється.

Забороняється використовувати більше двох значень. Наприклад:

І будь-які інші. В цьому випадку ми бачимо протиріччя.

Підсумок

Найбільш зручним способом закриття сторінки для пошукового робота я бачу використання мета-тега. У такому випадку вам не потрібно буде постійно, сотні разів редагувати файл robots.txt щоб відкрити або закрити черговий url, а це рішення приймається безпосередньо при створенні нових сторінок.