Если в поиске всплывают страница входа, регистрация, корзина, внутренний поиск, результаты фильтров или другие технические URL, их обычно не нужно продвигать. Задача не в том, чтобы «спрятать всё подряд», а в том, чтобы правильно разделить страницы, которые должны быть доступны пользователю, и страницы, которые не должны попадать в индекс.
Для WordPress это решается тремя основными способами: метатегом noindex, запретом обхода в robots.txt и настройками SEO-плагинов. Выбор зависит от того, нужно ли поисковику видеть страницу, но не показывать её в выдаче, или вообще не тратить на неё обход.
Что именно обычно закрывают от индексации
В первую очередь речь о страницах, которые не несут самостоятельной ценности для поиска и часто создают дубли или мусорный трафик. На практике это:
- страница входа в админку и формы авторизации;
- страница регистрации, если она есть на сайте;
- корзина, оформление заказа, личный кабинет;
- внутренний поиск по сайту и страницы результатов поиска;
- страницы фильтров, сортировок и параметров в каталоге;
- служебные архивы, если они не нужны в выдаче;
- страницы благодарности, технические подтверждения, временные URL.
Не стоит автоматически закрывать всё, что выглядит «непубличным». Например, карточки товаров, категории, полезные статьи и посадочные страницы фильтров иногда как раз должны индексироваться. Ошибка здесь чаще всего в том, что закрывают не служебные URL, а важные страницы с трафиком.
Когда использовать noindex, а когда robots.txt
Самая частая путаница — считать, что robots.txt и noindex решают одну и ту же задачу. На практике это разные инструменты.
| Способ | Что делает | Когда подходит | Ограничение |
|---|---|---|---|
noindex | Разрешает обход страницы, но просит не показывать её в индексе | Для страниц, которые должны открываться пользователю, но не нужны в поиске | Страница должна быть доступна для обхода, иначе поисковик может не увидеть метатег |
robots.txt | Запрещает поисковому роботу обходить URL | Для технических разделов, где не нужно тратить краулинговый бюджет | Запрет на обход не гарантирует удаление уже проиндексированного URL из выдачи |
| Настройки SEO-плагина | Автоматически ставят noindex или управляют архивами и таксономиями | Когда нужно массово закрыть типы страниц без ручной правки шаблонов | Зависит от плагина и темы, иногда требует проверки шаблонов |
Если страница должна быть доступна по прямой ссылке, но не нужна в поиске, обычно выбирают noindex. Если это служебный URL, который не должен обходиться вообще, можно дополнительно ограничить его в robots.txt. Но для уже проиндексированных страниц один только robots.txt часто недостаточен: робот может перестать заходить на страницу, но URL ещё какое-то время останется в выдаче без сниппета.
Как закрыть страницу от индексации через SEO-плагин
Если на сайте установлен SEO-плагин, это самый безопасный путь для большинства владельцев WordPress. В популярных плагинах можно задать noindex для отдельных типов страниц, архивов, таксономий и служебных разделов без правки кода.
Обычно логика такая:
- для страниц входа, регистрации, корзины и личного кабинета — ставите
noindex, если плагин позволяет управлять мета-роботами для конкретного URL или типа страницы; - для результатов поиска по сайту — закрываете шаблон поиска от индексации;
- для архивов с параметрами, фильтрами и сортировками — настраиваете
noindexдля страниц с параметрами или для конкретных архивов таксономий; - для служебных архивов автора, дат и вложений — отключаете индексацию, если они не дают трафик и не нужны в поиске.
Если плагин позволяет редактировать мета-теги на уровне конкретной страницы, проверьте, чтобы для служебных URL был установлен именно noindex, follow или аналогичный вариант, если ссылки на странице должны передавать вес дальше. Для страниц, которые вообще не должны участвовать в поиске, этого обычно достаточно.
После изменения настроек не полагайтесь только на интерфейс плагина. Откройте страницу в браузере и проверьте исходный код: в <head> должен быть метатег robots с noindex, если вы выбрали этот способ.
Когда имеет смысл править robots.txt
robots.txt полезен для URL, которые не должны тратить ресурсы поискового робота: внутренний поиск, бесконечные параметры сортировки, технические папки, временные адреса. Но использовать его нужно аккуратно.
Хороший сценарий для robots.txt — когда вы хотите ограничить обход заведомо бесполезных URL, а не просто убрать страницу из выдачи. Например, если сайт генерирует десятки вариантов одного и того же фильтра с параметрами в адресе, запрет на обход части таких URL помогает уменьшить мусор в логах и снизить количество дублей.
Плохой сценарий — закрывать в robots.txt страницу, которую уже нужно убрать из индекса. Если робот не сможет её обойти, он может не увидеть метатег noindex и не поймёт, что страницу надо удалить из выдачи. Поэтому для уже опубликованных и проиндексированных URL сначала обычно ставят noindex, а не только запрет в robots.
Если вы редактируете robots.txt вручную, делайте это только после проверки, что правила не заденут важные разделы сайта. Ошибочный запрет на обход CSS, JS, медиафайлов или всего каталога может ухудшить рендеринг страниц и повлиять на SEO сильнее, чем сама служебная страница.
Как закрыть от индексации результаты поиска и фильтры
Внутренний поиск и фильтры — частый источник дублей. Поисковая система видит множество URL с похожим или пустым содержимым, а пользы для пользователя в выдаче от них мало.
Для страниц результатов поиска обычно применяют noindex. Это самый предсказуемый вариант: пользователь может искать по сайту, а поисковик не будет показывать такие страницы в выдаче. Если у вас есть отдельный шаблон результатов поиска, его лучше закрывать на уровне темы или SEO-плагина, а не вручную для каждой страницы.
С фильтрами сложнее. Если фильтр создаёт полезную посадочную страницу с понятным спросом и уникальным содержимым, её можно оставить открытой. Если же это техническая комбинация параметров, которая только размножает дубли, её закрывают от индексации. Здесь важно не переборщить: иногда именно фильтрованные страницы приводят целевой трафик, и массовый запрет убирает полезные URL из поиска.
Практическое правило простое: если URL существует только для удобства навигации внутри сайта и не должен ранжироваться сам по себе, ему обычно не место в индексе.
Что проверить после настройки
После закрытия служебных страниц от индексации проверьте не только сам URL, но и то, как он выглядит для поискового робота.
- Откройте страницу в браузере и посмотрите исходный код: должен быть метатег
robotsсnoindex, если вы использовали этот способ. - Проверьте, не закрыт ли случайно важный контент вместе со служебными страницами.
- Если меняли
robots.txt, убедитесь, что он не блокирует CSS, JS и нужные разделы сайта. - Посмотрите в Google Search Console, как робот видит URL, и есть ли сообщения о блокировке обхода или исключении из индекса.
Если страница уже была в индексе, удаление может занять время. Это нормально: поисковик не обновляет базу мгновенно. Для ускорения обычно достаточно корректного noindex и повторного обхода страницы.
Типичные ошибки, из-за которых страница всё равно остаётся в выдаче
Самая частая ошибка — поставить запрет в robots.txt и ждать, что URL сразу исчезнет из поиска. Если страница уже известна поисковику, одного запрета обхода может не хватить.
Вторая ошибка — закрыть не тот URL. В WordPress это легко случается с архивами, страницами пагинации, результатами поиска и параметрами фильтров: визуально они похожи, но правила для них нужны разные.
Третья ошибка — использовать несколько конфликтующих способов одновременно. Например, на странице стоит noindex, но она же закрыта в robots.txt. В таком случае поисковик может не увидеть метатег и не поймёт, что делать с URL.
Четвёртая ошибка — закрыть от индексации страницу, которая приносит трафик или помогает пользователю найти нужный раздел. Перед изменениями полезно проверить статистику и посмотреть, какие URL уже дают переходы из поиска.
Если нужен более простой способ управлять техническими страницами и дублями без ручной правки шаблонов, можно посмотреть SEO-плагины с настройками индексации. Например, в Clearfy Pro есть инструменты для чистки сайта и управления дублями: https://wpshop.ru/plugins/clearfy?utm_source=wpdesk.ru&utm_medium=article&utm_campaign=zakryt-ot-indeksacii-sluzhebnye-stranicy-wordpress
Главная идея здесь не в том, чтобы закрыть как можно больше URL, а в том, чтобы оставить в индексе только те страницы WordPress, которые реально нужны пользователю и могут приносить поисковый трафик. Для служебных страниц обычно достаточно noindex, для части технических URL уместен robots.txt, а для массового управления удобнее использовать настройки SEO-плагина.