В этой статье мы ответим на пять часто задаваемых вопросов и подробно объясним, зачем закрывать страницы от индексации сайта от поисковых систем.

Сканеры поисковых систем сканируют все данные в Интернете. Тем не менее, владельцы сайтов могут ограничить или запретить доступ к своему ресурсу. Для этого необходимо закрыть сайт от индексации через системный файл robots.txt.

Если вам не нужно закрывать сайт полностью, заблокируйте поисковую индексацию отдельных страниц. Пользователи не должны видеть в поиске бэк-офис сайта, личные кабинеты, устаревшую информацию из раздела акций или календаря. Также необходимо закрыть от индексации скрипты, всплывающие окна, баннеры и тяжелые файлы. Это поможет сократить время индексации и нагрузку на сервер.

Причины закрытия страниц от индексации

Владелец сайта желает, чтобы потенциальный клиент нашел его веб-ресурс в результатах поиска, а поисковая система, в свою очередь, готова предоставить пользователю ценную и актуальную информацию. Только те страницы, которые имеют смысл в результатах поиска, должны быть открыты для индексации.

Рассмотрим причины, по которым стоит убрать индексацию с сайта или отдельных страниц:

1. Контент не несет смысловой нагрузки для поисковой системы и пользователей или вводит их в заблуждение.
2. Такой контент может включать технические и административные страницы сайта, а также информацию о персональных данных. Кроме того, некоторые страницы могут создавать иллюзию дублирования контента, что является нарушением и может привести к штрафным санкциям на всем ресурсе.

Нерациональное использование краулингового бюджета

Краулинговый бюджет — это определенное количество страниц сайта, которые может просканировать поисковая система. Мы заинтересованы в том, чтобы тратить ресурсы сервера только на ценные и качественные страницы. Чтобы быстро и эффективно проиндексировать важный контент ресурса, нужно закрыть ненужный контент от сканирования.

Какие страницы следует убрать из индексации

Страницы сайта в разработке

Если проект еще в разработке, лучше закрыть сайт от поисковых систем. Рекомендуется разрешить доступ для обхода полных и оптимизированных страниц, которые рекомендуется отображать в результатах поиска. При разработке сайта на тестовом сервере следует ограничить доступ к нему с помощью файла robots.txt, без индекса и пароля.

Копии сайта

При настройке копии сайта важно правильно указать зеркало с помощью 301 редиректа или атрибута rel="canonical", чтобы поддерживать рейтинг существующего ресурса и сообщать поисковой системе: где сайт-источник, а где является его клоном. Скрывать рабочий ресурс от индексации крайне нежелательно. Тем самым вы рискуете сбросить возраст сайта и приобретенную репутацию.

Печатные страницы

Печатные страницы могут быть полезны посетителю. Необходимая информация может быть распечатана в адаптированном текстовом формате: статья, информация о продукте, схема расположения компании.

По сути, печатная страница является копией своей основной версии. Если эта страница открыта для индексации, поисковый робот может выбрать ее в качестве приоритетной и посчитать более релевантной. Чтобы правильно оптимизировать веб-сайт с большим количеством страниц, вы должны удалить проиндексированные страницы для печати.

Для закрытия ссылки на документ можно использовать вывод контента с помощью AJAX, закрыть страницы с помощью метатега или закрыть все проиндексированные страницы от индексации в robots. .текст.

Ненужные документы

Помимо страниц с основным содержанием, на сайте могут быть доступны для чтения и скачивания документы в форматах PDF, DOC, XLS. Наряду со страницами в результатах поиска можно увидеть заголовки pdf-файлов.

Возможно, содержимое этих файлов не соответствует потребностям целевой аудитории сайта. Либо документы появляются в результатах поиска над html страницами сайта. В этом случае индексация документов нежелательна, и их лучше закрыть от сканирования в файле robots.txt.

Пользовательские формы и элементы

Сюда входят все страницы, полезные для клиентов, но не несущие информационной ценности для других пользователей и, как следствие, поисковых систем. Это может быть форма регистрации и заявки, корзина, личный кабинет. Доступ к таким страницам должен быть ограничен.

Технические данные веб-сайта

Технические страницы предназначены только для официального использования администратором. Например, форма входа в панель управления.

Личная информация о клиенте

Эти данные могут содержать не только имя и фамилию зарегистрированного пользователя, но и контактную и платежную информацию, сохраненную после оформления заказа. Эта информация должна быть защищена от просмотра.

Сортировка страниц

Структурные особенности этих страниц делают их похожими. Чтобы снизить риск санкций со стороны поисковых систем за дублированный контент, рекомендуем убрать их из индексации.

Страницы пагинации

Хотя эти страницы частично дублируют содержание главной страницы, удалять их из индексации не рекомендуется; вместо этого нужно установить атрибут rel="canonical", атрибуты rel="prev" и rel="next", указать, какие параметры разбивают страницы в разделе "URL-параметры" в Google Search Console, или намеренно оптимизировать их.

Как закрыть страницы от индексации

Метатег robots со значением noindex в html-файле

Если в html-коде страницы есть атрибут noindex, это сигнал для поисковой системы не индексировать ее в результатах поиска. Чтобы использовать метатеги, вам нужно добавить в заголовок

соответствующего html-документа.

При использовании этого метода страница будет закрыта для сканирования, даже если на нее есть внешние ссылки.

Чтобы закрыть от индексации текст (или отдельный фрагмент текста), а не всю страницу, используйте html-тег: text .

Файл robots.txt

Вы можете заблокировать доступ ко всем выбранным страницам в этом документе или запретить поисковым системам индексировать сайт.

Вы можете ограничить индексацию страниц через файл robots.txt следующим образом:

User-agent: * #search engine name

Disallow: /catalog/ #partial or full page URL to be closed

Для эффективного использования этого метода следует проверить наличие внешних ссылок на раздел сайта, который вы хотите скрыть, а также изменить все внутренние ссылки, ведущие на него.

htaccess файл конфигурации

Вы можете ограничить доступ к сайту паролем с помощью этого документа. В файле паролей .htpasswd необходимо указать Username пользователей, которые могут иметь доступ к нужным страницам и документам. Далее укажите путь к этому файлу с помощью специального кода в файле .htaccess.

• AuthType Basic
• AuthName "Password Protected Area"
• AuthUserFile path to the file with password
• Require valid-user

Удаление URL-адресов через службы для веб-мастеров

В Google Search Console вы можете удалить страницу из результатов поиска, указав URL в специальной форме и указав причину, по которой ее необходимо удалить. Эта опция доступна в разделе Google Index. Обработка запроса может занять некоторое время.

Управление индексами — важный шаг SEO. Он должен не только оптимизировать эффективность страниц для трафика, но и скрывать контент, который не имеет никакой пользы для индексации.

Ограничение доступа к определенным страницам и документам сэкономит ресурсы поисковых систем и ускорит индексацию всего сайта.