Как скрыть от поисковых систем часть контента на странице (текст, часть страницы, ссылки)? И зачем?
Исследования алгоритмов
На некоторых сайтах имеет смысл скрыть часть контента от поисковых систем.
Как скрыть часть контента на страницах сайта от роботов поисковых систем?
Для каких целей следует скрывать содержание?
Разберемся с вопросами далее.
Зачем скрывать контент сайта от индексации?
Контент на сайте скрывается от поисковых систем для достижения различных целей.
Если скрыть часть контента от поискового краулера, то алгоритмы ранжирования обработают не всю страницу, а лишь ее часть. В результате поисковый оптимизатор может извлечь выгоду.
Если от поисковых систем часть сайта скрывается, то для пользователей весь контент остается полностью видимым.
Итак, какой контент имеет смысл скрывать и зачем? Например:
Ссылки для улучшения внутренней перелинковки на сайте. Улучшение достигается за счет оптимизации распределения статического ссылочного веса на сайте;
Часть текста для повышения релевантности страницы;
Часть страницы для улучшения ранжирования. Например, скрытие рекламных блоков со страницы, которые находятся в верхней части страницы. Если такие рекламные блоки не скрывать, то поисковая система после рендеринга на так называемом первом экране распознает нерелевантный контент, что не позволит сайту ранжироваться лучше;
Часть страницы для защиты от санкций поисковых систем. Например, часто требуется скрывать исходящие ссылки на различные сайты.
Есть еще множество различных ситуаций при которых требуется скрывать от поисковых систем часть страницы.
Например, поисковые системы пессимизируют сайты с реферальными ссылками. Такие сайты зарабатывают на партнерских отчислениях. С точки поисковых систем таких как Google подобные сайты не несут никакой дополнительной ценности для пользователя, а значит и не должны находиться среди лидеров поиска.
Если реферальные ссылки скрыть, проблем не будет.
Как скрыть от поисковых систем часть страницы?
На практике скрыть контент сайта от индексации можно используя разные способы.
Наиболее распространенным способом по скрытию текста от поисковых систем является использование подгрузки текста по параметру в хеш-ссылке. Исходя из заявлений Google, протокол HTTP/HTTPS не был разработан для такого использования, поэтому при использовании данного метода индексация не происходит.
Наиболее распространенным способом по скрытию ссылки от поисковых систем является использование контейнера div при создании ссылки.
Но что делать, если речь идет о создании системы для скрытия контента?
Какую технологию использовать? Основные требования следующие:
У пользователя на экране должен отображаться весь контент страницы сайта;
Для поисковой системы должен отдаваться не весь контент страницы сайта;
Способ должен быть условно белым, чтобы сложнее было найти повод для санкций.
В результате оптимальной технологией является та технология, которая официально:
Не поддерживается движком поисковой системы;
Поддерживается популярными браузерами.
Ситуация ухудшается тем, что Google обновил поисковый краулер. Теперь Google выполняет скрипты, написанные на современном JavaScript.
Рекомендованный материал в блоге MegaIndex по теме обновления краулера по ссылке далее — Google обновил поисковый краулер. Что изменилось? Как это повлияет на ранжирование?
Все приведенные способы основаны на принципах работы поискового краулера.
Но лазейка все еще есть. В результате обновления стала известна информация о принципах работы поискового краулера, используя которую можно сделать выводы о том, какие именно технологии поисковый робот не поддерживает, а значит не передает в систему ранжирования.
До начала этапа ранжирования происходит ряд процессов.
Весь процесс обработки информации до этапа ранжирования выглядит так:
После рендеринга происходит передача данных в систему ранжирования.
Если после рендеринга часть документа отсутствует, значит данная часть документа не будет участвовать и в ранжировании.
Теперь требуется разобраться с тем, какую технологию пока еще не поддерживает движок рендеринга. Применяя такую технологию на практике можно скрывать часть содержания страниц сайта от поисковой системы.
Итак, скрыть любую часть страницы от поисковой системы можно используя так называемые service workers.
Что такое сервис-воркеры? Сервис-воркеры — это событийный управляемый веб-воркер, регистрируемый на уровне источника и пути. Сервис-воркер может контролировать сайт, с которым ассоциируется, перехватывать и модифицировать запросы навигации и ресурсов.
Да, я вижу ваши лица. Подождите пугаться.
Если упростить, то сервис-воркером является программируемый сетевой проксификатор.
Иными словами, применяя сервис-воркер можно контролировать контент, который передаются пользователю.
В результате применения сервис-воркеров контент может изменяться. Поисковая система же обрабатывает такие корректировки, так как не поддерживает выполнения таких скриптов.
Почему метод эффективен в применении на практике? Сервис-воркеры поддерживаются всеми популярными браузерами и не поддерживаются движком рендеринга поисковой системы Google, через который данные передаются в систему ранжирования.
Следующие браузеры поддерживают сервис-воркеры:
Chrome;
Android Chrome;
Opera;
Safari;
iOS Safari;
Edge;
Firefox.
Задача поискового оптимизатора заключается в следующем:
Найти элементы, которые требуется скрыть от поисковой системы;
Если такие элементы есть, то передать задачу в отдел разработки и оповестить про способы реализации на практике;
Протестировать работу на примере одного документа путем использования программного решения Chrome Dev Tools или путем анализа кеша страницы в Google после индексации.
