hosting:crawl-delay

2.39. Ограничение частоты индексации

Индексирующие боты производят частые запросы к страницам сайта для актуализации информации и сохранения её в своих базах для последующей выдачи в поисковых системах. Работа этих ботов полезна, но иногда интервал между запросами или частота сканирования могут быть слишком высоки, в связи с чем будет возникать излишняя бесполезная нагрузка.

Для некоторых индексирующих ботов можно настроить ограничения:

Чтобы настроить интервал сканирования страниц (crawl-delay), выполните следующее:
  1. Авторизуйтесь или зарегистрируйтесь, если у вас ещё нет аккаунта, в Google Search Console.
  2. Добавьте и подтвердите домен в этой системе, если он не был подтверждён.
  3. Перейдите на страницу управления настройками частоты сканирования и выберите нужный ресурс:
  4. Установите переключатель напротив «Ограничить максимальную скорость сканирования Google», задайте нужное значение и нажмите «Сохранить»:
Чтобы настроить интервал сканирования страниц (crawl-delay), выполните следующее:
  1. Авторизуйтесь или зарегистрируйтесь, если у вас ещё нет аккаунта, в Яндекс.Вебмастер.
  2. Добавьте и подтвердите домен в этой системе, если он не был подтверждён.
  3. Выберите нужный сайт и перейдите в раздел «Индексирование → Скорость обхода»:
  4. Установите переключатель напротив «Задать вручную», задайте нужное значение и нажмите «Сохранить»:
  • hosting/crawl-delay.txt
  • Последнее изменение: 2020/04/25 18:45
  • zinenko