hosting:robots

Различия

Показаны различия между двумя версиями страницы.

Ссылка на это сравнение

Предыдущая версия справа и слева Предыдущая версия
Следующая версия
Предыдущая версия
hosting:robots [2019/08/29 14:49]
karlov
hosting:robots [2020/04/25 18:43] (текущий)
zinenko [Disallow]
Строка 1: Строка 1:
 ====== 2.38. robots.txt ====== ====== 2.38. robots.txt ======
  
-<note important>Директивы, указанные в файле ''robots.txt'', являются лишь рекомендациями для ботов, они не гарантируют их выполнение отдельными сервисами.</note>+<alert type="warning"> 
 +Директивы, указанные в файле ''robots.txt'', являются лишь рекомендациями для ботов, они не гарантируют их выполнение отдельными сервисами. 
 +</alert>
  
 Файл ''robots.txt'' состоит из групп правил, которые определяют поведение роботов на сайте. Файл ''robots.txt'' состоит из групп правил, которые определяют поведение роботов на сайте.
  
-===== Важные моменты =====+<button type="info" collapse="toc">Содержание</button> 
 + 
 +<collapse id="toc" collapsed="true"> 
 +  * [[#Синтаксис]] 
 +  * [[#Основные директивы]] 
 +    * [[#User-agent]] 
 +    * [[#Disallow]] 
 +    * [[#Allow]] 
 +    * [[#Host]] 
 +    * [[#Crawl-delay]] 
 +    * [[#Sitemap]] 
 +</collapse> 
 + 
 +<callout type="danger"> 
 +=== Важные моменты ===
  
   * Файл ''robots.txt'' должен иметь именно такое название и его кодировка должна быть UTF-8.   * Файл ''robots.txt'' должен иметь именно такое название и его кодировка должна быть UTF-8.
 +  * Файл ''robots.txt'' не должен иметь размер более 32КБ.
   * Файл ''robots.txt'' должен находиться в [[hosting:my-sites:site-settings:root-dir|корневом каталоге сайта]]. То есть он должен быть доступен через браузер по адресу вида ''%%http://www.example.com/robots.txt%%''.   * Файл ''robots.txt'' должен находиться в [[hosting:my-sites:site-settings:root-dir|корневом каталоге сайта]]. То есть он должен быть доступен через браузер по адресу вида ''%%http://www.example.com/robots.txt%%''.
   * На одном сайте может существовать только один файл ''robots.txt''.   * На одном сайте может существовать только один файл ''robots.txt''.
Строка 13: Строка 30:
   * По умолчанию **все** страницы сайта разрешены для обработки роботом. Запрет для определенных страниц производится при помощи директивы ''Disallow''.   * По умолчанию **все** страницы сайта разрешены для обработки роботом. Запрет для определенных страниц производится при помощи директивы ''Disallow''.
   * Правила чувствительны к регистру.   * Правила чувствительны к регистру.
 +</callout>
  
 ===== Синтаксис ===== ===== Синтаксис =====
Строка 29: Строка 47:
 ===== Основные директивы ===== ===== Основные директивы =====
  
-<note important>Стоит учитывать, что указываемые в правилах адреса или имена чувствительны к регистру. Указание ''Example'' и ''example'' будет давать разный результат.</note>+<alert type="warning"> 
 +Стоит учитывать, что указываемые в правилах адреса или имена чувствительны к регистру. Указание ''Example'' и ''example'' будет давать разный результат. 
 +</alert>
  
 ==== User-agent ==== ==== User-agent ====
Строка 48: Строка 68:
 Запретить доступ ко всему сайту можно, указав: <code>Dissalow: /</code>Запрет к отдельным страницам можно указать так:<code>Dissalow: /admin</code> Запретить доступ ко всему сайту можно, указав: <code>Dissalow: /</code>Запрет к отдельным страницам можно указать так:<code>Dissalow: /admin</code>
  
-<note important>При указании ''/admin'' доступ будет запрещён к каталогу ''admin'' и файлам с таким именем, например ''admin.php'' и ''admin.html''. Для запрета доступа только к каталогу можно указать ''/admin/''.</note>+<alert type="warning"> 
 +При указании ''/admin'' доступ будет запрещён к каталогу ''admin'' и файлам с таким именем, например ''admin.php'' и ''admin.html''. Для запрета доступа только к каталогу можно указать ''/admin/''. 
 +</alert>
  
 ==== Allow ==== ==== Allow ====
Строка 88: Строка 110:
 Sitemap: http://www.example.com/sitemap.xml Sitemap: http://www.example.com/sitemap.xml
 </code> </code>
- 
-===== Другие статьи ===== 
- 
-{{indexmenu>.#1|nsort tsort}} 
  • hosting/robots.1567079371.txt.gz
  • Последнее изменение: 2019/08/29 14:49
  • karlov