Различия

Показаны различия между двумя версиями страницы.

--- hosting:robots [2019/08/29 14:49]
karlov
+++ hosting:robots [2020/04/25 18:43] (текущий)
zinenko [Disallow]
@@ Строка 1: / Строка 1: @@
 ====== 2.38. robots.txt ======
-<note important>Директивы, указанные в файле ''robots.txt'', являются лишь рекомендациями для ботов, они не гарантируют их выполнение отдельными сервисами.</note>
+<alert type="warning">
+Директивы, указанные в файле ''robots.txt'', являются лишь рекомендациями для ботов, они не гарантируют их выполнение отдельными сервисами.
+</alert>
 Файл ''robots.txt'' состоит из групп правил, которые определяют поведение роботов на сайте.
-===== Важные моменты =====
+<button type="info" collapse="toc">Содержание</button>
+<collapse id="toc" collapsed="true">
+  * [[#Синтаксис]]
+  * [[#Основные директивы]]
+    * [[#User-agent]]
+    * [[#Disallow]]
+    * [[#Allow]]
+    * [[#Host]]
+    * [[#Crawl-delay]]
+    * [[#Sitemap]]
+</collapse>
+<callout type="danger">
+=== Важные моменты ===
   * Файл ''robots.txt'' должен иметь именно такое название и его кодировка должна быть UTF-8.
+  * Файл ''robots.txt'' не должен иметь размер более 32КБ.
   * Файл ''robots.txt'' должен находиться в [[hosting:my-sites:site-settings:root-dir|корневом каталоге сайта]]. То есть он должен быть доступен через браузер по адресу вида ''%%http://www.example.com/robots.txt%%''.
   * На одном сайте может существовать только один файл ''robots.txt''.
@@ Строка 13: / Строка 30: @@
   * По умолчанию **все** страницы сайта разрешены для обработки роботом. Запрет для определенных страниц производится при помощи директивы ''Disallow''.
   * Правила чувствительны к регистру.
+</callout>
 ===== Синтаксис =====
@@ Строка 29: / Строка 47: @@
 ===== Основные директивы =====
-<note important>Стоит учитывать, что указываемые в правилах адреса или имена чувствительны к регистру. Указание ''Example'' и ''example'' будет давать разный результат.</note>
+<alert type="warning">
+Стоит учитывать, что указываемые в правилах адреса или имена чувствительны к регистру. Указание ''Example'' и ''example'' будет давать разный результат.
+</alert>
 ==== User-agent ====
@@ Строка 48: / Строка 68: @@
 Запретить доступ ко всему сайту можно, указав: <code>Dissalow: /</code>Запрет к отдельным страницам можно указать так:<code>Dissalow: /admin</code>
-<note important>При указании ''/admin'' доступ будет запрещён к каталогу ''admin'' и файлам с таким именем, например ''admin.php'' и ''admin.html''. Для запрета доступа только к каталогу можно указать ''/admin/''.</note>
+<alert type="warning">
+При указании ''/admin'' доступ будет запрещён к каталогу ''admin'' и файлам с таким именем, например ''admin.php'' и ''admin.html''. Для запрета доступа только к каталогу можно указать ''/admin/''.
+</alert>
 ==== Allow ====
@@ Строка 88: / Строка 110: @@
 Sitemap: http://www.example.com/sitemap.xml
 </code>
-===== Другие статьи =====
-{{indexmenu>.#1|nsort tsort}}