daily pastebin goal
66%
SHARE
TWEET

Untitled

a guest Nov 21st, 2017 42 Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
  1. User-agent: *               # общие правила для роботов, кроме Яндекса и Google,
  2.                             # т.к. для них правила ниже
  3. Disallow: /cgi-bin          # папка на хостинге
  4. Disallow: /?                # все параметры запроса на главной
  5. Disallow: */wp-             # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
  6. Disallow: /wp/              # если есть подкаталог /wp/, где установлена CMS (если нет,
  7.                             # правило можно удалить)
  8. Disallow: *?s=              # поиск
  9. Disallow: *&s=              # поиск
  10. Disallow: /search/          # поиск
  11. Disallow: /author/          # архив автора
  12. Disallow: /users/           # архив авторов
  13. Disallow: */trackback       # трекбеки, уведомления в комментариях о появлении открытой
  14.                             # ссылки на статью
  15. Disallow: */feed            # все фиды
  16. Disallow: */rss             # rss фид
  17. Disallow: */embed           # все встраивания
  18. Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не используете,
  19.                             # правило можно удалить)
  20. Disallow: */xmlrpc.php       # файл WordPress API
  21. Disallow: *utm=             # ссылки с utm-метками
  22. Disallow: *openstat=        # ссылки с метками openstat
  23. Allow: */uploads            # открываем папку с файлами uploads
  24.  
  25. User-agent: GoogleBot       # правила для Google (комментарии не дублирую)
  26. Disallow: /cgi-bin
  27. Disallow: /?
  28. Disallow: */wp-
  29. Disallow: /wp/
  30. Disallow: *?s=
  31. Disallow: *&s=
  32. Disallow: /search/
  33. Disallow: /author/
  34. Disallow: /users/
  35. Disallow: */trackback
  36. Disallow: */feed
  37. Disallow: */rss
  38. Disallow: */embed
  39. Disallow: */wlwmanifest.xml
  40. Disallow: */xmlrpc.php
  41. Disallow: *utm=
  42. Disallow: *openstat=
  43. Allow: */uploads
  44. Allow: /*/*.js              # открываем js-скрипты внутри /wp- (/*/ - для приоритета)
  45. Allow: /*/*.css             # открываем css-файлы внутри /wp- (/*/ - для приоритета)
  46. Allow: */wp-*.png            # картинки в плагинах, cache папке и т.д.
  47. Allow: */wp-*.jpg            # картинки в плагинах, cache папке и т.д.
  48. Allow: */wp-*.jpeg           # картинки в плагинах, cache папке и т.д.
  49. Allow: */wp-*.gif            # картинки в плагинах, cache папке и т.д.
  50. Allow: */wp-admin/admin-ajax.php # используется плагинами, чтобы не блокировать JS и CSS
  51.  
  52. User-agent: Yandex          # правила для Яндекса (комментарии не дублирую)
  53. Disallow: /cgi-bin
  54. Disallow: /?
  55. Disallow: */wp-
  56. Disallow: /wp/
  57. Disallow: *?s=
  58. Disallow: *&s=
  59. Disallow: /search/
  60. Disallow: /author/
  61. Disallow: /users/
  62. Disallow: */trackback
  63. Disallow: */feed
  64. Disallow: */rss
  65. Disallow: */embed
  66. Disallow: */wlwmanifest.xml
  67. Disallow: */xmlrpc.php
  68. Allow: */uploads
  69. Allow: /*/*.js
  70. Allow: /*/*.css
  71. Allow: */wp-*.png
  72. Allow: */wp-*.jpg
  73. Allow: */wp-*.jpeg
  74. Allow: */wp-*.gif
  75. Allow: */wp-admin/admin-ajax.php
  76. Clean-Param: utm_source&utm_medium&utm_campaign # Яндекс рекомендует не закрывать
  77.                             # от индексирования, а удалять параметры меток,
  78.                             # Google такие правила не поддерживает
  79. Clean-Param: openstat       # аналогично
  80.  
  81. # Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
  82. # не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
  83. Sitemap: https://facebodyart.com/ru/sitemap.xml
  84. Sitemap: https://facebodyart.com/sitemap.xml
  85.  
  86. # Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
  87. # то пишем протокол, если нужно указать порт, указываем). Команду Host понимает
  88. # Яндекс и Mail.RU, Google не учитывает.
  89. Host: https://facebodyart.com
RAW Paste Data
Top