daily pastebin goal
49%
SHARE
TWEET

Untitled

a guest Nov 21st, 2017 45 Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
  1. User-agent: *               # общие правила для роботов, кроме Яндекса и Google,
  2.                             # т.к. для них правила ниже
  3. Disallow: /cgi-bin          # папка на хостинге
  4. Disallow: /?                # все параметры запроса на главной
  5. Disallow: */wp-             # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
  6. Disallow: /wp/              # если есть подкаталог /wp/, где установлена CMS (если нет,
  7.                             # правило можно удалить)
  8. Disallow: *?s=              # поиск
  9. Disallow: *&s=              # поиск
  10. Disallow: /search/          # поиск
  11. Disallow: /author/          # архив автора
  12. Disallow: /users/           # архив авторов
  13. Disallow: */trackback       # трекбеки, уведомления в комментариях о появлении открытой
  14.                             # ссылки на статью
  15. Disallow: */feed            # все фиды
  16. Disallow: */rss             # rss фид
  17. Disallow: */embed           # все встраивания
  18. Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не используете,
  19.                             # правило можно удалить)
  20. Disallow: */xmlrpc.php       # файл WordPress API
  21. Disallow: *utm=             # ссылки с utm-метками
  22. Disallow: *openstat=        # ссылки с метками openstat
  23. Allow: */uploads            # открываем папку с файлами uploads
  24.  
  25. User-agent: GoogleBot       # правила для Google (комментарии не дублирую)
  26. Disallow: /cgi-bin
  27. Disallow: /?
  28. Disallow: */wp-
  29. Disallow: /wp/
  30. Disallow: *?s=
  31. Disallow: *&s=
  32. Disallow: /search/
  33. Disallow: /author/
  34. Disallow: /users/
  35. Disallow: */trackback
  36. Disallow: */feed
  37. Disallow: */rss
  38. Disallow: */embed
  39. Disallow: */wlwmanifest.xml
  40. Disallow: */xmlrpc.php
  41. Disallow: *utm=
  42. Disallow: *openstat=
  43. Allow: */uploads
  44. Allow: /*/*.js              # открываем js-скрипты внутри /wp- (/*/ - для приоритета)
  45. Allow: /*/*.css             # открываем css-файлы внутри /wp- (/*/ - для приоритета)
  46. Allow: */wp-*.png            # картинки в плагинах, cache папке и т.д.
  47. Allow: */wp-*.jpg            # картинки в плагинах, cache папке и т.д.
  48. Allow: */wp-*.jpeg           # картинки в плагинах, cache папке и т.д.
  49. Allow: */wp-*.gif            # картинки в плагинах, cache папке и т.д.
  50. Allow: */wp-admin/admin-ajax.php # используется плагинами, чтобы не блокировать JS и CSS
  51.  
  52. User-agent: Yandex          # правила для Яндекса (комментарии не дублирую)
  53. Disallow: /cgi-bin
  54. Disallow: /?
  55. Disallow: */wp-
  56. Disallow: /wp/
  57. Disallow: *?s=
  58. Disallow: *&s=
  59. Disallow: /search/
  60. Disallow: /author/
  61. Disallow: /users/
  62. Disallow: */trackback
  63. Disallow: */feed
  64. Disallow: */rss
  65. Disallow: */embed
  66. Disallow: */wlwmanifest.xml
  67. Disallow: */xmlrpc.php
  68. Allow: */uploads
  69. Allow: /*/*.js
  70. Allow: /*/*.css
  71. Allow: */wp-*.png
  72. Allow: */wp-*.jpg
  73. Allow: */wp-*.jpeg
  74. Allow: */wp-*.gif
  75. Allow: */wp-admin/admin-ajax.php
  76. Clean-Param: utm_source&utm_medium&utm_campaign # Яндекс рекомендует не закрывать
  77.                             # от индексирования, а удалять параметры меток,
  78.                             # Google такие правила не поддерживает
  79. Clean-Param: openstat       # аналогично
  80.  
  81. # Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
  82. # не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
  83. Sitemap: https://facebodyart.com/ru/sitemap.xml
  84. Sitemap: https://facebodyart.com/sitemap.xml
  85.  
  86. # Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
  87. # то пишем протокол, если нужно указать порт, указываем). Команду Host понимает
  88. # Яндекс и Mail.RU, Google не учитывает.
  89. Host: https://facebodyart.com
RAW Paste Data
We use cookies for various purposes including analytics. By continuing to use Pastebin, you agree to our use of cookies as described in the Cookies Policy. OK, I Understand
 
Top