Создание, продвижение сайтов
40-33-54

Robots.txt для Drupal

19 сентября 2016
User-agent: Yandex
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /tmp/
# Files
Disallow: /cron.php
Disallow: /update.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/
Disallow: /comment/*/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /taxonomy/term/
Disallow: /user/
Disallow: /user/*/
# Paths tech and errors
Disallow: /tech/
Disallow: /tech/*
Disallow: /error
# Paths (no clean URLs)
Disallow: /?*
Disallow: /*?*

User-agent: Google
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /tmp/
# Files
Disallow: /cron.php
Disallow: /update.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/
Disallow: /comment/*/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /taxonomy/term/
Disallow: /user/
Disallow: /user/*/
# Paths tech and errors
Disallow: /tech/
Disallow: /tech/*
Disallow: /error
# Paths (no clean URLs)
Disallow: /?*
Disallow: /*?*

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /tmp/
# Files
Disallow: /cron.php
Disallow: /update.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/
Disallow: /comment/*/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /taxonomy/term/
Disallow: /user/
Disallow: /user/*/
# Paths tech and errors
Disallow: /tech/
Disallow: /tech/*
Disallow: /error
# Paths (no clean URLs)
Disallow: /?*
Disallow: /*?*

Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml

Здесь нет записей типа Disallow: /CHANGELOG.txt. Эти файлы могут предоставлять потенциальному злоумышленнику информацию о вашей версии CMS Drupal, поэтому подобные файлы нужно удалить с хостинга и robots.txt. Тоже самое относится и к файлам: install.phpxmlrpc.php, а так же ко всем txt файлам.

Все технические материалы (например, слайды для галереи из специальных нод) можно разместить в разделе tech через модуль Pathauto. Это удобно и практично, так как не нужно перечислять список из многих адресов для запрета, а нужно лишь указать Disallow: /tech/*.

Сделайте заказ с сайта и получите 10% скидку на услугу

Заказ услуги с сайта raybin.ru

Нажимая на кнопку "Получить консультацию", я даю согласие на обработку персональных данных и соглашаюсь c условиями политики конфиденциальности
CAPTCHA
Этот вопрос задается для того, чтобы выяснить, являетесь ли Вы человеком или представляете из себя автоматическую спам-рассылку.
Заказать бесплатную SEO-консультацию

Запрос бесплатной SEO - консультации с сайта raybin.ru

Нажимая на кнопку "Получить консультацию", я даю согласие на обработку персональных данных и соглашаюсь c условиями политики конфиденциальности
CAPTCHA
Этот вопрос задается для того, чтобы выяснить, являетесь ли Вы человеком или представляете из себя автоматическую спам-рассылку.
Письмо в компанию Райбин

Письмо в компанию RAYBIN

Нажимая на кнопку "Получить консультацию", я даю согласие на обработку персональных данных и соглашаюсь c условиями политики конфиденциальности
CAPTCHA
Этот вопрос задается для того, чтобы выяснить, являетесь ли Вы человеком или представляете из себя автоматическую спам-рассылку.