Создание, продвижение сайтов
компьютерная поддержка
53-02-63

Robots.txt для Drupal

19 сентября 2016
User-agent: Yandex
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /tmp/
# Files
Disallow: /cron.php
Disallow: /update.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/
Disallow: /comment/*/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /taxonomy/term/
Disallow: /user/
Disallow: /user/*/
# Paths tech and errors
Disallow: /tech/
Disallow: /tech/*
Disallow: /error
# Paths (no clean URLs)
Disallow: /?*
Disallow: /*?*

User-agent: Google
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /tmp/
# Files
Disallow: /cron.php
Disallow: /update.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/
Disallow: /comment/*/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /taxonomy/term/
Disallow: /user/
Disallow: /user/*/
# Paths tech and errors
Disallow: /tech/
Disallow: /tech/*
Disallow: /error
# Paths (no clean URLs)
Disallow: /?*
Disallow: /*?*

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /tmp/
# Files
Disallow: /cron.php
Disallow: /update.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/
Disallow: /comment/*/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /taxonomy/term/
Disallow: /user/
Disallow: /user/*/
# Paths tech and errors
Disallow: /tech/
Disallow: /tech/*
Disallow: /error
# Paths (no clean URLs)
Disallow: /?*
Disallow: /*?*

Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml

Здесь нет записей типа Disallow: /CHANGELOG.txt. Эти файлы могут предоставлять потенциальному злоумышленнику информацию о вашей версии CMS Drupal, поэтому подобные файлы нужно удалить с хостинга и robots.txt. Тоже самое относится и к файлам: install.phpxmlrpc.php, а так же ко всем txt файлам.

Все технические материалы (например, слайды для галереи из специальных нод) можно разместить в разделе tech через модуль Pathauto. Это удобно и практично, так как не нужно перечислять список из многих адресов для запрета, а нужно лишь указать Disallow: /tech/*.

Узнайте о нас больше:

Мы предлагаем широкий спект услуг по сайтам и компьютерной поддержке

Создание сайтов

Мы разрабатываем как простые сайты - визитки, так и индивидуальные проекты. Основная система разработки - CMS Drupal.

Узнать подробнее

Продвижение сайтов

Одно из основных направлений работы нашей компании - продвижение сайтов в Саратове и области. Мы поможем Вам с SEO - продвижением сайтов и настройкой и ведением контекстной рекламы в Яндекс Директ.

Бесплатная SEO-консультация

Компьтерная поддержка

Мы оказываем услуги компаниям и частным лицам в области настройки компьютерного оборудования:

  • Настройка роутеров и локальных сетей
  • Установка Windows
  • Оптимизация работы компьютеров
  • Лечение вирусов
  • Восстановление данных с жестких дисков
Узнать подробнее
Сделайте заказ с сайта и получите 10% скидку на услугу

Заказ услуги с сайта raybin.ru

Нажимая на кнопку "Получить консультацию", я даю согласие на обработку персональных данных и соглашаюсь c условиями политики конфиденциальности
Заказать бесплатную SEO-консультацию

Запрос бесплатной SEO - консультации с сайта raybin.ru

Нажимая на кнопку "Получить консультацию", я даю согласие на обработку персональных данных и соглашаюсь c условиями политики конфиденциальности
Письмо в компанию Райбин

Письмо в компанию RAYBIN

Нажимая на кнопку "Получить консультацию", я даю согласие на обработку персональных данных и соглашаюсь c условиями политики конфиденциальности