Robots.txt для Drupal

User-agent: Yandex
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /tmp/
# Files
Disallow: /cron.php
Disallow: /update.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/
Disallow: /comment/*/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /taxonomy/term/
Disallow: /user/
Disallow: /user/*/
# Paths tech and errors
Disallow: /tech/
Disallow: /tech/*
Disallow: /error
# Paths (no clean URLs)
Disallow: /?*
Disallow: /*?*

User-agent: Google
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /tmp/
# Files
Disallow: /cron.php
Disallow: /update.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/
Disallow: /comment/*/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /taxonomy/term/
Disallow: /user/
Disallow: /user/*/
# Paths tech and errors
Disallow: /tech/
Disallow: /tech/*
Disallow: /error
# Paths (no clean URLs)
Disallow: /?*
Disallow: /*?*

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /tmp/
# Files
Disallow: /cron.php
Disallow: /update.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/
Disallow: /comment/*/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /taxonomy/term/
Disallow: /user/
Disallow: /user/*/
# Paths tech and errors
Disallow: /tech/
Disallow: /tech/*
Disallow: /error
# Paths (no clean URLs)
Disallow: /?*
Disallow: /*?*

Host: mysite.ru
Sitemap: http://mysite.ru/sitemap.xml

Здесь нет записей типа Disallow: /CHANGELOG.txt. Эти файлы могут предоставлять потенциальному злоумышленнику информацию о вашей версии CMS Drupal, поэтому подобные файлы нужно удалить с хостинга и robots.txt. Тоже самое относится и к файлам: install.php, xmlrpc.php, а так же ко всем txt файлам.

Все технические материалы (например, слайды для галереи из специальных нод) можно разместить в разделе tech через модуль Pathauto. Это удобно и практично, так как не нужно перечислять список из многих адресов для запрета, а нужно лишь указать Disallow: /tech/*.