В данном уроке пойдёт речь о закрытии доступа поисковым ботам к тем разделам сайта, которые не следует индексировать. Проще всего это сделать с помощью файла robots.txt, который необходимо разместить в корне сервера.
В этот фаил можно вносить несколько параметров. Первый из них, это параметр User-agent, который указывает на то, какому именно поисковику Вы хотите запретить индексацию тех или иных каталогов или страниц.
Если Вы хотите отнести ваш запрет одновременно ко всем поисковым ботам, то поставьте в это поле звездочку (*).
Далее идет параметр Disallow, который указывает какие именно папки и файлы не нужно индексировать.
Например, нам необходимо запретить поисковику доступ к папкам с изображениями, скриптами, временными файлами, а также к файлам страниц ошибок.
Вот как это будет выглядеть:
User-agent: *
Disallow: /error404.php
Disallow: /error500.php
Disallow: /img/
Disallow: /cgi-bin/
Disallow: /temp/
Таким образом мы запретили поисковым ботам индексировать некоторые страницы и разделы сайта.
Напомню, что набирается всё это дело в обыкновенном блокноте, а затем копируется в корень сервера с помощью FTP клиента обязательно в режиме ASCII (современные FTP клиенты делают это автоматически).
Вот Вам ещё на всякий случай названия самых популярных в рунете поисковых ботов:
Вот самые распространённые в Рунете поисковые боты.
Рамблер - StackRambler
Яндекс - Yandex
Google - Googlebot
MSN – msnbot
Пользуйтесь на здоровье!