Для чего нам это нужно?
1. Скрытие информации от поисковых систем.
2. Уменьшение числа внешних ссылок с сайта.
3. Полезность, меньше «говна» в индексе.
Для запрета индексации части текста или ссылок в ПС Яндекс используется тег noindex. Его полностью игнорируют все поисковые системы кроме Рамблера. В стандартах HTML нет этого тега, поэтому многие валидаторы проверок кода будут ругаться на него, поэтому не пугайтесь, ничего страшного в этом нет.
И так когда нам нужно использовать noindex
1. Закрывайте внешние ссылки, если не хотите чтобы они были учтены ПС и Биржами ссылок
2. Закрывайте контент который присутствует на всех страницах, это негативно влияет на ваше присутствие в ПС.
3. Закрывайте служебную информацию или то что не должно попадать в индекс.
4. Закрывайте коды счетчиков (не путать с кодами бирж ссылок!)
Для гугла не существует аналогичного тега, но есть атрибут ссылки nofollow, который позволяет не учитывать нужные вам внешние ссылки.
Ссылка с этим атрибутом будет выглядеть так:
<a rel="nofollow" href="http://ссылка.ru">текст ссылки</a>
Тег нужно использовать в обязательном порядке если вы не хотите, чтобы ваши ссылки были учтены ПС и Биржами ссылок
Атрибут nofollow можно использовать robots.txt
Для того чтобы ссылка не учитывалась обоими поисковками, нужно использовать слудующий код:
<noindex><a rel="nofollow" href="http://ссылка.ru">текст ссылки</a></noindex>
Для массового запрета индексации следует использовать robots.txt
Если в корне вашего сайта нет файла robots.txt создавайте его.
Файл robots.txt был задуман чтобы можно было сказать роботу ПС, какие страницы сайта не следует индексировать.
robots.txt состоит из одной или более записей, разделенных одной или более пустых линий. Каждая запись имеет формат:
<имя_поля>:<необязательные_пробелы><значение><необязательные_пробелы>
Значение имени поля чувствительно к регистру, что очень не маловажно!
В файл robots.txt можно включать комментарии в виде символа # это означает, что остаток строки — это комментарий и не анализируется поисковым роботом.
Более подробно про robots.txt можно почитать в хелпе Яндекса, а так же проверить правльность их же анализатором
Присутствие на сайте пустого файла robots.txt не имеет какого-либо особого значения, он рассматривается как отсутсвующий.
Обязательно используйте robots.txt на форумах и больших порталах для массового запрета индексации, для увеличения релевантных страниц в индексе ПС, что хорошо влияет на картину в целом.
Пример robots.txt для моего форума IPB:
User-agent: *
Disallow: /ipb
Disallow: /style_images/
Disallow: /lofiversion/
Disallow: /index.php?act=idx
Disallow: /index.php?act=Login
Disallow: /index.php?act=Search
Disallow: /index.php?act=Shoutbox
Disallow: /index.php?act=Reg
Disallow: /index.php?act=Msg
Disallow: /index.php?act=Mail
Disallow: /index.php?act=Forward
Disallow: /index.php?act=Track
Disallow: /index.php?act=Post
Disallow: /index.php?act=post
Disallow: /index.php?act=Print
Disallow: /index.php?act=ST
Disallow: /index.php?act=boardrules
Disallow: /?act=boardrules
Disallow: /index.php?act=Help
Disallow: /index.php?act=Stats
Disallow: /index.php?act=stats
Disallow: /index.php?act=Members
Disallow: /index.php?act=Online
Disallow: /index.php?act=calendar
Disallow: /index.php?act=SR
Disallow: /index.php?act=SF
Disallow: /index.php?act=ICQ
Disallow: /index.php?act=MSN
Disallow: /index.php?act=AOL
Disallow: /index.php?act=AIM
Disallow: /index.php?act=SC
Disallow: /index.php?act=task
Disallow: /index.php?act=findpost
Disallow: /index.php?act=UserCP
Disallow: /index.php?act=usercp
Disallow: /index.php?&act=
Disallow: /index.php?act=report
Disallow: /index.php?act=buddy
Disallow: /index.php?act=legends
Disallow: /index.php?CODE=
Disallow: /index.php?act=attach
Disallow: /index.php?act=Attach
Disallow: /index.php?&&CODE=
Disallow: /index.php?&debug=1
Disallow: /index.php?act=Profile
Disallow: /index.php?showuser
Disallow: /index.php?s=
Disallow: /index.php?autocom=chatsigma
Disallow: /index.php?autocom=chatpara
Disallow: /index.php?act=thanks
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*mode=linear
Disallow: /*mode=threaded
Disallow: /*mode=linearplus
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&gopid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*&showtopic
Disallow: /*gallery&req=stats
Disallow: /*gallery&req=user
Disallow: /*gallery&req=slideshow
Disallow: /*reportimage
Disallow: /*prune_day=
Host: zatusim.ru
На данный момент яндекс в панели вебмастера пишет для этого сайта, что: «Документов запрещенных в файле robots.txt? 19322
Скажем нет не нужной инфе