Первичную информацию об индексации сайта поисковые роботы получают из файла robots.txt, в нем описываются те страницы и директории, которые не должны быть проиндексированы.

 Обратите внимание, что узел может иметь только один файл "robots.txt", который должен быть расположен в корневом каталоге сайта. Пример расположения: http://ваш_сайт/robots.txt

 Размещение файла в директориях не имеет смысла. Все символы в названии файла должны быть в нижнем регистре.

 Файл robots.txt состоит из записей. Каждая запись содержит два поля: строка пользовательского агента (User-agent) и строка запрета (Disallow).

 Чтобы запретить индексацию отдельных страниц вашего сайта для всех роботов, нужно прописать в robots.txt:

User-agent: *
Disallow: путь

  Чтобы запретить индексацию отдельных страниц сайта, определённому роботу, например роботу Рамблера нужно написать:

User-agent: StackRambler
Disallow: путь

  Во всех случаях слово «путь» нужно заменить на путь к странице вашего сайта. Например, если хотите запретить индексацию страницы http://ваш_сайт/stranica.html, то нужно заменить слово «путь» на «/stranica.html».

 С помощью символов "*" и «$» можно запретить индексацию определенного типа файлов по маске. Следующий пример запрещает всем роботам индексацию файлов с расширениями .doc, .pdf и .mp3:

User-Agent: *
Disallow: /*.doc$
Disallow: /*.pdf$

Disallow: /*.mp3$

 Осторожно! - если прописать вместо «путь» символ «*» или «/», то индексация вашего сайта будет полностью запрещена.

 Надо помнить, что файл robots.txt доступен для чтения всеми пользователями, поэтому не нужно прописывать в него пути к админкам или панелям управления на сайте.