Стандарт исключения для поисковых систем
Все поисковые системы при индексации того или иного сайта берут информацию о разрешениях и запретах на включение в базу данных каких-либо папок и отдельных html-документов из файла robots. txt, размещаемого web-мастером в каталоге, отведенном на сервере для публикации вашего ресурса. Рекомендуется исключить из списка разрешенных для индексации объектов папки, в которых размещаются интерактивные скрипты и лог - файлы, а также документы, помещение которых в базу данных поисковой системы вы не считаете нужным: чем меньше страниц серверу предстоит проиндексировать, тем быстрее пройдет процесс регистрации.
Общий формат записи директив в файле robots. txt выглядит следующим образом:
ПАРАМЕТР: ЗНАЧЕНИЕ
Символ пробела между полями «Параметр» и «Значение» является опциональным, то есть его можно опустить без каких-либо последствий. Формат записи в поле «Параметр» не зависит от регистра, то есть серверу все равно, в заглавном или строчном регистре записана директива. Если строка в файле robots. txt начинается с символа «#», поисковый сервер игнорирует ее, воспринимая как комментарий. В стандарте robots. txt пустые строки, не содержащие ни одного символа, считаются значащими: они отделяют друг от друга разделы описания допусков и запретов, предназначенных для различных поисковых машин. Первой директивой файла robots. txt является параметр User-Agent. С него же должен начинаться каждый раздел данного файла, отделенный от других разделов пустой строкой. Значением этого параметра служит имя поискового робота, для которого вы устанавливаете права доступа. Если в одном блоке описаний вы хотите задать параметры для нескольких роботов, их имена надо перечислить через пробел. Если значением параметра User-Agent служит символ «*», то следующие далее директивы устанавливаются для всех поисковых систем, независимо от их названия и территориальной принадлежности. Второй командой этого своеобразного макроязыка является директива Disallow. Вместо ее значения следует подставить частичный URL документа или папки, не подлежащей индексации, причем записывать этот адрес следует согласно синтаксису обозначения структуры папок на данном сервере. Например, запись Disallow: /photos запрещает индексировать хранящийся в корневой директории сайта файл photos. html и расположенную там же папку photos, а команда Disallow: /photos — только саму папку вместе со всем ее содержимым. Если значения команды Disallow не указаны, поисковый сервер индексирует весь сайт целиком. Строка Disallow: /, наоборот, запрещает индексировать данный ресурс — иными словами, информация о нем не будет внесена в базу данных поисковой системы.
Учтите, что файл robots. txt не должен содержать пустых строк, если первой директивой после разрыва строки не является команда User-Agent, а также то, что стандарт исключения для роботов не предусматривает использования масок, содержащих символы «*» и «?». Например, запись Disallow: /folder/*, html запрещает индексацию файлов не с расширением. html, а с именем *, которых просто не существует на сервере. Одна команда Disallow должна содержать только одну ссылку на документ или файл, а для размещения нескольких ссылок надо использовать то же количество команд Disallow. В качестве значения данной команды необходимо указывать относительные пути к файлам и папкам, а не абсолютные. Иными словами, ссылку на серверную папку следует записывать в виде /folder, но никак не в виде Http://www. my-site. ru/folder.
