Интернет-реклама

Стандарт исключения для поисковых систем

Все поисковые системы при индексации того или иного сайта берут информацию о разрешениях и запретах на включение в базу данных каких-либо папок и отдельных html-документов из файла robots. txt, размещаемого web-мастером в каталоге, отведенном на сервере для публикации вашего ресурса. Рекомендуется исключить из списка раз­решенных для индексации объектов папки, в которых размещаются интерактивные скрипты и лог - файлы, а также документы, помещение которых в базу данных поисковой системы вы не считаете нужным: чем меньше страниц серверу предстоит проиндексировать, тем быст­рее пройдет процесс регистрации.

Общий формат записи директив в файле robots. txt выглядит следую­щим образом:

ПАРАМЕТР: ЗНАЧЕНИЕ

Символ пробела между полями «Параметр» и «Значение» является опциональным, то есть его можно опустить без каких-либо последствий. Формат записи в поле «Параметр» не зависит от регистра, то есть сер­веру все равно, в заглавном или строчном регистре записана директива. Если строка в файле robots. txt начинается с символа «#», поисковый сервер игнорирует ее, воспринимая как комментарий. В стандарте robots. txt пустые строки, не содержащие ни одного символа, считаются значащими: они отделяют друг от друга разделы описания до­пусков и запретов, предназначенных для различных поисковых машин. Первой директивой файла robots. txt является параметр User-Agent. С него же должен начинаться каждый раздел данного файла, отделен­ный от других разделов пустой строкой. Значением этого параметра служит имя поискового робота, для которого вы устанавливаете права доступа. Если в одном блоке описаний вы хотите задать параметры для нескольких роботов, их имена надо перечислить через пробел. Если значением параметра User-Agent служит символ «*», то следующие далее директивы устанавливаются для всех поисковых систем, незави­симо от их названия и территориальной принадлежности. Второй командой этого своеобразного макроязыка является директива Disallow. Вместо ее значения следует подставить частичный URL доку­мента или папки, не подлежащей индексации, причем записывать этот адрес следует согласно синтаксису обозначения структуры папок на данном сервере. Например, запись Disallow: /photos запрещает ин­дексировать хранящийся в корневой директории сайта файл photos. html и расположенную там же папку photos, а команда Disallow: /photos — только саму папку вместе со всем ее содержимым. Если значения ко­манды Disallow не указаны, поисковый сервер индексирует весь сайт целиком. Строка Disallow: /, наоборот, запрещает индексировать дан­ный ресурс — иными словами, информация о нем не будет внесена в базу данных поисковой системы.

Учтите, что файл robots. txt не должен содержать пустых строк, если пер­вой директивой после разрыва строки не является команда User-Agent, а также то, что стандарт исключения для роботов не предусматрива­ет использования масок, содержащих символы «*» и «?». Например, запись Disallow: /folder/*, html запрещает индексацию файлов не с расширением. html, а с именем *, которых просто не существует на сер­вере. Одна команда Disallow должна содержать только одну ссылку на документ или файл, а для размещения нескольких ссылок надо ис­пользовать то же количество команд Disallow. В качестве значения данной команды необходимо указывать относительные пути к файлам и папкам, а не абсолютные. Иными словами, ссылку на серверную пап­ку следует записывать в виде /folder, но никак не в виде Http://www. my-site. ru/folder.

Добавить комментарий

Интернет-реклама

Особенности продвижения сайта строительных материалов от компании «М. Систем»

Чтобы бизнес в интернете был успешным, мало просто создать сайт или интернет-магазин и запустить его в работу. Успех придет тогда, когда увеличится его посещаемость. Для этого следует серьезно заняться его …

Черная пятница – выгодные покупки с экономией в несколько раз

Черная пятница стала настоящим праздником для многих. Этот день ждут с большим нетерпением – идеальная возможность приобрести различные товары по смешной цене. Особенно популярными являются электроника и техника. Вы только …

Накрутка лайков и подписчиков в Ютубе для развития канала

Зарабатывать много денег, занимаясь интересным любимым делом – еще несколько лет назад было мечтой, достигаемой единицами. Сегодня упорные, ответственные люди, готовые учиться, совершенствоваться, многократно подниматься с колен, невзирая на неудачи, …

Как с нами связаться:

Украина:
г.Александрия
тел./факс +38 05235  77193 Бухгалтерия
+38 050 512 11 94 — гл. инженер-менеджер (продажи всего оборудования)

+38 050 457 13 30 — Рашид - продажи новинок
e-mail: msd@msd.com.ua
Схема проезда к производственному офису:
Схема проезда к МСД

Партнеры МСД

Контакты для заказов шлакоблочного оборудования:

+38 096 992 9559 Инна (вайбер, вацап, телеграм)
Эл. почта: inna@msd.com.ua

За услуги или товары возможен прием платежей Онпай: Платежи ОнПай