Любой правильно настроенный интернет-ресурс имеет в своей структуре специальные системные файлы. Документ, регулирующий работу поисковых роботов со страницами называется robots.txt и располагается в корневом каталоге сайта. От его настройки зависит то, открыт ли доступ к нужным страницам, скрыты ли из индекса ненужные элементы, а также многие другие важные аспекты взаимодействия сайта и поисковой системы.

Cоздание robots.txt – основные моменты

Смотрите полный видеокурс на iTunes

Начинается создание robots.txt с записи специальных команд в файл текстового редактора. Документ robots.txt содержит несколько команд. Основной директивой служит команда Allow/Disallow с указанием дополнительной настройки UserAgent, определяющей, какому роботу адресована команда. Выглядит это следующим образом. Например, чтобы открыть системе Google доступ к странице, необходимо прописать в файле robots.txt строки:

User-agent: GoogleBot
Allow: адрес страницы

Для запрета индексации используется директива Disallow. Еще одной важной командой, указания которой требует создание robots.txt, это директива Host, определяющая основное зеркало сайта. Эта команда важна при необходимости аккумулировать ссылочный вес и другие показатели авторитетности сайта на одном варианте написания домена.

Немаловажным параметром настройки является регулировка нагрузки на сервер. Она осуществляется при помощи таких директив, как Crawl-delay и Request-rate. Кроме того, настройки файла robots.txt позволяют предопределить время, в течение которого сайт открыт для индексации. Для этого используется команда Visit-time.

Итак, как же осуществляется создание robots.txt для сайта? Как уже было сказано, сам документ создается при помощи любого текстового редактора. В нем перечисляются все необходимые команды и настройки, после чего файл сохраняется как robots.txt в корневом каталоге сайта.

При этом абсолютно все команды должны быть прописаны без единой ошибки. Чтобы убедиться в их отсутствии, лучше проверить файл с помощью специальных интернет-сервисов. Кроме того, некоторые ресурсы для вебмастеров позволяют генерировать код для robots.txt автоматически.

Их использование рекомендуется в тех случаях, когда собственных навыков недостаточно для самостоятельного написания всех команд в корректном виде. Полученный код необходимо скопировать в текстовый файл и сохранить в корневом каталоге под именем robots.txt.

Отсутствие системного файла для роботов чревато различными неприятными последствиями. Поисковые системы могут не видеть основного зеркала сайта, в индекс могут попадать конфиденциальные файлы и дубли страниц, что может привести к попаданию сайта под действие поисковых фильтров. В связи с этим созданию файла robots.txt необходимо уделить соответствующее внимание.