222-400x222Давайте начнем, пожалуй, с самого главного — файл robots.txt обязан присутствовать на всех сайтах! Это основополагающая любого проекта. В первую очередь, когда поисковые роботы посещают ваш сайт, они ищут именно этот файл. Robots.txt — это обычный текстовый файл, который содержит инструкции для поисковых сервисов. Какие интрукции он содержит? Как правило, расположение карты сайта (sitemap.xml), какие разделы или документы вы запрещаете индексировать, имя домена и много чего еще. Я уже писал статью для WordPress, где затрагивал этот чудо-файл. Найти ее можно здесь: Избавляемся от дублей. Что касается этой статьи, я не буду лить много воды в ваши уши, мы с вами лишь рассмотрим конкретный пример правильного файла robots для популярного движка WordPress. После этой инструкции у вас должны отпасть вопросы по тому, как все же должен выглядеть ваш robots.

Пример правильного robots.txt для WordPress:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */comments
Sitemap: http://steve-pavlina.ru/sitemap.xml

Этого будет вполне достаточно для правильного сканирования вашего сайта поисковиками. Многие задрачиваются и пишут кучу лишних строк. К счастью, поисковики не стоят на месте, они довольно-таки умные чтобы индексировать наши сайты даже без файла robots, однако небольшие инструкции пойдут только на пользу.

Давайте немного расшифруем инструкции:

User-agent: * — самая первая строка. Она определяет, каким поисковикам нужно следовать инструкциям и сканировать наш сайт . Звездочка означает что всем. Некоторые фанаты вместо звездочки пишут Yandex, затем создают еще такую же строчку только с надписью Googlebot. Это все лишнее. Достаточно звездочки. Disallow: — ссылки, по которым запрещен переход и сканирование. Активно используется для того, чтобы не создавать дубли страниц (как в нашем случае). Sitemap: — путь к нашей карте. Нужно указать прямую ссылку, где располагается карта сайта в формате .xml. Ну вот я и ответил, пожалуй, на самый распространенный вопрос среди новичков и середнячков. Кстати, если вы даже не знаете куда нужно «запихивать» этот файл, то для вас поясняю: корневая директория вашего сайта. В качестве примера привожу свой блог: steve-pavlina.ru/robots.txt — где robots.txt и есть наш файл. По переходу по этой ссылке должен открываться ваш текстовый документ с инструкциями для поисковиков.