Создаем robots.txt для cms wordpress

{ Дата Sep 22 2010 добавил admin }

Приветствую вас, уважаемые читатели блога! Сегодня мы поговорим о том, что такое robots.txt и что нужно в него вписать. Но для начала давайте узнаем, что это такое.
Файл robots.txt – это файл, в котором написаны указания для поисковых систем. В основном указывается всегда для Яндекса, остальные менее привередливы.

Вот собственно код, который необходимо вписать в файл:

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: www.yourdomain.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Sitemap: http://yourdomain.ru/sitemap.xml

User-Agent – здесь вы указываете, для какой поисковой системы вы запрещаете индексирование.
Disallow – это функция, которая запрещает что-либо индексирование.
В нашем случае мы запретили к индексированию все файлы и папки скрипта. Обязательно смените название сайта в Host: и Sitemap! Карту сайта вы добавляете на свой сайт для лучшего и быстрого индексирования поисковыми системами. Также я в этом коде я сделал склеивание домена, т.к иногда Яндекс считает сайт с www и без него за разные сайты. А если такое происходит, то происходит некачественная работа сайта.

Попробуйте создать данный файл у себя на хостинге. Посмотрите, изменится ли ситуация с индексированием вашего сайта. Желаю удачи! Незабываем подписываться на блог!

Похожии статьи!

Ключевые слова : ,


2 ответов в “Создаем robots.txt для cms wordpress”

  1. файл действительно облегчает поиск, думаю многим он понадобится

  2. А индексирование яндексом комментариев он тоже запрещает?
    И как их открыть к индексированию

Комментировать

Похожии статьи!