9 апреля 2010

Мастерим файл robots.txt

wordpress для чайниковСегодня в разделе песочница или wordpress для чайников, я выкладываю содержимое файла robots.txt.
Роботы, их еще иногда называют пауками, всех поисковых систем при заходе на сайт в первую очередь ищут файл robots.txt.   Имейте ввиду, что файл должен называться robots.txt, а не Robots.txt или ROBOTS.TXT и уж конечно не robot.txt
Конечно вы можете сделать собственный файл, благо информации в интернет о том, как создать robots.txt предостаточно. А этот файл можете взять за основу, вам остается изменить myris.ru на имя своего блога.

User-agent: *
Disallow: /tag
Disallow: /archive
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /?s=
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Allow: /wp-content/uploads/
Host: myris.ru
Sitemap: /sitemap.xml

PS
Если вы считаете что ваш блог на wordpress некорректно индексируется, то можете составить правильный файл robots.txt для wordpress и взять роботов поисковых систем под свой личный контроль.

Статьи по теме
Статья оказалась полезной? Подпишись на RSS рассылку или следуй за мной на твиттере @wpstarter или по этой ссылке wpstarter
Рубрика: песочница

Комментариев: 11

Вы можете следовать любому комментарию через RSS 2.0 feed.

Вы можете оставить комментарий или trackback с вашего сайта.

  1. Доброго времени суток, admin!
    Вы уже отвечали на несколько моих вопросов (спасибо Вам) и вот — очередной.
    Кстати, очень хорошо, что у Вас есть тема про файл robots.txt а то я не знал, к какой статье прикрепить свой вопрос. А вопрос мой такой: я прочитал, что если файла robots.txt нет, то роботы понимают это как отсутствие запретов на все. Так зачем же его создавать, если у меня нет никаких запретов на моем сайте? Или лучше, чтобы роботы не имели доступ к какой-нибудь информации? Что может быть секретного на моем сайте? Объясните, пожалуйста, «на пальцах», какую информацию нужно скрывать от роботов и почему? И как это повлияет на индексацию сайта в поисковиках? И какая разница, есть у меня файл robots.txt или нет?

    Заранее спасибо.
    Чайник SuperKrolik

  2. Прошу прощения, если спрашиваю очевидные вещи. Я новичок. Расскажите, пожалуйста, а как открыть этот файл, чтобы его затем изменить.

    • Alex:

      создайте robots.txt любым файл-менеджером, например Total Commander (Shift+F4), заполните и залейте
      в корневую папку сервера по FTP протоколу

  3. sun:

    в какой кодировке должен быть robots.txt? Дело в том что мой блог имеет кириллический адрес и url, совсем запутался в этих кодировках.

  4. Спасибо большое, очень помогли !

  5. Здравствуйте, я так же не давно создал блог и у меня уже есть robots.txt.Я хотел бы его изменить НО где он в корневой папке, я его не нахожу.

    • Alex:

      если вы его не можете найти, так может его и нет?
      создайте robots.txt любым файл-менеджером, например Total Commander (Shift+F4), заполните и залейте
      в корневую папку сервера по FTP протоколу

  6. Здравствуйте это опять я со своим вопросом о robots.txt/
    Я в свою ссылку сайта подставил robots.txt и вот что выдал мне браузер.
    user-agent:*
    Disallow:
    Sitemap: http://elektroprib2011.ru/sitemap.xml.qz
    мог ли ворд пресс сам создать такое ,я это не писал.

  7. Смотри wp_include/function.php Скрипт генерится по запросу добавь туда нужные тебе строки

    function do_robots() {
    header( ‘Content-Type: text/plain; charset=utf-8′ );

    do_action( ‘do_robotstxt’ );

    $output = «User-agent: *\n»;
    $public = get_option( ‘blog_public’ );
    if ( ‘0’ == $public ) {
    $output .= «Disallow: /\n»;
    } else {
    $site_url = parse_url( site_url() );
    $path = ( !empty( $site_url[‘path’] ) ) ? $site_url[‘path’] : ‘$
    $output .= «Disallow: $path/wp-admin/\n»;
    $output .= «Disallow: $path/wp-includes/\n»;

    }

Оставьте комментарий

Обведите фигуру по линии:

Ставим WordPress на локальном копьютере