Файл robots для wordpress

 

Привет друзья, сегодня затрону тему файла robots.txt для wordpress, хотя на самом деле я планировала продолжить тему социальных кнопок и в ближайшее время освежить рубрику социальных сетей, а именно Твитера. В последние время произошло несколько событий связанных с Твайтом и я хочу поделиться с вами новыми мыслями.

Надеюсь я вас заинтриговала? Тогда вернемся к нашим барашкам, а точнее к фалу  robots. Хочу признаться, что давно слышала о таком вот файле роботс, но пренебрегла им, собственно он у меня никак не настроен, теперь я хочу исправиться, а так же рассказать вам, как правильно настроить  robots.txt на вордпрессе.

Если вы видите эти странные слова типа robots.txt  не спешите закрывайте сразу страницу. Этот файл нужен, ну просто необходим для вашего блога.

Что такое  robots.txt? Нафига он нужен?

Файл  robots.txt — это текстовый файл, с помощью него мы можем ограничить доступ поисковых роботов к определенным разделам или страницам блога. А на вордпрессе очень много ненужного.

Распространенная ошибка новичков. Файл  robots.txt пишется только с маленькой буквы. Robots.txt или  ROBOTS.txt  не правильно и файл такого вида будет игнорироваться роботами


Как создать robots.txt?

Очень просто.

Пуск — все программы — стандартные — блокнот.

Сделали? Теперь копируем код указанный ниже, затем редактируем  заменяем сайт  http://www.incanta.ru  на свой и жмем сохранить как  robots

Составляем правильный robots.txt для WordPress


User-agent: *
 Disallow: /cgi-bin
 Disallow: /wp-admin
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /trackback
 Disallow: /feed
 Disallow: /comments
 Disallow: /category/*/*
 Disallow: */trackback
 Disallow: */feed
 Disallow: */comments
 Disallow: /*?*
 Disallow: /*?
 Allow: /wp-content/uploads# Google Image
 User-agent: Googlebot-Image
 Disallow:
 Allow: /* # Google AdSense
 User-agent: Mediapartners-Google*
 Disallow:
 Allow: /*

# Internet Archiver Wayback Machine
 User-agent: ia_archiver
 Disallow: /

# digg mirror
 User-agent: duggmirror
 Disallow: /

Sitemap: http://www.incanta.ru/sitemap.xml

User-agent: Yandex
 Crawl-delay: 5

Disallow: /tag

Много непонятный слов! И сразу возникает вопрос, а точно ли так надо составлять файл? Давайте разберемся, какие инструкции задает этот файл.

  • User-agent: *   — инструкция для всех роботов одинакова.
  • Disallow: /зеленый каталог/ — мы запрещаем роботам индексировать зеленый каталог
  • Allow: /wp-content/розовый каталог  - мы разрешаем роботом посмотреть определенную часть, а именно  розовый каталог
  • Sitemap:  место нахождение вашей карты

Куда теперь отправить этот файл?

Наверно на многих блогах вы встречали фразу, а теперь этот файл нужно разместить в корень вашего любимого блога на сервере? У многих это вызовет выражение лица типо «чЯго? о_О»

Давайте я помогу вам разобраться что же это за место. Буду описывать свои действия, у вас примерно такой же расклад будет.

  1. Заходим в панель управления хостинга
  2. Заходим в web-интерфейс к FTP
  3. Заходим в интересующий нас блог /incantaru/www

Если видите папки типа:  wp-admin, wp-content,   wp-includes то мы находимся в нужном месте, тут же есть файл wp-config.php. Некуда не переходя нажимайте «Загрузить» и выбирайте файл robots.txt

Где проверить robots.txt?

Вот мы и разобрались, зачем и куда и как составлять файл  robots.txt, теперь на всякий случай нужно проверить, правильно ли роботы воспринимают наш файл. Проверить можно в панели Яндекс.Вебмастер.

Всем хороших выходных и настроения! Ваша Инканта. П.С немного погрузилась в планы, а точнее ушла с головой и забросила обзоры блогов, обещаю в ближайшее время раскритиковать жертву номер 2.

Метки:

Как установить красивые кнопки социальных сетей

Отзывов (2) на «Файл robots для wordpress»

  1. Стоит наверное в ваш файл добавить еще:

    Host: ваш сайт.ru , а так выглядит совсем неплохо...

  2. Да я думала на этим, может и стоит добавить.

Ваш отзыв