Для чего нужен Robots.txt : : Блог Ловцовых

Для чего нужен Robots.txt

Рубрика: HTML для новичков,SEO,Новости,Создание сайта в деталях. Автор: ElenAleksy

18 Июл 2011

Robots.txt

У людей, которые мало знакомы с Html, всегда возникает много вопросов, как работать с robots.txt. Но мало кто хочет сидеть и искать нудную информацию и рассматривать не понятные теги. Для тех кто хочет все изучить быстрее и остальное время провести на практике, я решил написать эту статью.

В начале разъясним важность этого файла. Поисковики в первую очередь обратят внимание на robots при посещении сайта, но данный файл не является обязательной его составляющей.
И у некоторых сайтов он может просто не существовать, как например сайты визитки. Но если вам хочется скрыть от индексации страницы, то без robots.txt вам не обойтись.

Первый тег.
User-agent: — после двоеточия вы можете указать название любого поискового бота или же системы, от которой хотите запретить индексацию вашего сайта. Если после двоеточия
поставить *, User-agent:*, то вы запретите индексировать ваш сайт всех поисковых роботов и поисковиков.

Второй тег.
Disallow: — после двоеточия вы можете прописать файл или папку, которую хотите закрыть от индексации. Например, Disallow:/img/ — это будет означать, то что вы запретили
индексацию всех файлов или папок находящихся в папке img.

Третий тег.
Host: — важная и специфическая команда. Все знают, что сайты могут быть как с www так и без него. Для людей это один и тот же сайт, но для поисковиков может оказаться
совершенно два разных ресурса. Если Яндекс увидит это, то без проблем поделит тИЦ, который есть на вашем сайте пополам. Чтобы этого не произошло, нужно после двоеточия
прописать желаемый вариант своего сайта. Например, 7age.ru. Стоит отметить, что все команды нужно прописывать до индексации сайта.

Robots.txt

Так же есть дополнения, команда allow, пример:
Disallow:/img/
Allow:/img/miniimg/
Такой код будет означать, что в запрещенной от индексации папке, будет доступна к индексации папка miniimg. Что бы всё это прописать нужно зайти на хостинг через ftp и создать одноимённый файл Robots.txt в который вставить код, купить хостинг можно тут. Вот пример кода:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: */*/feed
Disallow: /*?

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /feed
Disallow: */feed
Disallow: */*/feed
Disallow: /*?
Host: 7age.ru
Sitemap: http://7age.ru/sitemap.xml.gz
Sitemap: http://7age.ru/sitemap.xml

Моё имя сайта соответственно заменяете на своё в 3 местах.

автор: Ловцов Алексей

Похожие посты