Главная Техническая библиотека Справка Управление индексацией сайта

Управление индексацией сайта

Управление индексацией сайта с помощью файла robots.txt

Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Файл robots.txt - это текстовый файл, создаётся обычно в корневой директории сайта (там же где и главный файл index.), в нем записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации папки или страницы  сайта, указать роботу на главное зеркало сайта, рекомендовать поисковому роботу соблюдать определенный временной интервал индексации сайта и многое другое.

Рассмотрим примеры использования:

Пример 1. Разрешаем индексировать все страницы сайта всем поисковикам (примечание: эквивалентом данной инструкции будет пустой файл robots.txt):
User-agent: *
Disallow:


Пример 2
. Запрещаем индексировать все страницы сайта всем поисковикам:
User-agent: *
Disallow: /


Пример 3
. Разрешаем индексировать всем кроме Яндекса
User-agent: Yandex
Disallow: /


Пример 4
. Запрещаем индексировать всем кроме Яндекса (примечание: обратите внимание на обязательную пустую строку между двумя инструкциями, без нее файл не будет воспринят правильно)
User-agent: Yandex
Disallow:

User-agent: *
Disallow: /


Пример 5
. Яндексу запрещаем индексировать папки cgi и images, а Апорту файлы myfile1.htm и myfile2.htm в директории dir
User-agent: Yandex
Disallow: /cgi/
Disallow: /images/

User-agent: Aport
Disallow: myfile1.htm
Disallow: myfile2.htm

При правильном использовании robots.txt у вас не должно возникнуть проблем с поисковиками.

Если у Вас возникнут проблемы использования файла robots.txt обращайтесь с круглосуточную Службу технической поддержки хостинга, работы по его оптимизации и настройке могут быть выполнены в рамках Дополнительных работ по сайту.