качество и надёжность с 2008 года

8 (800) 200-25-11

Техническая поддержка support@komtet.ru —

круглосуточно и без выходных дней

load-whois

Онлайн-касса

для интернет-магазина

Подключите ваш интернет-магазин

к онлайн-кассе в соответствии с 54-ФЗ

 
Главная Техническая библиотека Справка Управление индексацией сайта

Управление индексацией сайта

Управление индексацией сайта с помощью файла robots.txt

Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Файл robots.txt - это текстовый файл, создаётся обычно в корневой директории сайта (там же где и главный файл index.), в нем записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации папки или страницы  сайта, указать роботу на главное зеркало сайта, рекомендовать поисковому роботу соблюдать определенный временной интервал индексации сайта и многое другое.

Рассмотрим примеры использования:

Пример 1. Разрешаем индексировать все страницы сайта всем поисковикам (примечание: эквивалентом данной инструкции будет пустой файл robots.txt):
User-agent: *
Disallow:


Пример 2
. Запрещаем индексировать все страницы сайта всем поисковикам:
User-agent: *
Disallow: /


Пример 3
. Разрешаем индексировать всем кроме Яндекса
User-agent: Yandex
Disallow: /


Пример 4
. Запрещаем индексировать всем кроме Яндекса (примечание: обратите внимание на обязательную пустую строку между двумя инструкциями, без нее файл не будет воспринят правильно)
User-agent: Yandex
Disallow:

User-agent: *
Disallow: /


Пример 5
. Яндексу запрещаем индексировать папки cgi и images, а Апорту файлы myfile1.htm и myfile2.htm в директории dir
User-agent: Yandex
Disallow: /cgi/
Disallow: /images/

User-agent: Aport
Disallow: myfile1.htm
Disallow: myfile2.htm

При правильном использовании robots.txt у вас не должно возникнуть проблем с поисковиками.

Если у Вас возникнут проблемы использования файла robots.txt обращайтесь с круглосуточную Службу технической поддержки хостинга, работы по его оптимизации и настройке могут быть выполнены в рамках Дополнительных работ по сайту.

Клиентам — домены в подарок!
Бесплатный тест виртуального хостинга
Перенос сайта — бесплатно
Все акции
На сайте КОМТЕТ используются cookie-файлы, данные о IP-адресе и местоположении посетителей. Если, прочитав это сообщение, вы остаетесь на нашем сайте, это означает, что вы не возражаете против использования этих технологий.