Доступность главной страницы по разным адресам
Главная страница сайта должна быть доступна лишь по основному адресу
http://www.maindomain.ru/. Если она доступна также и по другим адресам, например,
http://www.maindomain.ru/index.php, то возникает ошибка дублированного контента, из-за которой возможно падение позиций сайта при удобном стечении обстоятельств (сочетании других факторов).
Как проверить наличие ошибки оптимизации?
Необходимо ввести в браузер адрес с index.php или index.html, например,
http://www.maindomain.ru/index.phpЕсли страница доступна и нет редиректа на основной домен, то ошибка существует. Также найти дубли главной страницы можно, введя в кавычках её TITLE в поиске Яндекса или Google, анализируя результаты выдачи.
Как исправить ошибку дублирования главной страницы?
Для исправления этой ошибки следует также использовать 301-ый редирект с дублей на основной домен, либо отдавать 404-ую ошибку (страницы не существуют). До этого следует из результатов поиска удалить все дубли (например, это делается с помощью панели для вебмастеров в Google). Редирект, при использовании apache и mod_rewrite, можно сделать следующими строками:
RewriteEngine On
RewriteCond %{REQUEST_URI} ^/index\.(.+)$
RewriteRule ^.*$ http://%{HTTP_HOST}/ [R=301,L]
Наличие несуществующих страниц
Известная ошибка, когда для несуществующих документов выдается главная (или другая) страница сайта с 200-ым кодом ошибки, а не с 404-ым. В данном случае, опять же, может возникнуть проблема дублированного контента.
Как определить наличие ошибки?
Ввести в адресную строку браузера любую несуществующую страницу анализируемого сайта, например,
http://yandex.ru/not/existsЕсли в HTTP заголовках выдается HTTP/1.1 404 Not Found, то все нормально, сайт отдает 404-ую ошибку. Если же в заголовках присутствует 200 ошибка или 304-ая (Not Modified), то следует исправить этот недочет.
Как исправить ошибку?
Необходимо для несуществующих страниц выдавать соответствующий код, чтобы поисковый робот не добавлял их в индекс. Обычно это настраивается в используемой CMS. Если у вас нет таких настроек, тогда проверьте .htaccess файл или обратитесь к разработчикам вашей сисетмы управления контентом.