Дубли страниц и скорость загрузки сайта

Дубли страниц на сайте – причина всех основных санкций поисковых систем. Мы попробуем в этом разобраться и как этого не допустить.

Появление дублированного контента – не значит, что вы умышленно наплодили чего-то, каких-то статей или разделов. На самом деле причин может быть очень много.

Это различные категории, теги, метки, различные результаты поиска. К таким дублям относятся древовидные комментарии, которые, благодаря особенностям WordPress, хранятся в отдельной папке. Незнание или, хуже того, наплевательское отношение к технической оптимизации сайта или блога.

И, вообще, сама система движка создает очень много различных дублей страниц. Вот от них то, в первую очередь, нужно избавляться.

Раньше решали (думали, что решают) эту проблему закрытием их от индексации поисковых систем в файле «robots.txt». Время идет – алгоритмы поисковиков Yandex, а особенно Google, меняются и становятся все жестче.

Как говорят – запретный плод сладок? Так сделайте его открытым.

Не буду повторяться. Правильное написание файла «robots.txt» найдете в предыдущей статье «Файлы и Плагины для индексации сайта«.

Поиск дублей страниц.

Для того чтобы узнать имеются ли на вашем сайте дубли страниц, которые попали в индексацию поисковых систем, достаточно перейти в Яндекс Вебмастер:
https://webmaster.yandex.ru и в разделе: «Индексирование сайта» – «Страницы в поиске» – можете посмотреть, какие страницы находятся в поиске этой системы:
Что же, в идеале, вы здесь должны увидеть? Это — Главная страница, все статические страницы, если вы их не закрывали от индексации, и все, до единой, статьи. Остальной мусор нужно вычищать.

Смотрите на весь список url-адресов – если вы прописывали в ЧПУ в конце «.html», или без него, то при открытии статьи на блоге, в ее адресной строке, не должно быть ничего лишнего – больше никаких категорий, никаких тегов. Иначе Yandex может выдавать их вместо вашей оригинальной статьи.

Что же касается Google – заходите в его «Поиск» и вбиваете: site:my-site.ru – вместо «my-site.ru», адрес вашего сайта. Вы увидите полностью все страницы, которые находятся в выдачи. Что бы разделить основную выдачу и остальной мусор, пишите site:my-site.ru/&. Идете в конец показов и нажимаете «Показать скрытые результаты». Там находятся все ваши дубли. Хотя и в основной выдаче может находиться дублированный контент.

Можно разделить их по категориям – поочередно добавляете к записи в поиске к site:my-site.ru по-очереди через пробел: replytocom, attachment, attachment_id, more, category, feed, tag, page, comment-page, trackback. Не буду объяснять их значение, захотите – сами найдете. Задача в другом – как от них избавиться?

Удаление дублей контента.

В самом начале, зайдите в «Панель управления» блогом – «Настройки»- «Обсуждение» и снимите галочки с пунктов «Разрешить древовидные комментарии» и «Разбивать комментарии верхнего уровня на страницы». Эти запреты избавят вас от будущих дублей страниц в комментариях.

Второй шаг, если ваш блог оказался богатым на дублированный контент – там же, в консоли блога заходите во «Внешний вид» — «Редактор» — «Функции темы (functions.php)» и где-то в самом начале, после кода:

add_filter('the_content', '_bloginfo', 10001);

или

add_filter('the_content', 'replace_link');

смотрите внимательно – шаблоны каждой темы отличаются друг от друга – я не могу предугадать ваш случай, вставляете код, который даст старым дублям 404 ошибку:

add_filter('template_redirect','Redirect404');
function Redirect404()
{
$p=strpos($_SERVER['REQUEST_URI'],'/'.'attachment'.'/');
if($p!==FALSE) {

@header("HTTP/1.0 404 Not Found");
die();
}

if ( isset( $_GET['replytocom'] ) ) {

@header("HTTP/1.0 404 Not Found");
die();
}

if ( isset( $_GET['attachment_id'] ) ) {

@header("HTTP/1.0 404 Not Found");
die();
}
}

Здесь выдается ошибка на три категории: replytocom, attachment, attachment_id. Если есть потребность, добавляйте в код функции остальных категорий.

Чтобы дополнительно дать 404 ошибку какой-то странице, то добавьте в «functions.php» код:

if ( isset( $_GET['здесь текст url'] ) ) {

@header("HTTP/1.0 404 Not Found");
die();
}

Только не забудьте вставить подозрительный текст из url.

Со временем, после нескольких заходов «ботов» Yandex и Google, все эти ошибки начнут исчезать, вместе с дублями страниц.

Кроме того, у вас отразится реальное количество постов в индексе поисковых систем, и поисковые роботы будут быстрей и правильно индексировать ваш блог.

Скорость загрузки сайта.

Скорость загрузки сайта важна как для людей, так и для поисковых роботов. Одним из главных моментов, на который влияет скорость работы вашего блога, является, так называемый, показатель отказов о котором мы говорили в статье о поведенческих факторах.

Что происходит в реальности? Человек приходит с поисковой системы по определенному запросу, находит вашу статью в поисковой выдаче и, если ваш блог очень долго загружается, он не станет ждать и уйдет с блога. Опять вернется в поисковую выдачу и продолжит поиск в других местах.

Кстати, скорость загрузки сайта напрямую оценивается поисковой системой Google. Проверить скорость загрузки сайта можно здесь: https://tools.pingdom.com.

Как увеличить скорость загрузки?

Для начала несколько советов по увеличению скорости загрузки сайта на движке WordPress.

Используйте меньшее количество необязательных плагин.

Большое их количество очень отрицательно влияет на скорость работы вашего блога. Чем меньше вы их используете, чем меньше наворачиваете свой сайт – тем быстрее будут открываться различные страницы. Поэтому рекомендую использовать только самые важные, самые необходимые.

Если есть возможность сделать какие-то функции без использования плагин – использование определенных скриптов, вставляя их в код вашего шаблона и этим самым, заменяя плагин – увеличивая скорость загрузки блога – используйте не задумываясь.

Zlib-компрессия.

Увеличить скорость загрузки сайта (только на движке WordPress) можно также с помощью – Zlib-компрессии – сжатие данных. Создается файл – например с названием – analyze.php и вставляется в него код:
<?php phpinfo(); ?>. Файл загружается в корневую папку – public.html. После этого открываете в браузере страницу:
http://вашсайт.ru/analyze.php.

В длинном списке различных характеристик, почти внизу, находим блок – zlib. Если эта опция включена, вы увидите – enabled. Теперь этот файл с корневой папки можно и удалить.

А сейчас — главное. Открываете файл — header.php и в самом верху, еще до строки «!DOCTYPE…», вставляете код:

<?php
ini_set('zlib.output_compression', 'On');
ini_set('zlib.output_compression_level', '1');
?>

Проверяете скорость загрузки блога.

Установка плагина или скрипта кеширования.

Можно установить скрипт кеширования. В результате чего значительно падает нагрузка на хостинг, а время открытия страниц сокращается до минимума. Есть много различных плагинов, в том числе и бесплатных для кеширования блога: Huper Cache, скрипты кеширования: WordPress“Maxcache”. Этот скрипт стоит не дорого, но очень помогает увеличить скорость загрузки блога.

Инструкцию по установке и настройке плагина Huper Cache найдете через поиск Яндекса. Видео-уроков множество – повторяться не буду. Плагин постоянно обновляется – один из обязательных атрибутов блога.

Оптимизация базы данных MySQL.

Плагин, который помогает оптимизировать базу данных: Optimize DB. Этот плагин важен тем, что оптимизирует базу данных MySQL и после этого его можно выключить, чтобы он не перегружал ваш блог. Время от времени, не чаще раза два в месяц, активировать и проводить оптимизацию. Подробные настройки изложены в статье «Необходимые плагины для оптимизации и продвижения блога».

Оптимизация изображений на блоге.

Первое – это оптимизация изображений на блоге с целью уменьшения их размера и соответственно уменьшения нагрузки на блог. Можно делать это, конечно, с помощью программы Adobe Photoshop. Ну и, конечно SEO оптимизация изображений.

Для оптимизации картинок и фотографий под поисковые системы используется плагин — SEO Friendly Images. Поиск, установка и активация классическая – через административную панель блога.

Все, что нужно в настройках – это удалить во вкладке «Image Alt» атрибут «%name» и не забыть обновить изменения. Теперь ваши картинки, также, как и статьи, будут правильно индексироваться и приносить трафик на блог.

Следующая проблема – уменьшение веса картинок и фотографий на сайте. Особенно это касается фото-блогов. В любом случае, вам же не хочется вставлять фотографии низкого качества, а они увеличивают загрузку блога.

Для этого существует плагин EWWW Image Optimizer – специально для WordPress. Можно оставить все настройки по-умолчанию.

После установки и активации, заходите в консоль блога – дальше «Медиафайлы» — «Неоптимизированные». В открывшемся окне, увидите количество ваших изображений для оптимизации. Нажимаете «Оптимизировать все изображения». Пройдет некоторое время – все зависит от количества картинок. До добавления новых фотографий, плагин можно деактивировать.

Затем, можете визуально удостовериться, что ваши фотографии не потеряли качество и проверить блог на скорость загрузки на, выше упомянутом, портале.

Надеюсь, данная информация хоть кому-то поможет в оптимизации своего блога. Не игнорируйте кнопки соц. сетей.

P. S. Если у кого-то возникали такие же проблемы, прошу поделиться опытом в комментариях. Буду очень благодарен.