Аудит существующего сайта – это одна из самых важных задач, с которой сталкиваются профессионалы по оптимизации. Оптимизация относительно новая область, а многие ограничения пауков поисковых движков совершенно не очевидны. Кроме того, web-разработчики обычно не слишком хорошо разбираются в оптимизации. Сюда входят и те, кто разрабатывал системы CMS, так что при выполнении аудита сайта вы можете найти массу проблем.

Аудит сайта по оптимизации часто становится первым шагом в реализации стратегии оптимизации. Чтобы ваши усилия в этой области увенчались успехом, ваш web-сайт должен быть прочной основой (более подробно об этом будем говорить в главе 6).

А сейчас рассмотрим то, что вам следует учитывать при выполнении аудита сайта.

• Удобство пользования.

Несмотря на то, что это можно и не считать проблемой оптимизации, данный вопрос является очень хорошей начальной точкой. Удобство пользования влияет на многие факторы (в том числе и на показатель конвертации), а также на желание пользователей делать ссылки на ваш сайт.

• Доступность для пользователей и пауков.

Убедитесь в том, что сайт дружелюбен к паукам поисковых движков. Мы подробно обсудим это в главе 6.

• Проверка в поисковых движках.

Предлагаем некоторые быстрые проверки:

– выполните в поисковых движках поиск site: yourdomain.com, чтобы убедиться, что все ваши страницы присутствуют в индексе. Сравните это число с числом уникальных страниц, которое по вашим данным имеется на сайте;

– проверьте поиск по вашим брендам, чтобы убедиться в том, что вы фигурируете в рейтингах (если вас нет, то, возможно, на вас был наложен штраф);

– проверьте кэш Google и убедитесь, что кэшированные версии ваших страниц выглядят точно так же, как "живые" страницы.

• Проверка ключевых слов.

Используются ли правильные ключевые слова? Соответствует ли логическая архитектура сайта способу поиска пользователя по ключевым словам? Бывает ли так, что на одно ключевое слово нацелено более одной страницы (так называемая "каннибализация" ключевых слов)? Подробнее мы будем обсуждать эти вопросы в главе 6.

• Проверка на дублирование контента.

Первое, что нужно сделать, – это убедиться в том, что ссылка на ваши страницы без указания протокола www (например, http://yourdomain.com) делает редирект 301 на www-версию ваших страниц (т. е. на www.yourdomain.com) или наоборот (это часто называется каноническим редиректом). Когда вы будете заниматься этим, проверьте также, что у вас нет https-страниц, являющихся дубликатами ваших http-страниц. Следует проверить также и остальной контент сайта.

Самый простой способ – взять уникальные строки из каждой основной страницы контента сайта и сделать по ним поиск в Google. Не забудьте заключить строку в двойные кавычки (например, "это фраза с вашего web-сайта, которая используется для проверки на наличие дублированного контента"), чтобы движок Google искал именно эту строку.

Если же ваш сайт огромен и такая задача становится слишком трудной, то проверьте самые важные страницы и создайте процесс для проверки нового контента (до того, как он попадает на сайт).

Вы можете также использовать для проверки на наличие дублированного контента такие команды, как inurl: и intitle:. Например, если у вас есть URL с идентифицирующими компонентами (например, "1968-mustang-blue" или "1097495"), то можете сделать их поиск при помощи команды inurl: и посмотреть, не будет ли результатов более одного.

Еще один способ поиска дублированного контента – убедиться в том, что каждый элемент контента доступен только по одному адресу URL. Эта проблема встречается на больших коммерческих сайтах чаще других. Проблема состоит в том, что один и тот же контент доступен многими разными способами и по многим URL, что заставляет поисковый движок решать, какая версия является канонической, на какую надо сделать ссылку, а какую оставить без внимания. Никто не выигрывает, когда сайты борются между собой. Живите в мире, а если вам нужно поставлять контент разными способами, то используйте куки-файлы (чтобы не сбивать с толку пауков).

• Проверка URL.

Убедитесь в том, что у вас четкие, короткие и описательные URL. "Описательный" – значит "насыщенный" ключевыми словами, но не "нафаршированный". Вам не нужны приписанные в конце параметры (либо их должно быть как можно меньше), они должны быть простыми и легкими для понимания пользователями (и пауками).

• Анализ тега title.

Убедитесь в том, что тег title на каждой странице сайта уникальный и описательный. В идеале не следует тратить время (и ограниченное место) на включение названия вашей организации в URL. Если же вы должны включить его, то название должно фигурировать в конце тега title, а не в его начале, поскольку размещение ключевых слов в начале URL дает преимущество при ранжировании. Проверьте также, чтобы тег title был не длиннее 70 символов.

• Анализ контента.

Достаточно ли контента на главных страницах сайта? Используют ли все эти страницы теги header? Для более тонкой проверки следует убедиться, что процент страниц сайта с небольшим количеством контента не слишком высок (относительно общего количества страниц сайта).

• Анализ метатегов.

Проверьте наличие на страницах вашего сайта метатега robots. Если вы найдете такой тег, то, вероятно, имеется проблема. Нечаянно поставленный тег Noindex или NoFollow (мы опишем их в главе 6) может испортить все ваши планы по рейтингу в поиске.

Убедитесь также, что каждая страница имеет уникальное метаописание. Если по какой-то причине это невыполнимо, то рассмотрите возможность полного удаления метаописания. Несмотря на то, что метатеги описания не являются существенным фактором ранжирования, они вполне могут использоваться для вычисления дублированного контента. А поисковые движки часто используют их в качестве описания ваших web-страниц в результатах поиска, поэтому они влияют на показатель "кликабельности".

• Проверка файла Sitemaps и файла robots. txt.

Используйте инструмент Google Webmaster Tools для проверки вашего файла robots.txt. Также убедитесь, что в вашем файле Sitemaps указаны все (канонические) страницы.

• Проверка редиректов.

Для проверки того факта, что все использованные на сайте редиректы возвращают код состояния 301, используйте такое средство проверки заголовков сервера, как Live HTTP Headers (http://livehttpheaders.mozdev.org/). Проверьте таким образом все редиректы. Нужно убедиться также в том, что правильно реализован канонический редирект.

К сожалению, вследствие неочевидного характера причин предпочтения редиректа 301, вам следует проверить, правильно ли это было сделано (даже если вы заранее дали явные указания web-разработчику). Ошибки случаются, а иногда использование редиректа 301 осложняет система CMS или хостинговая компания.

• Проверка внутренних ссылок.

Ищите страницы, которые имеют слишком много ссылок. Google советует не превышать максимального значения в 100 штук на одну страницу, хотя на более важных страницах (на которые делается много ссылок) можно сделать и больше.

Убедитесь, что сайт хорошо использует якорный текст в своих внутренних ссылках. Это совершенно бесплатная возможность проинформировать пользователей и поисковые движки о содержимом различных страниц вашего сайта. Однако не злоупотребляйте ею. Например, если у вас в глобальной навигации есть ссылка на начальную страницу (а она должна быть), то назовите ее "Home" (вместо вашего самого весомого ключевого слова).

Якорный текст внутренних ссылок на начальную страницу все равно никак не помогает в рейтингах. Поисковые движки рассматривают такую практику, как спамерскую, причем она не создает хорошего впечатления у пользователей. Применяйте этот критерий удобства использования при всех подобных проверках!

• Ликвидация ненужных поддоменов.

Поисковые движки могут не применять весь объем доверия и "сок ссылок" к поддоменам. Это происходит в основном благодаря тому факту, что поддомен может управляться совсем другой организацией и поэтому (в глазах поискового движка) его нужно оценивать отдельно. В огромном большинстве случаев содержимое поддомена можно легко разместить в подкаталоге.

• Геолокация.

Если домен нацелен на конкретную страну, то убедитесь в том, что вы выполнили указания разд. "Лучшие практики для нацеливания на язык/страну” главы 6. Если вас больше всего беспокоит рейтинг по словам chicago pizza (потому что вы имеете пиццерию в Чикаго), то убедитесь в том, что ваш адрес имеется на каждой странице вашего сайта. Вы должны также проверить свои результаты в Google Local, чтобы понять, есть ли у вас здесь проблемы.

• Внешние ссылки.

Проверьте входящие на сайт ссылки. Используйте для сбора данных о ваших ссылках такие инструменты, как Yahoo! Site Explorer (http://siteexplorer.search.yahoo.com), Linkscape (http://www.seomoz.org/linkscape), Majestic-SEO (http://www.majesticseo.com) или Link Diagnosis (http://www.linkdiagnosis.com). Ищите плохие шаблоны в якорном тексте (когда, например, 87 % ссылок содержат критичное ключевое слово для сайта). Это является верным признаком проблемы (если только данное критичное ключевое слово не является также названием компании). Такое распределение с большой долей вероятности является следствием покупки ссылок (или другого манипулирования).

Оборотная сторона медали состоит в том, что критичное для сайта ключевое слово должно быть видно значительное количество раз. Недостаточное использование ключевого слова во входящем якорном тексте также не очень хорошо. Нужно найти баланс.

Позаботьтесь о том, чтобы были ссылки не только на начальную страницу. Они часто называются "глубокими ссылками” и помогают поднять рейтинг основных разделов вашего сайта. Нужно также обратить внимание и на сами ссылки. Посетите ссылающиеся на вас страницы и посмотрите, не являются ли эти ссылки платными. Они могут быть открыто помечены как спонсируемые, либо их размещение может быть таково, что они явно не являются естественными. Посмотрите, как профиль ссылок сайта выглядит в сравнении с профилями ссылок основных конкурентов.

• Время загрузки страницы.

Слишком большое время загрузки страницы может замедлить просмотр пауком и индексирование сайта. Однако для того, чтобы время стало учитываться, оно должно быть действительно чрезмерным (более 5 сек).

• Тег alt для изображения.

Проверьте, имеют ли все изображения релевантный и насыщенный ключевыми словами текст в атрибуте alt и в названии файла изображения. Поисковые движки не могут сказать, что находится внутри изображения, а самый лучший способ предоставить им подсказки – это использовать атрибут alt и название файла изображения. Это усиливает также общий контекст самой страницы.

• Качество кода.

Несмотря на то, что поисковые движки не требуют правильности кода, его проверка является хорошей идеей. Плохое кодирование может иметь нежелательные последствия. Как мы уже обсуждали ранее, чтобы понять, как поисковые движки видят страницу, необходимо использовать такой инструмент, как SEO Browser (http://www.seo-browser.com).

Еще один важный компонент аудита архитектуры – это анализ ключевых слов. Он включает в себя 4 основных шага.

• Шаг 1 – изучение ключевых слов.

Чрезвычайно важно сделать это как можно раньше. Ключевые слова являются движущей силой оптимизации страниц, поэтому вам нужно знать, какие именно использовать. Вы можете прочитать об этом подробнее в главе 5.

• Шаг 2 – архитектура сайта.

Создание архитектуры сайта может быть очень сложным. На данной стадии вам нужно посмотреть на результаты изучения ключевых слов и на уже существующий сайт, чтобы производить как можно меньше изменений. Представьте себе этот процесс как карту вашего сайта. Вам нужна такая иерархия, которая ведет ко всем вашим "денежным страницам" (т. е. к тем страницам, на которых происходят конвертации). Понятно, что хорошая иерархия сайта позволяет родителям ваших "денежных страниц" иметь рейтинг по релевантным ключевым словам (которые, скорее всего, низкочастотные).

Большинство товаров имеют совершенно очевидную иерархию, в которую они укладываются, но когда вы начинаете говорить о том, что имеет несколько естественных иерархий, то все становится невероятно сложно. По нашему мнению, самые сложные иерархии получаются тогда, когда в них участвует местоположение. В одном только Лондоне, например, есть районы города, муниципальные районы, станции подземки, а также почтовые коды. Лондон даже имеет в своем составе отдельную центральную часть (Лондон-сити).

В идеальном случае вы должны прийти к простой иерархии, которая будет естественной для ваших пользователей и будет максимально соответствовать вашим ключевым словам. Когда люди могут искать продукт множеством способов, создание иерархии становится сложным.

• Шаг 3 – соответствие ключевым словам.

После того как вы получите список ключевых слов и хорошее представление об общей архитектуре, начинайте устанавливать соответствие между основными релевантными ключевыми словами и URL (а не наоборот). В таком случае будет достаточно легко найти такие места, которые вы не считали нацеленными на ключевые слова, и что более важно, найти такие ключевые слова, которые не имеют страницы.

Необходимо отметить, что между шагами 2 и 3 вы должны будете удалить все бесполезные страницы.

Если на этой стадии возникнут проблемы, то повторите шаг 2. Архитектура вашего сайта должна естественным образом привести к такому соответствию, чтобы его (сайт) было легко использовать и чтобы он содержал ваши ключевые фразы.

• Шаг 4 – анализ сайта.

После того как вы получите соответствие ключевым словам, остальная часть анализа сайта становится гораздо легче. И теперь, когда вы посмотрите на теги названий и заголовки, то сможете обратиться к соответствию ключевых слов и не только увидеть, есть ли заголовок в теге hi, но также увидеть, содержит ли он правильные ключевые слова.

Каннибализация ключевых слов обычно начинается тогда, когда информационная архитектура web-сайта требует целевого использования термина или фразы на нескольких страницах сайта. Часто это делается неумышленно, но в результате приводит к тому, что несколько (десятков) страниц имеет одно и то же целевое ключевое слово в тегах названия и заголовка. Эта проблема проиллюстрирована на рис. 4.5.

Рис. 4.5. Пример каннибализации ключевых слов

Поисковый движок проползет по вашему сайту и увидит 4 разные страницы (или даже 40), причем все они как будто бы релевантны для данного конкретного ключевого слова (в нашем примере ключевым словом является snowboard). Google не интерпретирует это таким образом, что ваш сайт в целом более релевантен для сноубордов или должен иметь более высокий рейтинг, чем конкурент. Вместо этого Google выбирает из многих версий одну, которая (по его мнению) лучше всех соответствует запросу. Когда это происходит, вы теряете некоторые возможности, поднимающие ваш рейтинг. Какие же это возможности?

• Внутренний якорный текст.

Поскольку вы указываете на множество разных страниц с одной и той же темой, то не сможете сконцентрировать пользу от внутреннего якорного текста на одной цели.

• Внешние ссылки.

Если четыре сайта делают ссылки на одну страницу о сноубордах, три сайта ссылаются на другую страницу о сноубордах, а еще шесть сайтов ссылаются на третью страницу о сноубордах, то вы разделили всю пользу от ваших внешних ссылок между тремя страницами (вместо того, чтобы сконцентрировать ее на одной странице).

• Качество контента.

После трех или четырех страниц информации (по одной и той же теме) ценность вашего контента начинает падать. Вам нужно, чтобы ссылки и реферралы привлекала самая лучшая ваша страница (а не десяток безликих дублированных страниц).

• Показатель конвертации.

Если одна страница конвертируется лучше других, то совершенно не нужно иметь несколько нацеленных на тот же самый трафик страниц с более низкой конвертацией. Если вы хотите отслеживать конвертацию, то используйте систему тестирования с множественной доставкой.

Итак, каково же решение? Посмотрите на рис. 4.6.

Рис. 4.6. Решение для каннибализации ключевых слов

Все страницы сфокусированы на уникальных вариациях и все они имеют обратные ссылки на исходный (канонический) источник (вместо целевого использования snowboards на каждой странице). Теперь Google может легко идентифицировать самую релевантную страницу для каждого из этих запросов. Это ценно не только для поисковых движков, но и обеспечивает лучшее впечатление пользователям, а также улучшает общую информационную архитектуру.

Что же вам следует делать, если вы уже имеете каннибализацию ключевого слова? Используйте редиректы 301, чтобы ликвидировать конкурирующие друг с другом страницы (или подумайте, как их дифференцировать). Начните с выявления всех страниц, имеющих эту проблему, определите самую лучшую страницу, на которую их можно направить. Затем используйте редирект 301 (с каждой из проблемных страниц) на ту страницу, которую хотите сохранить. Это обеспечит не только попадание пользователей на нужную страницу, но и тот факт, что накопленные с течением времени ссылки и релевантность направят поисковые движки на самую релевантную для данного запроса страницу с наиболее потенциально высоким рейтингом.

Рассмотрим пример ликвидации проблемы с внутренними ссылками.

Допустим, сайт предприятия может иметь размер от 10 тыс. и до 10 млн страниц. Для многих сайтов такого типа серьезной проблемой является неправильное распределение "сока" внутренних ссылок (рис. 4.7 иллюстрирует эту ситуацию).

Рис. 4.7. Распределение "сока ссылок" на очень большом сайте

Вообразите, что каждая из этих крошечных страничек представляет собой от 5 до 100 тыс. страниц на сайте масштаба предприятия. Некоторые его части (блоги, статьи, инструменты, популярные новости и т. д.) могут получать непропорционально большое количество внутренних ссылок. Другие области (обычно это бизнес-контент или контент, связанный с продажами) остаются в стороне. Как это поправить? Посмотрите на рис. 4.8.

Рис. 4.8. Использование перекрестных ссылок для выталкивания "сока ссылок" в нужные места

Решение простое (по крайней мере, его принцип прост). Пусть богатые "соком" страницы поделятся со своими обделенными ссылками братьями. Это кажется простым, но в реализации может быть невероятно сложно. Внутри архитектуры сайта (с несколькими сотнями тысяч или миллионом страниц) почти невозможно выявить богатые и бедные "соком" страницы, а тем более добавить такой код, который поможет распределить "сок ссылок" по справедливости.

К сожалению, решение этой задачи с точки зрения программирования очень трудоемко. Владельцу такого сайта необходимо разработать систему, которая будет отслеживать входящие ссылки и рейтинги, а также строить мосты (или трубы, что больше соответствует рис. 4.8), которые будут переливать сок от богатых ссылками к бедным.

Но есть альтернатива – это создание очень плоской архитектуры сайта, которая основана на релевантности или семантическом анализе (такие услуги предлагают несколько компаний, специализирующихся на поиске по сайтам предприятий и их архитектуре). Подобная стратегия больше соответствует указаниям поисковых движков (хотя она несколько хуже) и, безусловно, гораздо менее трудоемка.

Существенное увеличение весового коэффициента авторитета домена (за последние два или три года) производит впечатление попытки поисковых движков преодолевать потенциально плохие структуры внутренних ссылок (поскольку проектирование web-сайтов под PageRank практически ничего не дает пользователям) и поощрять те сайты, которые имеют большой авторитет, входящие ссылки и доверие.

К счастью, на поисковую оптимизацию влияет очень незначительное количество проблем с серверами и web-хостингом. Однако если их просмотреть, то они могут развиться в серьезные проблемы, поэтому их также следует упомянуть. Рассмотрим те проблемы с серверами и хостингом, которые могут негативно повлиять на рейтинги поисковых движков:

• Тайм-ауты сервера.

Если поисковый движок делает запрос страницы, ответ на который не приходит в пределах тайм-аута поискового робота или который выдает ответ "тайм-аут сервера", то ваши страницы могут и вовсе не попасть в индекс. И тогда эти страницы наверняка будут иметь очень плохой рейтинг, поскольку не было найдено пригодного для индексирования текстового контента.

• Медленный отклик.

Это не так вредно, как тайм-ауты сервера, но все равно является потенциальной проблемой. Не только пауки могут не дождаться загрузки ваших страниц, но и потенциальные пользователи могут предпочесть посещать другие ресурсы (поскольку доступ к вашему сайту становится проблемой).

• Совместно используемый IP-адрес.

Lisa Barone в марте 2007 г. написала великолепную статью (http://www.bruceclay.com/blog/archives/2007/03/which_is_better.html) на тему совместного использования адресов IP. Основные проблемы: скорость, возможное присутствие спамеров или не вызывающих доверия соседей на вашем IP-адресе, получение неполной выгоды от ссылок на ваш IP-адрес (более подробно обсуждается по адресу: http://www.seroundtable.com/archives/002358.html).

• Блокирование IP-адреса.

По мере того, как пауки ползают по Интернету, они часто находят целые блоки IP-адресов, заполненные совершенно очевидным спамом. Вместо блокирования каждого сайта по отдельности движки иногда принимают дополнительные меры – они блокируют IP-адрес или даже диапазон IP-адресов. Если это вас коснулось, то ищите ваш IP-адрес в Bing при помощи запроса IP: address.

• Выявление ботов и работа с ними.

Некоторые системные администраторы избыточно усердствуют в плане защиты и ограничивают доступ к файлам любому посетителю, который делает больше определенного количества запросов (в заданный промежуток времени). Для трафика поисковых движков это может быть губительно, поскольку будет постоянно ограничивать возможности пауков.

• Ограничения на ширину полосы пропускания и скорость передачи.

Многие серверы имеют ограничения по количеству поступающего на сайт трафика. Это может быть очень вредно в тех случаях, когда контент вашего сайта становится очень популярным, а ваш хост ограничивает доступ. Вашу работу не смогут увидеть не только те люди, которые потенциально могли бы сделать ссылки (и которые, соответственно, не сделают ссылок), но и поисковые движки также не смогут просмотреть ваши страницы.

• География сервера.

Это не обязательно проблема, однако нужно понимать, что поисковые движки используют местоположение web-сервера при определении релевантности контента сайта для местного поиска. Поскольку местный поиск является главной частью компаний по продвижению многих сайтов, то очень разумно размещать сайт в той стране, для которой ваш контент наиболее релевантен.

В главе 9 мы подробно обсудим методы отслеживания результатов и измерения достигнутых успехов, а также рассмотрим, как создать точку отсчета для ваших проектов по оптимизации. Но прежде (до того, как вы сможете выполнить эти задачи) нам нужно иметь правильные системы измерения.

Аналитическое программное обеспечение может обеспечить вас большим количеством ценных данных о том, что происходит на сайте. Оно может ответить на следующие вопросы:

• Сколько уникальных посетителей было у вас вчера?

• Трафик возрастает или убывает?

• Каковы самые популярные термины поиска, при помощи которых люди вас находят?

• Какие страницы вашего сайта наиболее популярны?

• Какие страницы вашего сайта имеют максимальную конвертацию?

Мы настоятельно рекомендуем: если ваш сайт в настоящее время не имеет никаких систем измерения, то немедленно чем-нибудь обзаведитесь! Существуют высококачественные и бесплатные аналитические инструменты, такие как: Yahoo! Web Analytics (http://web.analytics.yahoo.com/) или Google Analytics (http://www.google.com/analytics). Конечно, имеются также и аналитические решения более высокого класса (мы обсудим их более подробно в главе 9).

Журналы содержат подробную (клик за кликом) историю всех запросов к вашему web-серверу. Убедитесь в том, что имеете доступ к журналам и какой-то метод для их анализа. Если вы используете для своего сайта стороннюю хостинговую компанию, то, вероятно, она предоставляет какой-то бесплатный анализатор для журналов, такой как AWStats (http://awstats.sourceforge.net/), Webalizer (http://www.webalizer.com) или что-то подобное. Как можно быстрее получите доступ к этому инструменту.