Практикам по оптимизации полезно знать, как работают просмотр, индексирование и ранжирование, поскольку это помогает им определить, какие действия необходимо предпринять для достижения своих целей. В этом разделе в основном описываются способы работы Google, Yahoo! и Microsoft, но, возможно, он неприменим для других популярных поисковых движков, таких как Baidu (Китай) и Naver (Корея).

Поисковые движки имеют несколько основных целей и функций. В их число входят следующие:

• просмотр и индексирование миллиардов документов (страниц и файлов), доступных в Интернете;

• ответы на запросы пользователей (с выдачей списков релевантных страниц).

Мы рассмотрим основы этих функций с нетехнической точки зрения.

Представьте себе, что Интернет – это сеть станций в подземке большого города. Каждая станция – уникальный документ (обычно web-страница, но иногда это файл формата PDF, JPEG или другого формата). Поисковому движку нужен способ "проползти" по всему городу и найти по дороге все станции, поэтому он использует самый лучший из имеющихся маршрутов: ссылки между web-страницами (рис. 2.11).

Рис. 2.11. Лондонская подземка здесь используется как аналогия для обследования пауком

На нашем рисунке такие станции, как Embankment, Picadilly Circus и Moorgate, являются страницами, а соединяющие их линии представляют ссылки с этих страниц на другие страницы Интернета. Как только Google (нарисован внизу) доберется до Embankment, он увидит ссылки на Charing Cross, Westminster и Temple и сможет получить доступ к любой из этих страниц.

Структура ссылок сети Интернета связывает между собой все страницы, которые были сделаны публичными в результате установления ссылок на них. При помощи ссылок автоматизированные роботы поисковых движков, называемые "пауками" (именно поэтому они изображены в таком виде), могут добраться до многих миллиардов взаимосвязанных документов.

Когда поисковые движки находят эти страницы, их следующая задача состоит в том, чтобы сделать анализ кода этих страниц и сохранить элементы этих страниц в огромных массивах жестких дисков (чтобы при необходимости их можно было извлечь для ответа на запрос). Чтобы справиться с этой монументальной задачей по хранению миллиардов страниц (к которым можно получить доступ в доли секунды), поисковые движки создают огромные центры обработки данных.

Одна из ключевых концепций создания поискового движка – это решить, откуда начать поиск по сети. Несмотря на то, что теоретически начать можно из многих мест, в идеале следует начинать с доверенного набора web-сайтов. Фактором оценки доверия к вашему сайту можно считать расстояние (в количестве кликов) между вашим сайтом и наиболее доверенными сайтами. Мы более подробно обсудим роль доверия в алгоритмах поиска в разд. "Как ссылки влияют на рейтинги поисковых движков” главы 7.

В большинстве случаев поиск ответов начинается так, как показано на рис. 2.12.

Рис. 2.12. Начало поиска пользователя

Следующий шаг этого поиска начинается тогда, когда поисковый движок возвращает список релевантных страниц Интернета (в том порядке, который должен с наибольшей вероятностью удовлетворить пользователя). Этот процесс требует от поискового движка "перелопачивания" имеющихся у него миллиардов документов и выполнения двух задач:

• возвращения только тех результатов, которые относятся к запросу пользователя;

• ранжирования результатов по их важности (с учетом доверия и авторитета данного сайта). Именно на релевантность и важность должен влиять процесс поисковой оптимизации.

Релевантность – это степень, в которой содержимое возвращенного в результате поиска документа совпадает с намерением и терминами запроса пользователя. Релевантность документа увеличивается, если термины или фраза запроса пользователя встречаются в нем несколько раз и содержатся в заголовке страницы или в заголовках документа (или если ссылки на эту страницу ведут с релевантных страниц и используют релевантный якорный текст).

Релевантность можно считать первым шагом к "участию в игре". Если вы не релевантны запросу, то движок поиска не рассматривает вас на предмет включения в результаты поиска по данному запросу. Более подробно мы обсудим определение релевантности в разд. "Определение намерения пользователя и выдача релевантного и свежего контента” данной главы.

Важность (или популярность) – это относительная важность, измеряемая по цитированию (когда одна работа ссылается на другую, как это часто бывает в научных и деловых документах) данного документа (соответствующего запросу пользователя). Популярность данного документа увеличивается с каждым новым ссылающимся на него документом. В научном мире эта концепция известна под названием "анализ цитирования".

Представьте себе, что важность – это способ определения той конкретной страницы (из группы одинаково релевантных страниц), которая будет показана первой (второй, третьей и т. д.) в результатах поиска. Важными составляющими этого процесса являются относительный авторитет сайта и то доверие, которое движок поиска имеет к нему. Конечно, процесс оценки несколько сложнее и не все страницы одинаково релевантны. В конечном итоге, порядок ранжирования определяется комбинацией релевантности и важности.

Итак, когда вы видите страницу результатов поиска (рис. 2.13), то можете предположить, что поисковый движок (в данном случае это Yahoo!) считает, что страница Superhero Stamps на USPS.com имеет самый высокий комбинированный показатель по релевантности и популярности для запроса marvel superhero stamps, в то время как страница Yahoo! Shopping имеет более низкий комбинированный показатель по релевантности и популярности.

Рис. 2.13. Пример результатов поиска по marvel superhero stamps

Популярность и релевантность определяются не вручную (для этого потребовалось бы привлечь все население Земли). Движки создают математические уравнения (алгоритмы), которые "отделяют зерна от плевел", а затем ранжируют зерна по качеству. Эти алгоритмы состоят из сотен компонентов. В области поискового маркетинга они часто называются факторами ранжирования или алгоритмическими критериями ранжирования.

Мы более подробно обсудим факторы (Google предпочитает термин "сигналы") ранжирования в разд. "Анализируем факторы ранжирования” данной главы.

Поисковые движки уделяют большое внимание содержимому каждой web-страницы, которую они находят, поскольку именно это содержимое определяет, о чем данная страница.

Представьте себе, что поисковый движок выполняет подробный анализ всех слов и фраз, которые имеются на web-странице, а затем строит карту этих данных, чтобы принять решение относительно показа вашей страницы в результатах запроса пользователя. Эта карта (которую часто называют семантической картой) стремится определить связи между концепциями, чтобы поисковый движок мог лучше понимать, как сопоставлять запросам пользователей нужные web-страницы.

Если нет семантического совпадения содержимого web-страницы и запроса, то страница имеет гораздо меньшую вероятность показа. Поэтому размещенные вами на данной странице слова и "тема" этой страницы играют при ранжировании огромную роль.

На рис. 2.14 показано, как поисковый движок разбивает страницу, когда рассматривает ее (страница взята с сайта Stone Temple Consulting).

Рис. 2.14. Разбивка web-страницы

Навигационные элементы страницы на многих страницах сайта выглядят одинаково. Эти навигационные элементы не игнорируются и играют важную роль, но они не помогают поисковому движку определить, какой уникальный контент имеется на странице. Для этого поисковый движок сосредоточивается на той части рисунка, которая помечена как Real content (реальный контент).

Определение уникального контента страницы – это важная часть того, что делает поисковый движок. Именно это понимание уникального контента страницы используется поисковым движком для определения тех типов поисковых запросов, для которых данная web-страница может быть релевантной. Поскольку навигация обычно не является уникальной для конкретной страницы, то она никак не помогает поисковому движку в решении этой задачи.

Но это вовсе не значит, что навигационные ссылки не важны. Однако навигационные ссылки не учитываются при определении уникального контента web-страницы, т. к. эти ссылки используются на многих web-страницах.

Поисковый движок должен также решить задачу определения ценности контента. Несмотря на то, что частью этого процесса является определение реакции сообщества на данный контент (при помощи анализа ссылок), некоторые выводы поисковые движки могут сделать и из того, что они видят на странице.

Например, есть ли точно такой же контент на другом web-сайте? Каков размер уникального контента, который видит поисковый движок: два предложения или больше 500 слов? Не повторяются ли в этом контенте слишком часто одни и те же ключевые слова?

Это несколько примеров того, на что может смотреть поисковый движок при определении ценности контента.

Программы индексирования и пауки поисковых движков – это исключительно мощные программы. Они просматривают сотни миллиардов web-страниц, анализируют контент всех страниц, а также способ связи этих страниц друг с другом. Затем они организуют всю полученную информацию в базы данных, которые в ответ на запрос пользователя могут выдать (в течение нескольких десятых секунды) высоко организованный набор результатов.

Это потрясающее достижение, но оно имеет свои ограничения. Программное обеспечение очень механистично, оно может понять только часть страницы (для большинства web-страниц). Паук поискового движка анализирует HTML-код web-страницы. Если вы хотите понять, как это делается, то сможете увидеть, воспользовавшись вашим браузером для просмотра исходного кода.

Два моментальных снимка экрана на рис. 2.15 показывают, как сделать это в браузере FireFox (левый рисунок) и в браузере Internet Explorer (правый рисунок).

Рис. 2.15. Просмотр исходного кода в вашем браузере

При просмотре исходного кода вы видите точный код web-сайта, который web-сервер отправил в ваш браузер. Именно это и видит паук поискового движка (поисковый движок видит также и HTTP-заголовки данной страницы). Паук игнорирует многое из того, что содержится в коде. Например, поисковые движки в основном игнорируют такой код, который показан на рис. 2.16 (поскольку он не имеет отношения к содержимому web-страницы).

Рис. 2.16. Пример исходного кода web-страницы

Паук поискового движка больше всего интересуется той информацией, которая содержится в HTML-тексте страницы. На рис. 2.17 показан пример HTML-текста для web-страницы (использована начальная страница сайта SEOmoz.org).

Рис. 2.17. Пример HTML-текста в исходном коде

Несмотря на то, что на рисунке есть HTML-коды, мы можем ясно видеть в этом коде обычный текст. Это именно тот уникальный контент, который ищет паук.

Кроме того, поисковые движки читают и некоторые другие элементы. Один из этих элементов – заголовок страницы (один из самых главных факторов при ранжировании данной web-страницы). Это текст, который демонстрируется в строке заголовков браузера (синяя полоса над меню браузера).

На рис. 2.18 показан тот код, который видит паук. В качестве примера использован сайт Trip Advisor (http://www.tripadvisor.com).

Рис. 2.18. Метатеги в исходном HTML-коде

Первый красный эллипс на рисунке обозначает тег заголовка страницы. Этот тег часто (но не всегда) используется как заголовок вашей позиции в результатах поискового движка. Исключением из этого правила являются данные вашего сайта, полученные из каталогов Yahoo! или DMOZ. Иногда поисковые движки могут видеть в качестве заголовка вашей страницы то, что было использовано в ваших данных в этих каталогах (а не тег заголовка страницы). Есть также и метатеги, которые позволяют вам блокировать это (такие, как тег noodp (который говорит поисковому движку, что не следует использовать заголовки DMOZ) и тег noydir (который говорит движку Yahoo! что не следует использовать листинг каталогов Yahoo!)).

В любом случае, на рис. 2.19 показано то, что происходит, когда вы ищете stone temple consulting (начальная страница Stone Temple Consulting находится по адресу http://www.stonetemple.com). Обратите внимание, что заголовок результатов поиска совпадает с заголовком начальной страницы Stone Temple Consulting.

Рис. 2.19. Результаты поиска, показывающие тег заголовка страницы

В дополнение к заголовкам страниц, поисковые движки читают также и метатег keywords. Это список ключевых слов, которые вы хотите ассоциировать со страницей. Спамеры (люди, которые пытаются манипулировать результатами поисковых движков в нарушение их указаний) много лет назад разрушили ценность этого тега для оптимизации (и поэтому его ценность нынче минимальна). Google вовсе не использует этот тег для ранжирования, но Yahoo! и Bing вроде бы уделяют ему внимание (вы можете прочитать об этом более подробно по адресу http://searchengineland.com/meta-keywords-tag-101-how-to-legally-hide-words-on-your-pages-for-search-engines-12099). Тратить много времени на метатег keywords не рекомендуется (поскольку в плане оптимизации это вам ничего не даст).

Второй красный эллипс на рис. 2.18 обозначает пример метатега keywords.

Поисковые движки читают также и метатег description (третий красный эллипс на рис. 2.18). Однако метатег description не оказывает никакого влияния на рейтинги поисковых движков (http://searchengineland.com/21-essential-seo-tips-techniques-11580).

Тем не менее метатег description играет ключевую роль, поскольку поисковые движки часто используют его как описание вашей страницы в результатах поиска. Поэтому хорошо написанный метатег description может иметь существенное влияние на количество кликов по вашему элементу в результатах поиска. Потраченное на этот тег время даст ценные результаты. На рис. 2.20 показан поиск по trip advisor, который является примером использования метатега description в качестве описания в результатах поиска.

Рис. 2.20. Метатег description в результатах поиска

Четвертый элемент, который читают поисковые движки, – это атрибут alt для изображений. Этот атрибут первоначально использовался для отображения хоть чего-нибудь в том случае, когда просмотр изображения был невозможен. Это было предназначено для двух групп пользователей:

• плохо видящих людей, не имеющих возможности просматривать изображения;

• тех людей, которые отключают изображения для ускорения просмотра страниц (но это актуально только для тех, у кого нет высокоскоростного подключения к Интернету).

Поддержка плохо видящих людей остается основной причиной использования атрибута alt. Вы можете прочитать об этом на странице Web Accessibility Initiative по адресу: http://www.w3.org/WAI/.

Поисковые движки также читают и текст, содержащийся в атрибуте alt тега image. Этот тег используется для того, чтобы дать указание web-странице показать изображение. Вот пример тега изображения с сайта Alchemist Media:

Современные коммерческие поисковые движки основаны на науке информационного поиска. Эта наука существует с середины двадцатого столетия, когда системы информационного поиска работали на компьютерах в библиотеках, исследовательских центрах и правительственных лабораториях. В начале разработки поисковых систем исследователи обнаружили, что основную часть функционала поиска составляют два самых важных компонента: релевантность и важность (которым мы уже дали определения в этой же главе). Для измерения этих факторов поисковые движки выполняют анализ документов (в том числе семантический анализ концепций документа) и анализ ссылок (цитирования).

При анализе документа поисковый движок ищет поисковые термины в важных областях документа (заголовке страницы, метаданных, тегах заголовков и в теле текста). Он также пытается автоматически измерить качество документа (при помощи анализа документа и множества прочих факторов).