Индексация страницы
Как происходит индексация страницы? Как ускорить индексацию сайта? эти и многие вопросы мучают большинство неосведомленных вебмастеров. Индексация страницы поисковым роботом целиком зависит от внешних и внутренних факторов сайта. Алгоритмы работы поисковых машин неизвестны никому до конца и каков будет результат после того как произойдет индекстация сайта неизвестен. Но некоторые общепринятые мероприятия могут на нее повлиять и улучшить качество индексации.
Суть поисковой машины, заключается в постоянном отслеживании самой полезной информации, которая со стремительной скоростью появляется в сети. И эту информацию поисковик должен предоставить пользователю по результатам запроса, которая будет в наибольшей степени релевантна и ответит на вопрос.
Спайдер (поисковый паук)
- перемещается по ссылочному содержимому и отвечает за скачивание новых страниц, которые необходимо занести в базу поисковой системы. Спайдер видит только текст и голый код сайта, игнорируя при этом графическое содержимое страницы. Излишнее наполнение страниц флеш, графикой и баннерами, может затянуть процесс индексации страницы на неопределенный период. Не торопитесь вешать баннеры и рекламу, сначала дождитесь завершения индексации, а затем действуйте.
Краулер (паук путешественник) – перемещается по ссылочному содержимому страниц, выполняя поиск факта появления новых страниц, которые необходимо проиндексировать. После нахождения неизвестной поисковой системе нового документа, сообщает спайдеру о нем, тем самым давая понять, что его нужно занести в базу поисковой системы. Краулера можно приманить на свой сайт, тем самым ускорить индексацию, либо добавить адрес главной страницы сайта в форму регистрации поисковика, либо наследить, оставив несколько ссылок на других проиндексированных тематических ресурсах.
Индексатор – спецпрограмма поисковой машины, выполняет наиболее важную роль в работе поисковиков. Сканирует содержимое страниц сайта и определяет соответствие тематики и релевантности каждой отдельно взятой страницы, по нескольким поисковым запросам на основе анализа.
База поисковика – вся общая информация, в которой находятся все найденные и проиндексированные документы поисковой системой. Содержит огромный архив сайтов, который постоянно подвергается изменению. По результатам запросов пользователей, происходит выдача сайтов, которые расположены в соответствии с релевантностью запросу и обработаны в результате ранжирования поисковой системой.
Вся эта информация расположена на сервере поисковой системы, снабженном специальными программами, которые поддерживают ее стабильную работу. Ускорить индексацию можно путем активного участия в комментировании блогов и форумов, при этом оставляя обратные ссылки на свой сайт. Неплохой вариант рассматривается в применении социальных сетей и площадок, на которых также можно оставлять обратные ссылки.
Помимо всего прочего, можно выполнить запрет индексации страницы, которую необходимо скрыть от глаз пользователя или от поисковиков. Здесь два пути, первый это управлением поисковыми роботами с помощью создания специального файла, но об этом будет отдельный пост или заключить определенные участки в теги <noindex></noindex>, которые дают запрет индексации. Обычно в эти теги заключают счетчики посещений и некоторые скрипты, так как поисковый робот их не может прочесть.
Проверить индексацию сайта и какие страницы уже занесены в базу поисковых систем, можно на этом ресурсе: Проверить индексацию сайта
Помимо всего прочего, здесть можно получить сведения о содержании внешних и внутренних ссылок на страницах, какие значения пузомерок присвоены сайту тИЦ и PR, узнать нахождение сайта в каталогах Яндекс и Dmoz и получить другую полезную информацию, с точки зрения контроля за продвижением сайта.
Читать похожие статьи:
Не забывайте подписаться на обновления SEO блога по RSS!


4 Комментариев
Ноябрь 29th, 2009
Вот оно, то что нужно. решила заняться сайтами. Уже неделю ищу подобню информацию, а тут вы. Спасибо. буду тепеь эксперементировать с выдачей страниц в ПС. очень хорошо, гуд. если что задам вам вопросы
ещё раз спасибо!
Май 22nd, 2010
Последний раз читал что у гугла около 11 роботов, которые могут залазить на сайт о_О
Июль 22nd, 2010
Скажите, а если я воспользуюсь плагиом robots-meta, и при создании записи, т.е. статьи выберу в низу в виджете robots-meta (в панели управления) noindex (всего таких четыре:noindex,index, follow, nofollow). Так вот если я выберу noindex при создании статьи, то она поисковиком не будет проиндексирована? А если у меня там плагиат, и я закрою noindex-сом, это нормально будет, не забанят. Просто у меня сайт пока очень маленький, хотелось бы его быстро наполнить, а потом уже свои статьи писать. И как это происходит, типа только часть статьи закрывается, а другие на этойже странице этой же рубрике можно поставить index и будет выборочная индексация? А еще есть плагин advanced-category-excluder, там можно полностью скрыть категорию или статью отпомсковых ботов(вродебы) это так? И какой способ надежнее? Есть ли в этом минусы?А и еще вспомнил, я сравнивал файлы роботс, до и после использования этих функций, они идентичны, это что получается, что плагин не действует? Заранее благодарен, надеюсь я Вас не утомил, и с нетерпением жду от Вас ответа…
Июль 23rd, 2010
Виктор, атрибут noindex в настоящий момент может закрыть только часть контента, который вы хотите исключить из индексации страницы (т.е. скрыть от поисковых ботов). Та часть, где он будет стоять, индексироваться не будет, но будут учитываться ссылки, если они есть.
Закрывать категории не вижу смысла, скорее наоборот нужно давать эти страницы поисковым системам, как основные разделов сайта.
Добавить комментарий