Сегодня я хочу затронуть вопрос быстрой индексации больших сайтов. Под таковыми я подразумеваю порталы с более чем 50000 страницами, т.е. действительно большие ресурсы. Обычно, запуская скромный сайт с несколькими десятками динамических страниц, не существует проблем с быстрой и полной индексацией поисковыми роботами. Но что, если сразу требуется быстро проиндекcировать действительно большой сайт? Тут действительно появляются нюансы.
В данном случае следует быть более аккуратными, так как существует вероятность попасть в бан поисковых систем, после чего можно долго и нудно из него выбираться. Поэтому в первую очередь стоит учесть следующие моменты:
● Необходимо избегать дублирования контента на сайте – весь текст должен быть уникальным;
● Избегайте быстрого появления большого количества страниц. Ведь если на вашем новом ресурсе в течении недели появилось более 10000 страниц, то поисковые роботы могут посчитать, что это автоматически сгенерённый контент. Соответственно ваш сайт может попасть в бан;
● Не используйте в URL идентификаторов, рекомендую исключительно текстовые ссылки;
● Избегайте использования дублирующих мета-тегов страниц Title и Description, они должны быть уникальными;
А для более быстрой индексации я рекомендую:
● Обязательно создать карту сайта;
● Оптимизировать скорость загрузки сайтов для поисковых роботов, убрав излишний html код;
● Постепенно наращивайте количество страниц на сайте, по возможности равным количеством ежедневно;
● Грамотно структурируйте сайт, правильно перелинковывайте разделы и категории;
● Ну и естественно наращивайте количество внешних ссылок, особенно на страницу с картой сайта, на главную страницу, на главные страницы разделов сайта. Проще всего раздобыть ссылки с блогов, форумов и социальных сетей.