Как-то раз я уже публиковал все возможные способы дать сожрать страницы Яндексу. Так-так, одну секунду. Вроде это, да, точно оно. И вот наш герой решился снова потестировать очередной алгоритм, мать его. Итог: 11 дней без апдейта. Многие сейчас скажут, мол, мы клали хер на Яндекс и долбили его, так как есть Гугл (передаю привет S37dap42x и его дорвеям), увы, я до такого уровня пока не дорос. Но ближе к сути.

Решил старина Андерсон эту проблему следующим путем:

8x0lgrF8pU8

Берем страничку. Просто на вордпердесе создаем страницу, прикинь. Пустую. Пихаем туда заголовки непроиндексированных страниц, публикуем, отправляем в аддурилку. Теперь самое интересное. Каждый написанный заголовок оборачиваем в ссылку на страницу с этим заголовком, обновляем. Два-три раза в сутки кидаем туда новые заголовки записей, обновляем и снова оборачиваем в ссылки. Быстрый Бот жрет на ура. По ходу получается страница с динамическим контентом или что-то вроде того.

А вот интересный ответ о индексации картинок, также применимо и к тексту:

Здравствуйте, mr.Anderson!

Прошу прощения за задержку с ответом.

Приведённые Вами страницы сайта известны нашему роботу, по мере обхода сайта они постепенно будут индексироваться и смогут появиться в поисковой выдаче. Но хочу заметить, что процесс индексирования сайтов организован таким образом, чтобы роботы могли скачать максимально возможное количество страниц, не перегружая при этом сервер. Если на одном IP-адресе расположено большое количество сайтов, робот просто не сможет скачать все страницы, обход которых он запланировал, так как это может привести к перегрузке севера или блокировке робота.
Ваш сайт расположен как раз на одном из таких IP адресов: помимо xxx.com , там находится еще несколько сотен других сайтов, в связи с этим на индексирование страниц сайта может уйти гораздо больше времени, чем обычно. Указать какие-то конкретные сроки индексирования страниц в подобных случаях, у нас, к сожалению, нет возможности.

Остается вопрос о том как они получают информацию о нагрузке на сервер. Ну да плевать, есть более важные вещи, например девочки на моем блоге в конце поста: