mr.Anderson

Печатный серотонин

Когда Яндекс заглатывает твою страницу

Как-то раз я уже публиковал все возможные способы дать сожрать страницы Яндексу. Так-так, одну секунду. Вроде это, да, точно оно. И вот наш герой решился снова потестировать очередной алгоритм, мать его. Итог: 11 дней без апдейта. Многие сейчас скажут, мол, мы клали хер на Яндекс и долбили его, так как есть Гугл (передаю привет S37dap42x и его дорвеям), увы, я до такого уровня пока не дорос. Но ближе к сути.

Решил старина Андерсон эту проблему следующим путем:

Берем страничку. Просто на вордпердесе создаем страницу, прикинь. Пустую. Пихаем туда заголовки непроиндексированных страниц, публикуем, 8x0lgrF8pU8отправляем в аддурилку. Теперь самое интересное. Каждый написанный заголовок оборачиваем в ссылку на страницу с этим заголовком, обновляем. Два-три раза в сутки кидаем туда новые заголовки записей, обновляем и снова оборачиваем в ссылки. Быстрый Бот жрет на ура. По ходу получается страница с динамическим контентом или что-то вроде того.

А вот интересный ответ о индексации картинок, также применимо и к тексту:

Здравствуйте, mr.Anderson!

Прошу прощения за задержку с ответом.

Приведённые Вами страницы сайта известны нашему роботу, по мере обхода сайта они постепенно будут индексироваться и смогут появиться в поисковой выдаче. Но хочу заметить, что процесс индексирования сайтов организован таким образом, чтобы роботы могли скачать максимально возможное количество страниц, не перегружая при этом сервер. Если на одном IP-адресе расположено большое количество сайтов, робот просто не сможет скачать все страницы, обход которых он запланировал, так как это может привести к перегрузке севера или блокировке робота.
Ваш сайт расположен как раз на одном из таких IP адресов: помимо xxx.com , там находится еще несколько сотен других сайтов, в связи с этим на индексирование страниц сайта может уйти гораздо больше времени, чем обычно. Указать какие-то конкретные сроки индексирования страниц в подобных случаях, у нас, к сожалению, нет возможности.

Остается вопрос о том как они получают информацию о нагрузке на сервер. Ну да плевать, есть более важные вещи, например девочки на моем блоге в конце поста:

wallpaper-2600417

 

 

Previous

Telderi: дощечка объявлений с окупаемостью в 25 лет

Next

Коротко о главном: старость, статейник и ненавистная работа

6 Comments

  1. Проверить отклик сервера для Гоши можно тут: https://developers.google.com/speed/pagespeed/insights/?hl=ru

    В ответе от Яши, видимо, предполагается, что если сайты на одном IP, то вероятно, что они крутятся на одной и той же машине с виртуализацией на несколько… В идеале, видимо один IP — один сайт?

    Ссылку на меня зажал, жмотяра =)

    • mr.Anderson

      Получается 1 сайт — 1 IP, мне ссылок для тебя не жалко, на держи =).

  2. Прям захотелось киношедевры с Александрой пересмотреть после прочтения поста)

  3. Akrustam

    Не понял метод. Вордпресс это твой сайт, на котором не проиндексированы страницы? Страница пустая остается та же?

    • mr.Anderson

      На странице выводишь ссылки на свежие записи, бот приходит и кушает, периодически снимаешь старые ссылки и добавляешь новые

  4. Ирина

    Фарид, специально прошла регистрацию по-новой,чтобы оставить коммент.Дай Бог тебе здоровья зато,что твой блог приносит столько пользы. Уже открыла именно эту книгу и читаю. Именно такой книги мне сейчас и не хватало. С огромным уважением.

Добавить комментарий

by mr.Anderson & The Red Coala ´