Боты Яшеньки(большая история)
 

Здравствуйте.
Я думаю, что кроме помощи, которую я получу от Старожил форума(заранее огромное СПАСИБО), мой рассказ будет многим интересен и даже полезен. Извиняюсь, что так много напишу, просто хочу, чтобы картина была полной. Какой я Веб-Мастер\Оптимизатор, плохой или неопытный или ужасный, решите Вы сами.

Сайт в баньке у Яши уже несколько месяцев.
Попал он туда скорее всего из за моего участия в ввв.голинк.ру
Не догадывался я о том, что можно из за этого в баню угодить.
Писал письма Платону, а он мне отвечал почти на половину из них!
В основном стандартные фразы:
1:
*Благодарим Вас за то, что обратили наше внимание на проблемы с индексированием Вашего сайта. Мы постараемся в скором времени определить, по какой причине он отсутствует в поиске.*
2:
*Если Ваши сайты недавно появились в Сети или не содержат оригинального контента, их присутствие в результатах поиска может быть ограничено. Если на этих сайтах велика доля заимствованного контента, либо многие их страницы похожи на созданные автоматически и не предназначенные для чтения пользователями, сайты могут отсутствовать в поиске полностью. Развивайте сайты для пользователей, выкладывайте оригинальные материалы по их темам, и они появятся в поиске.*
3:
*Если, как Вы говорите, сайты содержат уникальный контент и ориентированы на пользователей, то они могут появиться в поиске в скором времени.*

Но дело так и не двигалось с места, т.е. в индексе Яши сайт отсутствовал.
С голинком я уже и забыл когда разорвал отношения и поэтому не мог понять такого отношения к себе(своему сайту).

Совсем недавно, после очередного посланного письма Платону я просмотрел логи доступа к сайту и ужаснулся. Вот, что я увидел:

Десяток таких проиндексированных страниц:
87.250.231.26 - - [10/Nov/2007:22:11:38 +0200] "GET /cgi-bin/code.cgi?cat=18&s=1 HTTP/1.1" 200 4204 "-" "Yandex/1.01.001 (compatible; Win16; I)"

+ Десяток таких:
87.250.231.26 - - [10/Nov/2007:22:11:50 +0200] "GET /linksphp.php?cat_id=12 HTTP/1.1" 200 2417 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Больше никаких страничек Яша не индексировал.
Как я себя называл…
Страшными словами. :)
Выводы, которые я сделал: на моем сайте благополучно существовали 2-е автоматических линкопомойки, из за которых я и продолжал сидеть в бане.
Прибил я их сразу и опять написал Платону…
Вот только, что просмотрел логи снова и решил написать на форум Сапы, чтобы знающие люди смогли мне немного разъяснить ситуацию.
Кстати вот и логи, не все естественно, а только заходы ботов Яшки.


87.250.253.249 - - [13/Nov/2007:23:58:09 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.01.001 (compatible; Win16; P)"
87.250.253.249 - - [13/Nov/2007:23:58:10 +0200] "GET /promoyt.gif HTTP/1.1" 304 - "-" "Yandex/1.01.001 (compatible; Win16; P)"
87.250.231.26 - - [14/Nov/2007:02:52:07 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.231.26 - - [14/Nov/2007:02:52:08 +0200] "GET / HTTP/1.1" 200 11743 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.25.13 - - [14/Nov/2007:14:14:56 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)"
87.250.252.3 - - [14/Nov/2007:14:17:07 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)"
77.88.25.13 - - [14/Nov/2007:15:33:03 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)"
77.88.25.13 - - [14/Nov/2007:17:08:02 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)"
87.250.252.249 - - [14/Nov/2007:18:15:06 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.01.001 (compatible; Win16; P)"
87.250.252.249 - - [14/Nov/2007:18:15:06 +0200] "GET /promoyt.gif HTTP/1.1" 304 - "-" "Yandex/1.01.001 (compatible; Win16; P)"

Вот описание ботов, заходивших ко мне, которое Вы, конечно, знаете, но думаю, оно все же тут не будет лишним.

Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»

ВНИМАНИЕ Вопросы:
Что делать? Чего ждать от Яши? Я совсем плохой? :)

p.s.
robots.txt - на сайте пустой.
Через форму «Добавить URL» я сайт не добавлял.
Сайт в подписи.
Спасибо Всем, кто попытается помочь. ;)

Давайте разбираться.
Как вы сделали этот вывод?

1.проадурите все страницы
2.войдите в вэбмастер яндекса и посмотрите свои ерроры?

Потому, что я весь сайт делал только на html и php не использовал.
А */cgi-bin/code.cgi?cat=18&s=1* и */linksphp.php?cat_id=12* не являются страницами моего сайта. По крайней мере я их не делал и контента там не размещал. Совсем забыл, около месяца назад был взлом хостинга или кража паролей и на главной был помещен троян. Пароль сменил, главную заменил на нормальную. Троян пропал. Врядли это относится к теме, но все же вспомнил и решил написать об этом.

Не могли бы ещё и исходники движков линкопомоек выложить сюда?

Как вариант можно еще поронораскрутные ссылки ( получи кучу посетителей себе на сайт ) убрать

Вообще то я не зря первым словом в названии темы сделал *БОТЫ*.
Я предпологал, что основной упор будет делатся на ЛОГи...
Сегодняшняя проверка ЛОГов дала, вроде бы, положительные результаты.

Несколько десятков таких записей:
87.250.252.13 - - [15/Nov/2007:02:46:02 +0200] "GET /linksphp.php?cat_id=2490368 HTTP/1.1" 404 632 "-" "Yandex/1.01.001 (compatible; Win16; I)"
*404* - как я догадываюсь, говорит о том, что бот не нашел данной страницы, а огромное количество таких *проиндексированных* страниц, говорит о том, что весь список этих страниц Яша где то у себя хранил. А вот о том, что значит цифра *632* догадатся я не смог.

И всего несколько записей:
87.250.252.13 - - [15/Nov/2007:02:46:18 +0200] "GET /anekdot-2.html HTTP/1.1" 200 10761 "-" "Yandex/1.01.001 (compatible; Win16; I)"
:)
Хочется верить в то, что я прав и Яша начинает понемногу индексировать настоящие страницы моего сайта!

А чуть ниже, в логах, удивил меня бот Маил.ру
Наравне с кучей:
194.186.55.206 - - [15/Nov/2007:08:25:47 +0200] "GET /cgi-bin/?cat=55 HTTP/1.0" 403 - "-" "Mail.Ru/1.0"

Присутствовали почти все страницы моего сайта в записях:
194.186.55.206 - - [15/Nov/2007:08:27:11 +0200] "GET /book-2.html HTTP/1.0" 200 9137 "-" "Mail.Ru/1.0"

Удивил он меня тем, что Яша всего несколько страниц нашел, а он, думаю все.

Размер страницы в байтах вместе с заголовком.

Ок. А как насчет моих предположений?

87.250.252.13 - - [19/Nov/2007:01:43:44 +0200] "GET /index.html HTTP/1.1" 200 12478 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Это уже Джек пот?!
:)