14.11.2007, 20:27 | #1 |
Сапер со стажем
Регистрация: 16.05.2007
Адрес: Днепропетровск
Сообщений: 4,382
Вес репутации: 526
|
Боты Яшеньки(большая история)
Здравствуйте.
Я думаю, что кроме помощи, которую я получу от Старожил форума(заранее огромное СПАСИБО), мой рассказ будет многим интересен и даже полезен. Извиняюсь, что так много напишу, просто хочу, чтобы картина была полной. Какой я Веб-Мастер\Оптимизатор, плохой или неопытный или ужасный, решите Вы сами. Сайт в баньке у Яши уже несколько месяцев. Попал он туда скорее всего из за моего участия в ввв.голинк.ру Не догадывался я о том, что можно из за этого в баню угодить. Писал письма Платону, а он мне отвечал почти на половину из них! В основном стандартные фразы: 1: *Благодарим Вас за то, что обратили наше внимание на проблемы с индексированием Вашего сайта. Мы постараемся в скором времени определить, по какой причине он отсутствует в поиске.* 2: *Если Ваши сайты недавно появились в Сети или не содержат оригинального контента, их присутствие в результатах поиска может быть ограничено. Если на этих сайтах велика доля заимствованного контента, либо многие их страницы похожи на созданные автоматически и не предназначенные для чтения пользователями, сайты могут отсутствовать в поиске полностью. Развивайте сайты для пользователей, выкладывайте оригинальные материалы по их темам, и они появятся в поиске.* 3: *Если, как Вы говорите, сайты содержат уникальный контент и ориентированы на пользователей, то они могут появиться в поиске в скором времени.* Но дело так и не двигалось с места, т.е. в индексе Яши сайт отсутствовал. С голинком я уже и забыл когда разорвал отношения и поэтому не мог понять такого отношения к себе(своему сайту). Совсем недавно, после очередного посланного письма Платону я просмотрел логи доступа к сайту и ужаснулся. Вот, что я увидел: Десяток таких проиндексированных страниц: 87.250.231.26 - - [10/Nov/2007:22:11:38 +0200] "GET /cgi-bin/code.cgi?cat=18&s=1 HTTP/1.1" 200 4204 "-" "Yandex/1.01.001 (compatible; Win16; I)" + Десяток таких: 87.250.231.26 - - [10/Nov/2007:22:11:50 +0200] "GET /linksphp.php?cat_id=12 HTTP/1.1" 200 2417 "-" "Yandex/1.01.001 (compatible; Win16; I)" Больше никаких страничек Яша не индексировал. Как я себя называл… Страшными словами. Выводы, которые я сделал: на моем сайте благополучно существовали 2-е автоматических линкопомойки, из за которых я и продолжал сидеть в бане. Прибил я их сразу и опять написал Платону… Вот только, что просмотрел логи снова и решил написать на форум Сапы, чтобы знающие люди смогли мне немного разъяснить ситуацию. Кстати вот и логи, не все естественно, а только заходы ботов Яшки. 87.250.253.249 - - [13/Nov/2007:23:58:09 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.01.001 (compatible; Win16; P)" 87.250.253.249 - - [13/Nov/2007:23:58:10 +0200] "GET /promoyt.gif HTTP/1.1" 304 - "-" "Yandex/1.01.001 (compatible; Win16; P)" 87.250.231.26 - - [14/Nov/2007:02:52:07 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.01.001 (compatible; Win16; I)" 87.250.231.26 - - [14/Nov/2007:02:52:08 +0200] "GET / HTTP/1.1" 200 11743 "-" "Yandex/1.01.001 (compatible; Win16; I)" 77.88.25.13 - - [14/Nov/2007:14:14:56 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)" 87.250.252.3 - - [14/Nov/2007:14:17:07 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)" 77.88.25.13 - - [14/Nov/2007:15:33:03 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)" 77.88.25.13 - - [14/Nov/2007:17:08:02 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)" 87.250.252.249 - - [14/Nov/2007:18:15:06 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.01.001 (compatible; Win16; P)" 87.250.252.249 - - [14/Nov/2007:18:15:06 +0200] "GET /promoyt.gif HTTP/1.1" 304 - "-" "Yandex/1.01.001 (compatible; Win16; P)" Вот описание ботов, заходивших ко мне, которое Вы, конечно, знаете, но думаю, оно все же тут не будет лишним. Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL» ВНИМАНИЕ Вопросы: Что делать? Чего ждать от Яши? Я совсем плохой? p.s. robots.txt - на сайте пустой. Через форму «Добавить URL» я сайт не добавлял. Сайт в подписи. Спасибо Всем, кто попытается помочь.
__________________
Л. Н. Толстой |
14.11.2007, 20:47 | #2 | |
Вредина
Регистрация: 03.07.2007
Адрес: д.Коноплянка
Сообщений: 3,535
Вес репутации: 437
|
Цитата:
Как вы сделали этот вывод?
__________________
|
|
14.11.2007, 20:57 | #3 |
Специалист
Регистрация: 02.07.2007
Сообщений: 453
Вес репутации: 222
|
1.проадурите все страницы
2.войдите в вэбмастер яндекса и посмотрите свои ерроры?
__________________
И как всегда это все ScanLog записывает |
14.11.2007, 21:24 | #4 |
Сапер со стажем
Регистрация: 16.05.2007
Адрес: Днепропетровск
Сообщений: 4,382
Вес репутации: 526
|
Потому, что я весь сайт делал только на html и php не использовал.
А */cgi-bin/code.cgi?cat=18&s=1* и */linksphp.php?cat_id=12* не являются страницами моего сайта. По крайней мере я их не делал и контента там не размещал. Совсем забыл, около месяца назад был взлом хостинга или кража паролей и на главной был помещен троян. Пароль сменил, главную заменил на нормальную. Троян пропал. Врядли это относится к теме, но все же вспомнил и решил написать об этом.
__________________
Л. Н. Толстой |
15.11.2007, 08:32 | #6 |
Специалист
Регистрация: 02.07.2007
Сообщений: 453
Вес репутации: 222
|
Как вариант можно еще поронораскрутные ссылки ( получи кучу посетителей себе на сайт ) убрать
__________________
И как всегда это все ScanLog записывает |
15.11.2007, 21:16 | #7 |
Сапер со стажем
Регистрация: 16.05.2007
Адрес: Днепропетровск
Сообщений: 4,382
Вес репутации: 526
|
Вообще то я не зря первым словом в названии темы сделал *БОТЫ*.
Я предпологал, что основной упор будет делатся на ЛОГи... Сегодняшняя проверка ЛОГов дала, вроде бы, положительные результаты. Несколько десятков таких записей: 87.250.252.13 - - [15/Nov/2007:02:46:02 +0200] "GET /linksphp.php?cat_id=2490368 HTTP/1.1" 404 632 "-" "Yandex/1.01.001 (compatible; Win16; I)" *404* - как я догадываюсь, говорит о том, что бот не нашел данной страницы, а огромное количество таких *проиндексированных* страниц, говорит о том, что весь список этих страниц Яша где то у себя хранил. А вот о том, что значит цифра *632* догадатся я не смог. И всего несколько записей: 87.250.252.13 - - [15/Nov/2007:02:46:18 +0200] "GET /anekdot-2.html HTTP/1.1" 200 10761 "-" "Yandex/1.01.001 (compatible; Win16; I)" Хочется верить в то, что я прав и Яша начинает понемногу индексировать настоящие страницы моего сайта! А чуть ниже, в логах, удивил меня бот Маил.ру Наравне с кучей: 194.186.55.206 - - [15/Nov/2007:08:25:47 +0200] "GET /cgi-bin/?cat=55 HTTP/1.0" 403 - "-" "Mail.Ru/1.0" Присутствовали почти все страницы моего сайта в записях: 194.186.55.206 - - [15/Nov/2007:08:27:11 +0200] "GET /book-2.html HTTP/1.0" 200 9137 "-" "Mail.Ru/1.0" Удивил он меня тем, что Яша всего несколько страниц нашел, а он, думаю все.
__________________
Л. Н. Толстой |
16.11.2007, 10:07 | #9 |
Сапер со стажем
Регистрация: 16.05.2007
Адрес: Днепропетровск
Сообщений: 4,382
Вес репутации: 526
|
Ок. А как насчет моих предположений?
__________________
Л. Н. Толстой |
19.11.2007, 20:18 | #10 |
Сапер со стажем
Регистрация: 16.05.2007
Адрес: Днепропетровск
Сообщений: 4,382
Вес репутации: 526
|
87.250.252.13 - - [19/Nov/2007:01:43:44 +0200] "GET /index.html HTTP/1.1" 200 12478 "-" "Yandex/1.01.001 (compatible; Win16; I)"
Это уже Джек пот?!
__________________
Л. Н. Толстой |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Не индексируется бОльшая часть сайта | Hitman | Вопросы по работе системы | 2 | 03.02.2010 00:54 |
Большая несинхронность links.db и данных сайта. | RXL | Ошибки при работе с системой | 1 | 30.07.2008 16:48 |
Статус 304 и поисковые боты | 4X_Pro | Установка кода на различные движки | 0 | 10.12.2007 13:29 |
Очень большая просьба... | dwell | Пожелания пользователей системы | 1 | 25.09.2007 01:06 |
История переписки с администрацией | bistry | Пожелания пользователей системы | 1 | 27.06.2007 22:17 |
Часовой пояс GMT +3, время: 12:57.