Старый 14.11.2007, 20:27   #1
Сапер со стажем
 
Аватар для Smok
 
Регистрация: 16.05.2007
Адрес: Днепропетровск
Сообщений: 4,382
Вес репутации: 476
Smok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущее
Lightbulb Боты Яшеньки(большая история)

Здравствуйте.
Я думаю, что кроме помощи, которую я получу от Старожил форума(заранее огромное СПАСИБО), мой рассказ будет многим интересен и даже полезен. Извиняюсь, что так много напишу, просто хочу, чтобы картина была полной. Какой я Веб-Мастер\Оптимизатор, плохой или неопытный или ужасный, решите Вы сами.

Сайт в баньке у Яши уже несколько месяцев.
Попал он туда скорее всего из за моего участия в ввв.голинк.ру
Не догадывался я о том, что можно из за этого в баню угодить.
Писал письма Платону, а он мне отвечал почти на половину из них!
В основном стандартные фразы:
1:
*Благодарим Вас за то, что обратили наше внимание на проблемы с индексированием Вашего сайта. Мы постараемся в скором времени определить, по какой причине он отсутствует в поиске.*
2:
*Если Ваши сайты недавно появились в Сети или не содержат оригинального контента, их присутствие в результатах поиска может быть ограничено. Если на этих сайтах велика доля заимствованного контента, либо многие их страницы похожи на созданные автоматически и не предназначенные для чтения пользователями, сайты могут отсутствовать в поиске полностью. Развивайте сайты для пользователей, выкладывайте оригинальные материалы по их темам, и они появятся в поиске.*
3:
*Если, как Вы говорите, сайты содержат уникальный контент и ориентированы на пользователей, то они могут появиться в поиске в скором времени.*

Но дело так и не двигалось с места, т.е. в индексе Яши сайт отсутствовал.
С голинком я уже и забыл когда разорвал отношения и поэтому не мог понять такого отношения к себе(своему сайту).

Совсем недавно, после очередного посланного письма Платону я просмотрел логи доступа к сайту и ужаснулся. Вот, что я увидел:

Десяток таких проиндексированных страниц:
87.250.231.26 - - [10/Nov/2007:22:11:38 +0200] "GET /cgi-bin/code.cgi?cat=18&s=1 HTTP/1.1" 200 4204 "-" "Yandex/1.01.001 (compatible; Win16; I)"

+ Десяток таких:
87.250.231.26 - - [10/Nov/2007:22:11:50 +0200] "GET /linksphp.php?cat_id=12 HTTP/1.1" 200 2417 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Больше никаких страничек Яша не индексировал.
Как я себя называл…
Страшными словами.
Выводы, которые я сделал: на моем сайте благополучно существовали 2-е автоматических линкопомойки, из за которых я и продолжал сидеть в бане.
Прибил я их сразу и опять написал Платону…
Вот только, что просмотрел логи снова и решил написать на форум Сапы, чтобы знающие люди смогли мне немного разъяснить ситуацию.
Кстати вот и логи, не все естественно, а только заходы ботов Яшки.


87.250.253.249 - - [13/Nov/2007:23:58:09 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.01.001 (compatible; Win16; P)"
87.250.253.249 - - [13/Nov/2007:23:58:10 +0200] "GET /promoyt.gif HTTP/1.1" 304 - "-" "Yandex/1.01.001 (compatible; Win16; P)"
87.250.231.26 - - [14/Nov/2007:02:52:07 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.01.001 (compatible; Win16; I)"
87.250.231.26 - - [14/Nov/2007:02:52:08 +0200] "GET / HTTP/1.1" 200 11743 "-" "Yandex/1.01.001 (compatible; Win16; I)"
77.88.25.13 - - [14/Nov/2007:14:14:56 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)"
87.250.252.3 - - [14/Nov/2007:14:17:07 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)"
77.88.25.13 - - [14/Nov/2007:15:33:03 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)"
77.88.25.13 - - [14/Nov/2007:17:08:02 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.03.003 (compatible; Win16; D)"
87.250.252.249 - - [14/Nov/2007:18:15:06 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Yandex/1.01.001 (compatible; Win16; P)"
87.250.252.249 - - [14/Nov/2007:18:15:06 +0200] "GET /promoyt.gif HTTP/1.1" 304 - "-" "Yandex/1.01.001 (compatible; Win16; P)"

Вот описание ботов, заходивших ко мне, которое Вы, конечно, знаете, но думаю, оно все же тут не будет лишним.

Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»

ВНИМАНИЕ Вопросы:
Что делать? Чего ждать от Яши? Я совсем плохой?

p.s.
robots.txt - на сайте пустой.
Через форму «Добавить URL» я сайт не добавлял.
Сайт в подписи.
Спасибо Всем, кто попытается помочь.
__________________
Кто счастлив сам, другим зла не желает.
Л. Н. Толстой
Smok вне форума   Ответить с цитированием
Старый 14.11.2007, 20:47   #2
Вредина
 
Аватар для Jooz
 
Регистрация: 03.07.2007
Адрес: д.Коноплянка
Сообщений: 3,535
Вес репутации: 387
Jooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Smok Посмотреть сообщение
Выводы, которые я сделал: на моем сайте благополучно существовали 2-е автоматических линкопомойки, из за которых я и продолжал сидеть в бане.
Давайте разбираться.
Как вы сделали этот вывод?
__________________
Чтобы произошло чудо нужно обязательно дунуть. Если не дунуть - чуда не произойдет!
Jooz вне форума   Ответить с цитированием
Старый 14.11.2007, 20:57   #3
Специалист
 
Аватар для Kashey
 
Регистрация: 02.07.2007
Сообщений: 453
Вес репутации: 172
Kashey - очень-очень хороший человекKashey - очень-очень хороший человекKashey - очень-очень хороший человекKashey - очень-очень хороший человек
По умолчанию

1.проадурите все страницы
2.войдите в вэбмастер яндекса и посмотрите свои ерроры?
__________________
Нужны новости? - На скане полмиллиона новостей. Всяко разных.
И как всегда это все ScanLog записывает
Kashey вне форума   Ответить с цитированием
Старый 14.11.2007, 21:24   #4
Сапер со стажем
 
Аватар для Smok
 
Регистрация: 16.05.2007
Адрес: Днепропетровск
Сообщений: 4,382
Вес репутации: 476
Smok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Jooz Посмотреть сообщение
Давайте разбираться.
Как вы сделали этот вывод?
Потому, что я весь сайт делал только на html и php не использовал.
А */cgi-bin/code.cgi?cat=18&s=1* и */linksphp.php?cat_id=12* не являются страницами моего сайта. По крайней мере я их не делал и контента там не размещал. Совсем забыл, около месяца назад был взлом хостинга или кража паролей и на главной был помещен троян. Пароль сменил, главную заменил на нормальную. Троян пропал. Врядли это относится к теме, но все же вспомнил и решил написать об этом.
__________________
Кто счастлив сам, другим зла не желает.
Л. Н. Толстой
Smok вне форума   Ответить с цитированием
Старый 14.11.2007, 21:40   #5
Специалист
 
Регистрация: 14.10.2007
Сообщений: 157
Вес репутации: 160
Kholod на пути к лучшему
По умолчанию

Не могли бы ещё и исходники движков линкопомоек выложить сюда?
Kholod вне форума   Ответить с цитированием
Старый 15.11.2007, 08:32   #6
Специалист
 
Аватар для Kashey
 
Регистрация: 02.07.2007
Сообщений: 453
Вес репутации: 172
Kashey - очень-очень хороший человекKashey - очень-очень хороший человекKashey - очень-очень хороший человекKashey - очень-очень хороший человек
По умолчанию

Как вариант можно еще поронораскрутные ссылки ( получи кучу посетителей себе на сайт ) убрать
__________________
Нужны новости? - На скане полмиллиона новостей. Всяко разных.
И как всегда это все ScanLog записывает
Kashey вне форума   Ответить с цитированием
Старый 15.11.2007, 21:16   #7
Сапер со стажем
 
Аватар для Smok
 
Регистрация: 16.05.2007
Адрес: Днепропетровск
Сообщений: 4,382
Вес репутации: 476
Smok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущее
Smile

Вообще то я не зря первым словом в названии темы сделал *БОТЫ*.
Я предпологал, что основной упор будет делатся на ЛОГи...
Сегодняшняя проверка ЛОГов дала, вроде бы, положительные результаты.

Несколько десятков таких записей:
87.250.252.13 - - [15/Nov/2007:02:46:02 +0200] "GET /linksphp.php?cat_id=2490368 HTTP/1.1" 404 632 "-" "Yandex/1.01.001 (compatible; Win16; I)"
*404* - как я догадываюсь, говорит о том, что бот не нашел данной страницы, а огромное количество таких *проиндексированных* страниц, говорит о том, что весь список этих страниц Яша где то у себя хранил. А вот о том, что значит цифра *632* догадатся я не смог.

И всего несколько записей:
87.250.252.13 - - [15/Nov/2007:02:46:18 +0200] "GET /anekdot-2.html HTTP/1.1" 200 10761 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Хочется верить в то, что я прав и Яша начинает понемногу индексировать настоящие страницы моего сайта!

А чуть ниже, в логах, удивил меня бот Маил.ру
Наравне с кучей:
194.186.55.206 - - [15/Nov/2007:08:25:47 +0200] "GET /cgi-bin/?cat=55 HTTP/1.0" 403 - "-" "Mail.Ru/1.0"

Присутствовали почти все страницы моего сайта в записях:
194.186.55.206 - - [15/Nov/2007:08:27:11 +0200] "GET /book-2.html HTTP/1.0" 200 9137 "-" "Mail.Ru/1.0"

Удивил он меня тем, что Яша всего несколько страниц нашел, а он, думаю все.
__________________
Кто счастлив сам, другим зла не желает.
Л. Н. Толстой
Smok вне форума   Ответить с цитированием
Старый 15.11.2007, 22:24   #8
Вредина
 
Аватар для Jooz
 
Регистрация: 03.07.2007
Адрес: д.Коноплянка
Сообщений: 3,535
Вес репутации: 387
Jooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущееJooz - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Smok Посмотреть сообщение
А вот о том, что значит цифра *632* догадатся я не смог.
Размер страницы в байтах вместе с заголовком.
__________________
Чтобы произошло чудо нужно обязательно дунуть. Если не дунуть - чуда не произойдет!
Jooz вне форума   Ответить с цитированием
Старый 16.11.2007, 10:07   #9
Сапер со стажем
 
Аватар для Smok
 
Регистрация: 16.05.2007
Адрес: Днепропетровск
Сообщений: 4,382
Вес репутации: 476
Smok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущее
По умолчанию

Цитата:
Сообщение от Jooz Посмотреть сообщение
Размер страницы в байтах вместе с заголовком.
Ок. А как насчет моих предположений?
__________________
Кто счастлив сам, другим зла не желает.
Л. Н. Толстой
Smok вне форума   Ответить с цитированием
Старый 19.11.2007, 20:18   #10
Сапер со стажем
 
Аватар для Smok
 
Регистрация: 16.05.2007
Адрес: Днепропетровск
Сообщений: 4,382
Вес репутации: 476
Smok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущееSmok - прекрасное будущее
По умолчанию

87.250.252.13 - - [19/Nov/2007:01:43:44 +0200] "GET /index.html HTTP/1.1" 200 12478 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Это уже Джек пот?!
__________________
Кто счастлив сам, другим зла не желает.
Л. Н. Толстой
Smok вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Не индексируется бОльшая часть сайта Hitman Вопросы по работе системы 2 03.02.2010 00:54
Большая несинхронность links.db и данных сайта. RXL Ошибки при работе с системой 1 30.07.2008 16:48
Статус 304 и поисковые боты 4X_Pro Установка кода на различные движки 0 10.12.2007 13:29
Очень большая просьба... dwell Пожелания пользователей системы 1 25.09.2007 01:06
История переписки с администрацией bistry Пожелания пользователей системы 1 27.06.2007 22:17


Часовой пояс GMT +3, время: 03:21.