Форум SAPE.RU - Бешеная скорость бота

Форум SAPE.RU (http://forum.sape.ru/index.php)

- Вопросы по работе системы (http://forum.sape.ru/forumdisplay.php?f=13)

- - Бешеная скорость бота (http://forum.sape.ru/showthread.php?t=15639)

Бешеная скорость бота

А бот теперь всегда так будет сайт индексировать?)

По 5 страниц в минуту получается примерно, иногда даж меньше.

ипбота - - [16/Jul/2008:13:54:50 +0400] "GET /index.php?statya=1&page=489 HTTP/1.0" 200 23798 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
ипбота - - [16/Jul/2008:13:55:51 +0400] "GET /index.php?statya=1&page=488 HTTP/1.0" 200 19732 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
ипбота- - [16/Jul/2008:13:55:58 +0400] "GET /index.php?statya=1&page=487 HTTP/1.0" 200 10356 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
ипбота- - [16/Jul/2008:13:56:05 +0400] "GET /index.php?statya=1&page=486 HTTP/1.0" 200 8525 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
ипбота - - [16/Jul/2008:13:57:04 +0400] "GET /index.php?statya=1&page=485 HTTP/1.0" 200 12082 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
ипбота - - [16/Jul/2008:13:57:06 +0400] "GET /index.php?statya=1&page=484 HTTP/1.0" 200 10081 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
ипбота - - [16/Jul/2008:13:57:11 +0400] "GET /index.php?statya=1&page=483 HTTP/1.0" 200 6664 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
ипбота - - [16/Jul/2008:13:58:13 +0400] "GET /index.php?statya=1&page=79 HTTP/1.0" 200 11212 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
ипбота - - [16/Jul/2008:13:58:24 +0400] "GET /index.php?statya=1&page=440 HTTP/1.0" 200 11193 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
ипбота - - [16/Jul/2008:13:59:26 +0400] "GET /index.php?statya=1&page=439 HTTP/1.0" 200 12174 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"

И?

Может он параллельно еще 1000 сайтов индексит...

От не поймешь этих пользователей... Одни кричат - тормозните бота, хостеры отключают аккаунты при переиндексе, другим медленно слишком

Ну что и ... 3 тыс страниц на одном только сайте + я потом отсеять должен те что не в яше, скрипт парсера тоже время жрет, чтоб потом модерам не писать по нескольку раз, а все за раз успеть, а сайтов не один и не два, домой к примеру к 5 надо, там жена, дети, не до саповского бота :) ...

меня к примеру шустряк бот очень устраивал и хостеры ни разу не отключали)

Цитата:

Сообщение от zhegloff (Сообщение 197881)

5 cтраниц в минуту - вроде вполне приемлимо, главное что бы не по 5 страниц в секунду...

Цитата:

Сообщение от modest48 (Сообщение 197882)

домой к примеру к 5 надо

Ну и замечательно.

Завтра, полный сил и вдохновения прийдете и проведете все операции :)

Цитата:

Сообщение от zhegloff (Сообщение 197881)

И?

От не поймешь этих пользователей... Одни кричат - тормозните бота, хостеры отключают аккаунты при переиндексе, другим медленно слишком

У меня 1400 страниц индексировал около 10 часов наверное.
В принципе не проблема, но раньше все было намного быстрее.

Цитата:

Сообщение от zhegloff (Сообщение 197885)

Ну и замечательно.

Завтра, полный сил и вдохновения прийдете и проведете все операции :)

Ну лан - обождем) Когда будет сто сайтов буду на бота жаловаться)
Щас сапа Зе Бест.

Респект и уважуха вам господа.

Цитата:

Сообщение от mr.Mendoza (Сообщение 197884)

5 cтраниц в минуту - вроде вполне приемлимо, главное что бы не по 5 страниц в секунду...

Не знаю, может это только сегодня так медленно. Обычно в минуту - страниц .... много съедает. Я даже не замечаю этого, отправил и пошел дальше работать.
А спешка (контроль того, сколько Сапе-робот в минуту проиндексировал) это от лукавого. ИМХО расслабьтесь немного и получите удовольствие от форума в это время. ;)

лучше пучть тормозит, нежели перегружает серв - ну подумаешь на часик другой позже сайт проиндексится - не проблема

Бешеная скорость??? Вы ещё не знаете что такое бешеные роботы! Это когда в секунду сосут по 5-10 страниц, забивая все процессы апача.