Пледложение по сканированию

[lygun]

Сообщение от Grush

А г-хостинг сменить на что-то получше не судьба?

А мастерхост - это как? У меня на их виртальном хостинге сайт регулярно отрубался при набеге сапобота на форум с phpbb2. Пришлось перейти на VPS. А там не только цена другая, но и возня с администрированием.
И все из-за того, что сапобот требовал пять страниц в секунду. Есть какие-то объективные причины для такого аппетита? Нужно много страниц проверить? Так Яндекс запрашивает одну страницу в 2 секунды.

[edne]

Сообщение от спаситель сапы

При условии 80мс пинга, что ж теперь не московские серваки считать говном

Ресселерские считать говном. Или на домашних серваках, которые через кучу цысок бродят

[10012003]

может конечно и Гхост, но хочется заметить, что до нового года, я вообще таких проблем не знал

[justworker]

lygun, а ниче, что нада проверить все 78 053 009 страниц? Посчитайте на досуге сколько потребуется времени при определенном уровне технических мощностей. Выводы напрашиваются сами собой.

зы. И вообще, чего шум устраивать 5 страниц в секунду или 10, сапа это система и как любая система она предъявляет определенные технические требования. Не соотвествуете им - думайте как преодолеть.

[stydent]

на счет 80мс ЧУШЬ полная,
вот например, дедик в Штатах, сапа без проблем все находит, на одном нашлось 5К страниц )

1...
2..
3..
...
7...
8 ae-32-54.ebr2.Chicago1.Level3.net (4.68.101.126) 28.160 ms 19.099 ms 19.051 ms
9 ae-5.ebr2.Chicago2.Level3.net (4.69.140.194) 16.503 ms 16.491 ms 16.473 ms
10 ae-2-2.ebr2.Washington1.Level3.net (4.69.132.70) 48.786 ms 49.046 ms 49.032 ms
11 ae-44-44.ebr2.Frankfurt1.Level3.net (4.69.137.61) 125.264 ms 123.273 ms ae-41-41.ebr2.Frankfurt1.Level3.net (4.69.137.49) 125.234 ms
12 ae-2-2.ebr1.Dusseldorf1.Level3.net (4.69.132.137) 127.100 ms 126.407 ms 128.028 ms
13 ae-1-5.bar1.Stockholm1.Level3.net (4.69.140.197) 153.579 ms 153.308 ms 153.292 ms
14 213.242.110.178 (213.242.110.178) 232.683 ms 231.637 ms 231.625 ms
15 217.106.1.150 (217.106.1.150) 241.109 ms 236.729 ms 240.825 ms
16 217.106.1.150 (217.106.1.150) 234.858 ms 233.549 ms 232.003 ms
17 217.107.36.20 (217.107.36.20) 236.725 ms 236.051 ms 236.013 ms

[tuders]

Сообщение от justworker

lygun, а ниче, что нада проверить все 78 053 009 страниц? Посчитайте на досуге сколько потребуется времени при определенном уровне технических мощностей. Выводы напрашиваются сами собой.

Вывод. Надо увеличивать технические мощности. Чтобы 5 ботов проверяли бы по 1й странице в секунду, а не по пять. Или 10 ботов проверяли бы всего по 10 000 000 своих страниц. Неторопясь. При этом бы 8 были бы заняты, а два бы были в резерве пока не понадобится проверять уже 100 000 000 страниц...

[justworker]

tuders, даг может на данный момент робот вовсе и не один работает?

[lygun]

Сообщение от justworker

lygun, а ниче, что нада проверить все 78 053 009 страниц?

И чё? Яндекс миллиарды страниц проверяет, и никто на него не жалуется.
Сейчас бот проверяет страницы так:
site1/page1, site1/page2, site1/page3, site1/page4,
site2/page1, site2/page2, site2/page3, site2/page4.

А он должен проверять их так:
site1/page1, site2/page1, site3/page1, site4/page1,
site1/page2, site2/page2, site3/page2, site4/page2.

Сообщение от justworker

зы. И вообще, чего шум устраивать 5 страниц в секунду или 10, сапа это система и как любая система она предъявляет определенные технические требования. Не соотвествуете им - думайте как преодолеть.

Это не требования. Это прихоть.
Которая дорого обходится не только веб-мастерам, но и самой Сапе.

[VadoZ]

Сообщение от lygun

А мастерхост - это как? У меня на их виртальном хостинге сайт регулярно отрубался при набеге сапобота на форум с phpbb2. Пришлось перейти на VPS. А там не только цена другая, но и возня с администрированием.
И все из-за того, что сапобот требовал пять страниц в секунду. Есть какие-то объективные причины для такого аппетита? Нужно много страниц проверить? Так Яндекс запрашивает одну страницу в 2 секунды.

На мастерхосте вордпрес с включенным гиперкэшем умудрялся постоянно создавать перегрузку. В итоге мастерхост был послан... словно почуяв это он прислал письмо, что у меня через 2 месяца заканчивается абонплата и типа надо дать денег
По моему с МХ что-то нехорошее происходит. И вся его былая слава будет этим нехорошим перечеркнута.

[ironseo]

Уважаемый ТС, если Ваш сервер валиться с ног от повышенной посещаемости, то отключите сапу. Так хотя бы честнее будет по отношению к оптимизаторам. Они Вам денюжку платят за то чтобы их ссылки хорошо индексировались в любое время дня и ночи.