|
|
Опции темы |
18.11.2012, 21:56 | #41 |
Новичок
Регистрация: 27.03.2007
Адрес: 6-ая палата
Сообщений: 3,438
Вес репутации: 403
|
__________________
Готовые 100% уникальные тексты на разные темы. дешево |
18.11.2012, 23:06 | #42 | |
Эксперт
Регистрация: 18.06.2007
Адрес: Картофель
Сообщений: 2,417
Вес репутации: 356
|
Цитата:
отлавливать нужно такие айпи и в БАН их, зачем же всем зарезывать число поднлючений, да и скорее всего это не ддос, это баловство школьников желающих "сграбить" вашу доску объявлений, просто у них фантазии мало, и скриптики топорные, вот и получается "хотели как лучше" ... |
|
18.11.2012, 23:26 | #44 |
Новичок
Регистрация: 17.11.2012
Сообщений: 10
Вес репутации: 0
|
|
19.11.2012, 01:59 | #46 |
Специалист
Регистрация: 14.12.2009
Сообщений: 352
Вес репутации: 194
|
Сапа должна иметь наиболее свежую информацию о работающих/неработающих страницах, ибо этого требуют взаимоотношения с деньгодателями-оптимизаторами. Соответственно, надо проверять как можно чаще. Страниц/ссылок в системе много. Поэтому wait(1sec) в бота никто ставить не станет - чем быстрее бот обрабатывает очередь, тем лучше для Сапы.
Можно было бы конечно очередь обработки у бота "разбавлять" - но точнее скажут только сапопрограммисты... А вам таки лучше ковырять доки к nginx - решите проблему гораздо быстрее. |
19.11.2012, 02:05 | #47 |
не эксперт
Регистрация: 14.06.2008
Адрес: msk
Сообщений: 2,180
Вес репутации: 294
|
|
19.11.2012, 11:11 | #48 | |
Новичок
Регистрация: 25.09.2008
Сообщений: 46
Вес репутации: 190
|
Цитата:
Имхо, программистам сапы нужно реализовать нелинейный обход списка страниц. Чтобы в одну секунду проверялись не 75 страниц с одного сайта, а по одной странице с 75 сайтов, общая скорость проверки при этом не снизится. Есть такая возможность? хз, разработчикам виднее. |
|
19.11.2012, 11:26 | #49 |
Куриллочный троль
|
__________________
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Переход сапы на другую технологию обработки запросов | Joker_SEO | Вопросы по работе системы | 10 | 20.03.2010 11:16 |
Можно ли увеличить скорость скачивания с торрента? | Штрафная РОТА | Курилка | 11 | 16.03.2010 20:23 |
Бот сапы грузит сервер? | nnga | Вопросы от новичков | 0 | 19.10.2009 09:45 |
Робот сапы перегружает сервер провайдера! | Evgeny | Пожелания пользователей системы | 127 | 18.08.2009 12:57 |
Можно ли установить код на сервер, где нет curl? | valu0808 | Установка кода на различные движки | 3 | 27.05.2009 13:31 |
Часовой пояс GMT +3, время: 11:03.