Робот сапы перегружает сервер провайдера! - Страница 9

pinkponk · 08.06.2009, 19:37

более 100 ссылок и сай не пашет уже, есть выход?

Nazar · 08.06.2009, 19:38

Цитата:

Сообщение от pinkponk

более 100 ссылок и сай не пашет уже, есть выход?

Меняй хостера

pinkponk · 08.06.2009, 19:39

какой посеветуете из dreamhost и servage?

spellen · 08.06.2009, 19:45

Если у вас на странице в среднем 2 ссылки, то у вас 50 страниц со ссылками => нужно сделать 50 последовательных запросов к вашему сайту... Если сайт не справляется с этой нагрузкой, то стоит подумать над его оптимизацией, а не валить все на сапу.

pinkponk · 08.06.2009, 20:00

сайт не работал неделю, сапот с проблемой не справился, сказал что где то в ворпресе трабла и посоветовали переустановить. а я щас папку сапы удалил и заработало все прекрасно

Добавлено через 1 минуту
да, и до сапы сайт прекрасно работал

Avelon · 08.06.2009, 20:02

значит чтото в настройках не так и он пытается каждый раз коннектиться с запросом файла.

Последний Герой · 09.06.2009, 00:46

Цитата:

Сообщение от Avelon

значит чтото в настройках не так и он пытается каждый раз коннектиться с запросом файла.

это если скрипт выполняется с правами nobody, а во владельце файла прописан пользователь - тогда раз на файле 666 скрипт может в него писать, но touch не меняет даты на произвольную.
удалите линкс.дб и он создастся занова, но его владельцем будет nobody

RedPage · 09.06.2009, 01:32

Цитата:

Сообщение от Последний Герой

это если скрипт выполняется с правами nobody, а во владельце файла прописан пользователь - тогда раз на файле 666 скрипт может в него писать, но touch не меняет даты на произвольную.
удалите линкс.дб и он создастся занова, но его владельцем будет nobody

Если Последний Герой, прав виноват хостер, а не сапа

так как хостер ландух. Чтобы подтвердить догадку, вырежете файл links.db себе на компьютер, а потом скопируйте назад если все заработает, мучьте хостера пускай правильно хост настраивает

Добавлено через 4 минуты
Как вариант Вы удалили два файла links.db и words.db а хостер заблокировал IP сапы последние перечислены в конце файла links.db в этом случае престает работать СМС, так было у меня и при удалении кода САПЫ все начинает работать, но проблема не рассасывается так как хостер должен разбранить IP САПЫ если Вы хотите с ней работать.

www32 · 09.06.2009, 12:32

Ну почему Вы сканируете ссылки все и сразу?
Несколько тысяч ссылок и сервер в дауне... неужели нельзя сканировать ссылки рандомно с разных серверов? Так чтобы распределить нагрузку в течении суток.

ps У кого наблюдаются подобные проблемы, просьба присоединиться к просьбе. Возможно это поможет стать ботам сапы таким же доброжелательным к нашим сайтам какими являются боты Гугля. Которые сканируют в сотни раз больше страниц и при этом не вырубают сервера.

pytkou · 09.06.2009, 12:45

поддерживаю....
у меня десяток хороших сайтов на дорогом хостинг - там и то заблокировали один IP сапы... сказали 79% брал!!!

08.06.2009, 19:37	#81
pinkponk Специалист Регистрация: 03.05.2008 Сообщений: 109 Вес репутации: 0	sape грузит сайт более 100 ссылок и сай не пашет уже, есть выход?

08.06.2009, 20:00	#85
pinkponk Специалист Регистрация: 03.05.2008 Сообщений: 109 Вес репутации: 0	сайт не работал неделю, сапот с проблемой не справился, сказал что где то в ворпресе трабла и посоветовали переустановить. а я щас папку сапы удалил и заработало все прекрасно Добавлено через 1 минуту да, и до сапы сайт прекрасно работал Последний раз редактировалось pinkponk; 08.06.2009 в 20:00. Причина: Добавлено сообщение

09.06.2009, 12:32	#89
www32 Новичок Регистрация: 30.01.2008 Сообщений: 68 Вес репутации: 201	Огромная просьба к администрации утихомирить сканирующих ботов Ну почему Вы сканируете ссылки все и сразу? Несколько тысяч ссылок и сервер в дауне... неужели нельзя сканировать ссылки рандомно с разных серверов? Так чтобы распределить нагрузку в течении суток. ps У кого наблюдаются подобные проблемы, просьба присоединиться к просьбе. Возможно это поможет стать ботам сапы таким же доброжелательным к нашим сайтам какими являются боты Гугля. Которые сканируют в сотни раз больше страниц и при этом не вырубают сервера.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Робот Сапы и Crawl-delay	Sea	Вопросы по работе системы	10	13.02.2012 12:17
Робот сапы не видит установленный код	karizma	Установка кода на различные движки	7	16.07.2009 11:22
Понимает ли робот сапы allow в robots.txt?	Danila	Вопросы по работе системы	6	04.02.2009 17:59
робот сапы не видит ссылки	stremlenie1	Ошибки при работе с системой	2	26.11.2008 13:22
Робот сапы не видит код на .narod.ru	Эмка	Ошибки при работе с системой	2	23.10.2008 11:47

08.06.2009, 19:39	#83
pinkponk Специалист Регистрация: 03.05.2008 Сообщений: 109 Вес репутации: 0	какой посеветуете из dreamhost и servage?

08.06.2009, 19:45	#84
spellen Мастер Регистрация: 02.02.2008 Сообщений: 801 Вес репутации: 233	Если у вас на странице в среднем 2 ссылки, то у вас 50 страниц со ссылками => нужно сделать 50 последовательных запросов к вашему сайту... Если сайт не справляется с этой нагрузкой, то стоит подумать над его оптимизацией, а не валить все на сапу.

08.06.2009, 20:02	#86
Avelon Администратор Регистрация: 22.11.2006 Сообщений: 5,868 Вес репутации: 21475166	значит чтото в настройках не так и он пытается каждый раз коннектиться с запросом файла.

09.06.2009, 12:45	#90
pytkou Banned Регистрация: 04.01.2009 Адрес: Гродно-Могилев Сообщений: 532 Вес репутации: 0	поддерживаю.... у меня десяток хороших сайтов на дорогом хостинг - там и то заблокировали один IP сапы... сказали 79% брал!!!