Ссылки в ERROR-статусе

mcmlxxxiii · 16.11.2009, 13:19

Вопрос к технической поддержке.

Разъясните, пожалуйста, каким образом ссылки обретают статус ERROR.

То, что сайты, на которых размещены ссылки работают и работать не прекращали, а ссылки со страниц не пропадали, наталкивает на мысль о том, что робот, который проверяет размещение ссылок очень резвый.

Предположение. А не запрашивает ли он миллион страниц одновременно, в результате чего получает после какого-то запроса 503 ошибку?... что естественно

Из-за чего при вышеописанных условиях, когда все хорошо, еще может возникать проблема?

Спасибо.

zhegloff · 16.11.2009, 13:31

Цитата:

Сообщение от mcmlxxxiii

Разъясните, пожалуйста, каким образом ссылки обретают статус ERROR.

Приходит робот. Загружает страницы. Проверяет наличие ссылки.
Если ссылок он не нашел по какой либо причине, то выставляется статус ERROR.

Цитата:

Сообщение от mcmlxxxiii

То, что сайты, на которых размещены ссылки работают и работать не прекращали, а ссылки со страниц не пропадали, наталкивает на мысль о том, что робот, который проверяет размещение ссылок очень резвый.

Да, робот быстрый, у него много работы.

Цитата:

Сообщение от mcmlxxxiii

Предположение. А не запрашивает ли он миллион страниц одновременно, в результате чего получает после какого-то запроса 503 ошибку?... что естественно

Спрашивает конечно. Как же ему еще проверить полторы сотни миллионов страниц за короткое время...

Цитата:

Сообщение от mcmlxxxiii

Из-за чего при вышеописанных условиях, когда все хорошо, еще может возникать проблема?

Когда что-нибудь нехорошо.

mcmlxxxiii · 16.11.2009, 13:55

zhegloff, скажите, пожалуйста, какое количество одновременных соединений робот устанавливает с одним хостом. Думаю, такая информация поможет не только мне правильно настраивать виртуальные хосты на серверах. Полагаю, это решит мою проблему.

zhegloff · 16.11.2009, 13:59

Цитата:

Сообщение от mcmlxxxiii

zhegloff, скажите, пожалуйста, какое количество одновременных соединений робот устанавливает с одним хостом.

Не могу сказать точно.

mcmlxxxiii · 16.11.2009, 14:10

Спасибо, но Ваш ответ не помог. Вы не сказали ничего нового или полезного.

zhegloff · 16.11.2009, 14:14

Цитата:

Сообщение от mcmlxxxiii

Спасибо, но Ваш ответ не помог. Вы не сказали ничего нового или полезного.

На этом форуме вообще трудно сказать что-то новое.

Dima1151 · 16.11.2009, 14:18

А у меня каждое утро от 3 до 20 ссылок в еррор, хотя всё работает нормально. Днем уже пропадают... По ночам проверяет усталый робот..)))

mcmlxxxiii · 16.11.2009, 14:22

Отлично, тогда Вы сможете на этом форуме найти информацию о лимите подключений т дать на нее ссылку.
Иначе я просил бы вас уточнить ее у технической службы. Спасибо.

masa · 15.06.2010, 08:23

zhegloff, знаете ли вы сколько в мире есть замечательных хостингов которые не выдерживают обращения бота-сапы. Он их забивает до 503 ошибки. Хорошая хостинг-компания. Нормальные тарифы. Адекватная техподдержка. И самое главное все у них работает. Но когда приходит сапобот...

Да, я понимаю, что системе нужно проверить более 200 миллионов страниц. А нигме.ру еще больше, а яндексу еще больше, а гуглу... Я понимаю, что это не совсем правильно сравнивать боты поисковиков и боты сапы.

Сапобот так и не научили понимать роботс.тхт Чтоб выставить хоть какую то ему задерку. И не научат. Потому что много страниц надо проверить, а в сутках 24 часа. Йоханый бабай.

Проблема пользователей сапы - это проблема пользователей сапы.

16.11.2009, 13:19	#1
mcmlxxxiii Новичок Регистрация: 13.11.2009 Сообщений: 7 Вес репутации: 0	Ссылки в ERROR-статусе Вопрос к технической поддержке. Разъясните, пожалуйста, каким образом ссылки обретают статус ERROR. То, что сайты, на которых размещены ссылки работают и работать не прекращали, а ссылки со страниц не пропадали, наталкивает на мысль о том, что робот, который проверяет размещение ссылок очень резвый. Предположение. А не запрашивает ли он миллион страниц одновременно, в результате чего получает после какого-то запроса 503 ошибку?... что естественно Из-за чего при вышеописанных условиях, когда все хорошо, еще может возникать проблема? Спасибо.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
99% ссылок в статусе ERROR	DmFX	Ошибки при работе с системой	6	21.06.2009 14:01
Ccылка в статусе error	dmpv1	Вопросы от новичков	2	30.04.2009 14:31
Большинство ссылок в статусе ERROR	atillus	Вопросы по работе системы	2	08.10.2008 17:27
Ссылки два дня в статусе ERROR, помогите исправить ошибку	Netinet	Ошибки при работе с системой	11	09.09.2008 01:34
После переноса сайта с акка на акк, ссылки в статусе ERROR	wolgast	Ошибки при работе с системой	9	15.10.2007 00:16

16.11.2009, 13:55	#3
mcmlxxxiii Новичок Регистрация: 13.11.2009 Сообщений: 7 Вес репутации: 0	zhegloff, скажите, пожалуйста, какое количество одновременных соединений робот устанавливает с одним хостом. Думаю, такая информация поможет не только мне правильно настраивать виртуальные хосты на серверах. Полагаю, это решит мою проблему.

16.11.2009, 14:10	#5
mcmlxxxiii Новичок Регистрация: 13.11.2009 Сообщений: 7 Вес репутации: 0	Спасибо, но Ваш ответ не помог. Вы не сказали ничего нового или полезного.

16.11.2009, 14:18	#7
Dima1151 Специалист Регистрация: 21.11.2007 Сообщений: 298 Вес репутации: 0	А у меня каждое утро от 3 до 20 ссылок в еррор, хотя всё работает нормально. Днем уже пропадают... По ночам проверяет усталый робот..)))

16.11.2009, 14:22	#8
mcmlxxxiii Новичок Регистрация: 13.11.2009 Сообщений: 7 Вес репутации: 0	Отлично, тогда Вы сможете на этом форуме найти информацию о лимите подключений т дать на нее ссылку. Иначе я просил бы вас уточнить ее у технической службы. Спасибо.

15.06.2010, 08:23	#9
masa Новичок Регистрация: 25.11.2008 Адрес: Cuba Сообщений: 79 Вес репутации: 190	zhegloff, знаете ли вы сколько в мире есть замечательных хостингов которые не выдерживают обращения бота-сапы. Он их забивает до 503 ошибки. Хорошая хостинг-компания. Нормальные тарифы. Адекватная техподдержка. И самое главное все у них работает. Но когда приходит сапобот... Да, я понимаю, что системе нужно проверить более 200 миллионов страниц. А нигме.ру еще больше, а яндексу еще больше, а гуглу... Я понимаю, что это не совсем правильно сравнивать боты поисковиков и боты сапы. Сапобот так и не научили понимать роботс.тхт Чтоб выставить хоть какую то ему задерку. И не научат. Потому что много страниц надо проверить, а в сутках 24 часа. Йоханый бабай. Проблема пользователей сапы - это проблема пользователей сапы.