Индексация и переиндексация

[Xuga]

Возник на днях интересный вопрос к разработчикам sape. Суть его такова.

Когда человек добавляет сайт в систему робот sapa переписывает его странички, после чего модератор залезает на страницу и смотрет какие страницы в индексе, а какие нет, если он находит несколько страниц не из индекса, то говорит, что ля-ля-ля удалите страницы, которых нет в индексе и закажите перемодерацию.

Теперь встает вопрос. Допустим у меня есть сайт, в поисковом индексе Яндекса числится за 10 тысяч страниц. Вот я загрузил странички в сапу и мне приходит такое сообщение мол кликайте на кнопочку YAP ищите какие страницы отсутствуют в индексе яндекса, удаляйте их и все будет замечательно....
Я конечно все понимаю модератор человек и он не в силах самостоятельно пролистать все страницы даже на 2 стредних площадках за день и удалить страницы, которых нету в индексе яндекса, но возникает вопрос? создатели площадок тоже не машины

Можно же решить эту ситуацию полюбовно и написать скрипт, который сам после переиндексации будет смотреть какие траницы есть, а каких нету в индексе яндекса, и удалять отсутствующие.

Вот суть примерно изложил. правда я не знаю насколько трудно это сделать, но думаю, что можно же например поставить автоудаление страницы из sape, если при переходе на страничку яндекса будет обнаружиться фраза "Искомая комбинация слов нигде не встречается."

Собственно все. Единственное, я не знаю насколько трудно и возможно ли написать такой код, хотя ничего невозможного не бывает , а вот стоит ли такое делать? Лично я думаю, что стоит.

Еще раз спасибо.

P.S. ой не в ту тему написал извиняюсь

[VoiD_BY]

мегабоян, юзайте спецсофт

[Xuga]

какой именно сцепсофт?

[VoiD_BY]

яндекс офигеет от 50 миллионов запросов после каждого апа выдачи
спецсофт - yccy например. на форуме можно найти ссылки на аналогичные прожки.

[Xuga]

Сообщение от VoiD_BY

яндекс офигеет от 50 миллионов запросов после каждого апа выдачи

я немножечко не понял, а причем тут ап? о.0 ежемесецное обновление вроде бы не связано с переиндексацией страниц.
Просто я может быть, что то путаю, но я провожу переиндексацию раз в месяца 2-3 только

[VoiD_BY]

если делать автопроверку, то делать ее и после каждого апа, так сказать, чтобы 2 проблемы решить сразу

[Апокалипсис]

Зато ап выдачи яндекса бывает раз в два дня.

[VoiD_BY]

вывод: миллион айпишников, и проблема решена

[Xuga]

может быть это боян, а может быть и не боян, но мне кажется, что если сделать такую проверку польза будет всем.
приведу еще один аргумент в пользу такой системы, неделю назад переиндексировал сайт, на который добавилось 1500 страниц с прошлой индексации, всего их стало за 4 тысячи, когда модератор заще и увидел он кликнул по паре ссылочек, попал на те, которые былы в индексе и спокойно удалился, но я уверяю, что многие страницы из этого списка не находятся в индексе яндекса.
а бедный оптимизатор, если адрес площадки скрыт, пойдет и купит ссылку с такой странички, и толку от нее будет.... нет ну будет толк конечно, но боюсь, что его будет мало.
Вроде логика есть

[Апокалипсис]

Xuga, Вы не представляете насколько это задача невозможна по техническим причинам.
Свыше 1000 служебных запросов и Яндекс банит.