Массовая проверка ссылок на отдаваемый статус в HTTP заголовке
На сайте очень много страниц, периодически некоторые материалы могут перемещаться, или вообще удаляться, а ссылки на эти страницы продолжают висеть в индексе sape. Нужно как-то периодически чистить индекс страниц от мертвых ссылок.
Нужна какая-то тулза которая бы брала предоставленный список ссылок и проверяла их на отдаваемый в заголовке статус, по окончании возвращала список ссылок со статусом отличным от 200.
Может знает кто чем это можно сделать?
|
