Last-modified, Expires и сапе

[Последний Герой]

Мною давненько была написана CMS, скрипт которой правильно умеет составлять и обрабатывать заголовки Last-modified, Expires, If-(Not-)Modified-Since
Однако проблема - как работать с этими заголовками, когда есть код сапы?

То что посетители не увидят ссылки из-за старого кеша — ну и хрен с ними. Проблема в том, что оказывается Яша не только умеет посылать If-(Not-)Modified-Since и верно обрабатывать 304 ответ (http://help.yandex.ru/webmaster/?id=995298#995325), но и делает это судя по логам сервера. О не найдя своей ссылки в индексе Яши добавляет площадку в ГБЛ (я тоже так делаю).

С заголовком Expires все ясно, +1 час от даты изменения линкс.дб.

Как Last-modified считать для страницы, которая есть в сапе?

[zhegloff]

Сообщение от Последний Герой

Как Last-modified считать для страницы, которая есть в сапе?

+1 час от измения состава ссылок на странице

[Последний Герой]

Сообщение от zhegloff

+1 час от измения состава ссылок на странице

как +1? Last-modified дата последнего изменения страницы и не может превышать дату запроса.

Сообщение от zhegloff

измения состава ссылок на странице

как высчитать эту дату? вот если б в линк.дб хранились даты покупки ссылок.

[chahlic]

Единственное, что на ум приходит, это использовать дату линкс.дб, но тогда это придется делать для всех страниц в сапе.
Точнее, для всех страниц, на которые разместили ссылки (определить их, естественно, можно пропарсив линс.дб)

Или самому периодически проверять линкс.дб и писать в свою базу" изменения с датами, но это уже нечто слишком.. хотя возможно. Вопрос, на сколько нужно.

[Последний Герой]

Сообщение от chahlic

использовать дату линкс.дб

дата линкс.дб меняется каждый час. все страницы изменяются каждый час? мне не надо нагрузку от поисковиков каждый час.

Добавлено через 3 минуты
единственное что приходит на ум - менять дату через сутки

PHP код:

    $lm = $GLOBALS['lmfbar'];
    $lastmodified = gmdate('D, d M Y H:i:s T', $lm);
    $expires = gmdate('D, d M Y H:i:s T', $lm + 86400);
    if (isset($_SERVER['HTTP_IF_MODIFIED_SINCE'])) {
        preg_match("/^[^;]+/", $_SERVER['HTTP_IF_MODIFIED_SINCE'], $m);
        $lmf = $m[0];    
        if (@strtotime($lmf) == @strtotime($lastmodified)) {
            header('Status: 304 Not Modified', true, 304);
            die();
        }
    }
    header("Last-Modified: $lastmodified");
    header("Expires: $expires"); 


в $GLOBALS['lmfbar'] хранится дата начала текущих суток по москве

но тогда в результатах поиска будет стоять неверная дата, и неверно будет работать сортировка результатов поиска, а те кто ставят интервал времени в поисковике, вообще не найдут сайт

Добавлено через 4 минуты

Сообщение от chahlic

значит, как уже и написал выше, самому парсить на предмет изменений ссылок на каждой странице, которая нах-ся в линкс.дб.

при каждом запросе? тогда кеширование не уменьшает нагрузку, а наоборот увеличивает

[zhegloff]

Сообщение от Последний Герой

как высчитать эту дату? вот если б в линк.дб хранились даты покупки ссылок.

Ну напишите себе модуль для сапы, который будет помнить дату ссылки

[Последний Герой]

Сообщение от zhegloff

Ну напишите себе модуль для сапы, который будет помнить дату ссылки

проще чтоб в линкс.дб была. или сделать экспорт ссылок в xml где будут все данные о ссылке.

[chahlic]

Сообщение от Последний Герой

при каждом запросе? тогда кеширование не уменьшает нагрузку, а наоборот увеличивает

Ну Вы же готовы парсить линкс.дб на предмет даты, если ее туда поставить? Вот и создавайте свой линкс.дб с датой для конкретной страницы, хоть в xml, хоть еще как-то. В принципе, как и zhegloff написал... Создавать такой файл надо раз в час. А при запросах что саповский, что свой парсить - без разницы.

[Последний Герой]

Сообщение от chahlic

Вот и создавайте свой линнс.дб с датой для конкретной страницы

создать то могу, а где данные о ссылках брать с датой? был бы экспорт всех ссылок в xml, брал бы оттуда

[chahlic]

Сообщение от Последний Герой

создать то могу, а где данные о ссылках брать с датой? был бы экспорт всех ссылок в xml, брал бы оттуда

Я вижу 2 варианта.
1. Простое сравнение на предмет добавления (изменения) данных на конкретную страницу
2. XML-RPC дает информацию о ссылках с датой размещения.

В любом случае, раз в час проверяются данные , анализируются и вносятся в свой файл линкс.дб.

Как-то так..