31.07.2008, 14:51 | #1 | |
Ваnnеd
|
Яндекс вводит новые директивы
1. Теперь вы можете управлять таймаутом, с которым поисковый робот Яндекса закачивает страницы с вашего сервера (Crawl-delay).
Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow"). Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта. Цитата:
В роботе добавлена поддержка скачивания сжатого контента. Теперь поисковый робот Яндекса при каждом запросе документа говорит: "Accept-Encoding: gzip,deflate". Это означает, что настроив соответствующим образом свой веб-сервер, вы сможете снизить объем передаваемого трафика между ним и нашим роботом. Однако следует иметь в виду -- передача контента в сжатом виде увеличивает нагрузку на CPU вашего сервера, и, если он сильно загружен, могут возникнуть проблемы. Поддерживая gzip и deflate, робот придерживается стандарта rfc2616, раздел 3.5 (http://www.w3.org/Protocols/rfc2616/...c3.html#sec3.5). так что радуемся, господа Наконец то, ато яша мне постоянно сервак вешал
__________________
Осуществляю поддержку сайтов с OpenCart, Bitrix, Wordpress, DLE, Drupal, WebAsyst и пр. Скайп agriboed |
|
31.07.2008, 17:35 | #3 | |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1025
|
Цитата:
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
|
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Новые функции. | ShaMAD | Пожелания пользователей системы | 8 | 13.05.2008 02:29 |
Новые заявки | DenB | Ошибки при работе с системой | 1 | 12.05.2008 22:34 |
Google вводит изменения в сервис выдачи PageRank | lekoleko | Курилка | 11 | 26.11.2007 11:50 |
Неделю не появляются новые новые ссылки для апрува | gutako | Вопросы по работе системы | 1 | 03.11.2007 12:52 |
Яша вводит автобан? | SPBANIME | Яндекс | 38 | 11.10.2007 04:41 |
Часовой пояс GMT +3, время: 15:52.