Форум SAPE.RU - А вы robost.txt проверяете?

Форум SAPE.RU (http://forum.sape.ru/index.php)

- Вопросы по работе системы (http://forum.sape.ru/forumdisplay.php?f=13)

- - А вы robost.txt проверяете? (http://forum.sape.ru/showthread.php?t=1861)

leos	01.05.2007 00:51

А вы robost.txt проверяете?

хотел ссылку неплохую купить, да надпись

Цитата:

Индексация сервера linuxcenter.ru:80 запрещена полностью.

по ссылке

Код:

http://www.yandex.ru/cgi-bin/test-robots?host=linuxcenter.ru

меня насторожила...

Ank	01.05.2007 11:59

robots у него странный, как миниму нарушен порядок...
но сам Я знает 15600 страниц, стало быть не запрещает он ВСего...
Судя по роботсу - они пытались прикрыть страницы с парамерами...

Wink	01.05.2007 15:43

linuxcenter.ru я давно в блэк-лист отправил. Было дело тоже хотел прикупить там страничку - полез руками проверять, а там 404

real_human

04.05.2007 02:40

Re: А вы robost.txt проверяете?

Цитата:

Сообщение от leos

хотел ссылку неплохую купить, да надпись

Цитата:

Индексация сервера linuxcenter.ru:80 запрещена полностью.

по ссылке

Код:

http://www.yandex.ru/cgi-bin/test-robots?host=linuxcenter.ru

меня насторожила...

Это потому, что у них используется директива HOST. Попробуйте так:
http://www.yandex.ru/cgi-bin/test-ro...linuxcenter.ru
В таком варианте - всё ОК.

Mendel

24.12.2008 16:37

а разве правило "не палить ссылки площадок" уже отменили?

Wink	24.12.2008 17:02

Mendel, это ж надо так постараться было, чтобы найти тему, которой полтора года.

zhegloff

24.12.2008 17:09

Некропостинг наказывается пожизненным эцихом с гвоздями.

Часовой пояс GMT +3, время: 00:29.