Зачем такой robots.txt? - Страница 2

Crudelis · 25.05.2008, 15:29

Да просто человек незная закрыл весь сайт для всех роботов ото знаешь украл где то наверное с порно сайта robots.txt и себе поставил хотя можно было сделать гораздо меньше robots.txt вот так:
User-agent: *
Disallow: /

и всё весь сайт не индексируеться не одним роботом а зачем писать для каждого робота запрет незнаю

Andrew-m · 25.05.2008, 17:44

Цитата:

Сообщение от Crudelis

Disallow: /
Означает запретить к индексации весь сайт))) где ты покупаешь ссылки неодин поисковик их не видет и толку от такой покупки равень нулю

Страница находиться в индексе Яндекса, и ссылка на ней проиндексирована... Несмотря на такой странный роботс.тхт.

Hkey · 26.05.2008, 23:53

смотрите здесь

mman · 27.05.2008, 06:25

Наивность возведенная в степень маразма... это ж надо верить, что телепорт проверяет и слушается robots.txt

D.iK.iJ · 27.05.2008, 17:03

Цитата:

Сообщение от mman

Наивность возведенная в степень маразма... это ж надо верить, что телепорт проверяет и слушается robots.txt

И грабберы контента - тоже

Маленькая сосна · 27.05.2008, 18:34

О! Слушайте, я все пытаюсь сообразить, как выцепить нужное из того самого сайта. А может, действительно, граббер какой попробовать? Правда я в этом ни фига не разбираюсь.

D.iK.iJ · 27.05.2008, 19:56

Цитата:

Сообщение от S_pine

О! Слушайте, я все пытаюсь сообразить, как выцепить нужное из того самого сайта. А может, действительно, граббер какой попробовать? Правда я в этом ни фига не разбираюсь.

А что нужно-то?

mman · 27.05.2008, 22:45

Цитата:

Правда я в этом ни фига не разбираюсь.

И чья по вашему это проблема?
Учиться, учиться и еще раз учиться.... (с) Ильич

27.05.2008, 06:25	#14
mman Эксперт Регистрация: 04.02.2008 Адрес: Neverland Сообщений: 1,144 Вес репутации: 244	Наивность возведенная в степень маразма... это ж надо верить, что телепорт проверяет и слушается robots.txt __________________ Твори, что ты желаешь, да будет то Законом (с) Алистер Кроули

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
robots.txt	Alexander	Разработка и сопровождение сайтов	10	25.02.2010 21:54
301 для robots.txt	eveningspend	Вопросы от новичков	4	24.02.2008 12:42
sape.ru и robots.txt	Алексей Барыкин	Ошибки при работе с системой	0	11.12.2007 22:05
Вопрос по Яше и robots.txt	IPV	Яндекс	1	07.11.2007 11:33
Robots.txt	leszkin	Вопросы по работе системы	7	17.09.2007 09:37

25.05.2008, 15:29	#11
Crudelis Мастер Регистрация: 25.05.2008 Адрес: Днепропетровск Сообщений: 582 Вес репутации: 205	Да просто человек незная закрыл весь сайт для всех роботов ото знаешь украл где то наверное с порно сайта robots.txt и себе поставил хотя можно было сделать гораздо меньше robots.txt вот так: User-agent: * Disallow: / и всё весь сайт не индексируеться не одним роботом а зачем писать для каждого робота запрет незнаю

26.05.2008, 23:53	#13
Hkey Новичок Регистрация: 13.05.2008 Сообщений: 3 Вес репутации: 0	смотрите здесь

27.05.2008, 18:34	#16
Маленькая сосна дендромутант-антропоморф Регистрация: 21.11.2007 Адрес: РФ Сообщений: 1,826 Вес репутации: 272	О! Слушайте, я все пытаюсь сообразить, как выцепить нужное из того самого сайта. А может, действительно, граббер какой попробовать? Правда я в этом ни фига не разбираюсь.