Закрытие robot.txt как способ воровства?

investory · 03.02.2010, 17:27

Закрытый для проверки robot.txt: "Файл robots.txt недоступен: сервер вернул ошибку." может означать в том числе и обман со стороны вебмастера.
Купленные статьи имеют специфический адрес и могут быть закрыты для индексации и гуглом и яндексом.

Вопрос возник не на пустом месте:
Купленная 24.01 статья, обозначенная как проиндексированная 25.01 не в индексе ни у яндекса, ни у гугла.
И это при том, что ссылка на неё стоит с главной и статья неоднократно гонялась по социалкам.

Хитромудрые вебмастера таким образом имеют прекрасный шанс воровать деньги у оптимизаторов.

В связи с этим предложение: выкидывать сайты вебмастеров из биржи при закрытии ими robot.txt от проверки.

ЗЫ. Вполне возможно, что в данном случае нет умышленных действий со стороны вебмастера (в чём лично я сильно сомневаюсь), но дыра от этого не становится меньше.

Anadonam · 03.02.2010, 17:45

investory, а если robot.txt вообще нет - ведь он не носит обязательный характер ..

chahlic · 03.02.2010, 17:46

а разве при этом он также не будет доступен и для ПС?

Добавлено через 48 секунд

Цитата:

Сообщение от Anadonam

investory, а если robot.txt вообще нет - ведь он не носит обязательный характер ..

тогда ошибка другая

MonAmur · 03.02.2010, 17:50

robots.txt ведь можно посмотреть, если он есть на сайте.
у меня, например, на многих сайтах его попросту нет.

Ank · 03.02.2010, 17:54

Цитата:

Сообщение от investory

Файл robots.txt недоступен: сервер вернул ошибку.

если 404 - то это нормально. нет его просто.
если 403 - то скорее всего никому не дадут.
а если клоака - то как проверить?

Tollun · 03.02.2010, 18:07

в Я через аддурилку попробуй добавить url статьи, там и будет ясно - запрещено в robots.txt или нет.

Avelon · 03.02.2010, 18:13

investory, можете этот пример мне в личку сбросить плз!

investory · 03.02.2010, 18:37

Цитата:

Сообщение от Tollun

в Я через аддурилку попробуй добавить url статьи, там и будет ясно - запрещено в robots.txt или нет.

Вот спасибо, не додумался. Вот что получил после добавления в адурилку:

Цитата:

Указанный вами сайт является неглавным зеркалом сайта www.site.ru.
Сайт www.site.ru/news/article/ уже проиндексирован.

Так что с этим сайтом получается всё ОК - статья проиндексирована с www, я же проверял как есть, без www
Зря панику поднял, извините если что.

Tollun · 03.02.2010, 18:40

1. Именно url статьи
2. Зеркало domain.ru с www и без www ерунда, главное чтобы сам додомен был 1, пробуй добавить url статьи с префиксом www.

Должен быть результат - страница отдаёт код отличный от 200, запрещён в robots.txt, запрещён к индексации (так с АГС и баном, url не добавить), или что-то ещё - если всё хорошо, то "уже проиндекцирована" или "добавлена".

investory · 03.02.2010, 18:49

Всё таки вернусь к основному вопросу: закрытый robot.txt наводит на нехорошие мысли. В блогуне (не к ночи помянут) огромное количество блогов закрывают через robot.txt рекламные обзоры от индексации.

Если ничего не предусмотреть для борьбы с этим - будет та же картина, мне так кажется.

Добавлено через 1 минуту

Цитата:

Сообщение от Tollun

если всё хорошо, то "уже проиндекцирована" или "добавлена".

Уже проиндексирована, сапа не ошиблась - я лажанулся

03.02.2010, 17:27	#1
investory Просто Гном Регистрация: 02.07.2008 Адрес: Житель подземелья Сообщений: 3,780 Вес репутации: 413	Закрытие robot.txt как способ воровства? Закрытый для проверки robot.txt: "Файл robots.txt недоступен: сервер вернул ошибку." может означать в том числе и обман со стороны вебмастера. Купленные статьи имеют специфический адрес и могут быть закрыты для индексации и гуглом и яндексом. Вопрос возник не на пустом месте: Купленная 24.01 статья, обозначенная как проиндексированная 25.01 не в индексе ни у яндекса, ни у гугла. И это при том, что ссылка на неё стоит с главной и статья неоднократно гонялась по социалкам. Хитромудрые вебмастера таким образом имеют прекрасный шанс воровать деньги у оптимизаторов. В связи с этим предложение: выкидывать сайты вебмастеров из биржи при закрытии ими robot.txt от проверки. ЗЫ. Вполне возможно, что в данном случае нет умышленных действий со стороны вебмастера (в чём лично я сильно сомневаюсь), но дыра от этого не становится меньше. __________________ Просто Гном

03.02.2010, 17:45	#2
Anadonam Эксперт Регистрация: 29.10.2009 Адрес: Вологда and SSHA Сообщений: 3,897 Вес репутации: 353	investory, а если robot.txt вообще нет - ведь он не носит обязательный характер .. __________________ Новый год, конкурсы, сценки ...

03.02.2010, 17:50	#4
MonAmur Эксперт Регистрация: 03.07.2007 Адрес: Chinatown Сообщений: 7,265 Вес репутации: 609	robots.txt ведь можно посмотреть, если он есть на сайте. у меня, например, на многих сайтах его попросту нет. __________________ отличная тизерка тексты по 10 руб/кзнак автоматизируй все, не мучайся!

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Сапа понимала robot.txt	Konstantin_by	Пожелания пользователей системы	3	12.03.2009 00:52
Закрытие акка	BerlinA	Курилка	44	24.08.2008 03:26
robot sape	Krokus	Ошибки при работе с системой	15	10.08.2008 03:20
WinHTTP Robot?	Indigo	Разработка и сопровождение сайтов	6	02.03.2008 18:57
закрытие стилями	simba	Вопросы по работе системы	14	02.02.2008 18:57

03.02.2010, 18:07	#6
Tollun Новичок Регистрация: 31.03.2008 Сообщений: 31 Вес репутации: 196	в Я через аддурилку попробуй добавить url статьи, там и будет ясно - запрещено в robots.txt или нет.

03.02.2010, 18:13	#7
Avelon Администратор Регистрация: 22.11.2006 Сообщений: 5,868 Вес репутации: 21475165	investory, можете этот пример мне в личку сбросить плз!

03.02.2010, 18:40	#9
Tollun Новичок Регистрация: 31.03.2008 Сообщений: 31 Вес репутации: 196	1. Именно url статьи 2. Зеркало domain.ru с www и без www ерунда, главное чтобы сам додомен был 1, пробуй добавить url статьи с префиксом www. Должен быть результат - страница отдаёт код отличный от 200, запрещён в robots.txt, запрещён к индексации (так с АГС и баном, url не добавить), или что-то ещё - если всё хорошо, то "уже проиндекцирована" или "добавлена".