03.02.2010, 17:27 | #1 |
Просто Гном
Регистрация: 02.07.2008
Адрес: Житель подземелья
Сообщений: 3,780
Вес репутации: 413
|
Закрытие robot.txt как способ воровства?
Закрытый для проверки robot.txt: "Файл robots.txt недоступен: сервер вернул ошибку." может означать в том числе и обман со стороны вебмастера.
Купленные статьи имеют специфический адрес и могут быть закрыты для индексации и гуглом и яндексом. Вопрос возник не на пустом месте: Купленная 24.01 статья, обозначенная как проиндексированная 25.01 не в индексе ни у яндекса, ни у гугла. И это при том, что ссылка на неё стоит с главной и статья неоднократно гонялась по социалкам. Хитромудрые вебмастера таким образом имеют прекрасный шанс воровать деньги у оптимизаторов. В связи с этим предложение: выкидывать сайты вебмастеров из биржи при закрытии ими robot.txt от проверки. ЗЫ. Вполне возможно, что в данном случае нет умышленных действий со стороны вебмастера (в чём лично я сильно сомневаюсь), но дыра от этого не становится меньше.
__________________
|
03.02.2010, 17:45 | #2 |
Эксперт
|
investory, а если robot.txt вообще нет - ведь он не носит обязательный характер ..
__________________
|
03.02.2010, 17:46 | #3 |
Пожиратель черепашкоВ
Регистрация: 24.12.2008
Адрес: Телемелетрямдия
Сообщений: 4,739
Вес репутации: 395
|
а разве при этом он также не будет доступен и для ПС?
Добавлено через 48 секунд тогда ошибка другая
__________________
Последний раз редактировалось chahlic; 03.02.2010 в 17:46. Причина: Добавлено сообщение |
03.02.2010, 17:50 | #4 |
Эксперт
Регистрация: 03.07.2007
Адрес: Chinatown
Сообщений: 7,265
Вес репутации: 609
|
robots.txt ведь можно посмотреть, если он есть на сайте.
у меня, например, на многих сайтах его попросту нет.
__________________
тексты по 10 руб/кзнак автоматизируй все, не мучайся! |
03.02.2010, 17:54 | #5 |
Администратор
Регистрация: 05.02.2007
Сообщений: 18,405
Вес репутации: 715
|
если 404 - то это нормально. нет его просто.
если 403 - то скорее всего никому не дадут. а если клоака - то как проверить?
__________________
Читаем ФАК |
03.02.2010, 18:37 | #8 | ||
Просто Гном
Регистрация: 02.07.2008
Адрес: Житель подземелья
Сообщений: 3,780
Вес репутации: 413
|
Цитата:
Цитата:
Зря панику поднял, извините если что.
__________________
Последний раз редактировалось investory; 03.02.2010 в 18:43. |
||
03.02.2010, 18:40 | #9 |
Новичок
Регистрация: 31.03.2008
Сообщений: 31
Вес репутации: 196
|
1. Именно url статьи
2. Зеркало domain.ru с www и без www ерунда, главное чтобы сам додомен был 1, пробуй добавить url статьи с префиксом www. Должен быть результат - страница отдаёт код отличный от 200, запрещён в robots.txt, запрещён к индексации (так с АГС и баном, url не добавить), или что-то ещё - если всё хорошо, то "уже проиндекцирована" или "добавлена". |
03.02.2010, 18:49 | #10 |
Просто Гном
Регистрация: 02.07.2008
Адрес: Житель подземелья
Сообщений: 3,780
Вес репутации: 413
|
Всё таки вернусь к основному вопросу: закрытый robot.txt наводит на нехорошие мысли. В блогуне (не к ночи помянут) огромное количество блогов закрывают через robot.txt рекламные обзоры от индексации.
Если ничего не предусмотреть для борьбы с этим - будет та же картина, мне так кажется. Добавлено через 1 минуту Уже проиндексирована, сапа не ошиблась - я лажанулся
__________________
Последний раз редактировалось investory; 03.02.2010 в 18:49. Причина: Добавлено сообщение |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Сапа понимала robot.txt | Konstantin_by | Пожелания пользователей системы | 3 | 12.03.2009 00:52 |
Закрытие акка | BerlinA | Курилка | 44 | 24.08.2008 03:26 |
robot sape | Krokus | Ошибки при работе с системой | 15 | 10.08.2008 03:20 |
WinHTTP Robot? | Indigo | Разработка и сопровождение сайтов | 6 | 02.03.2008 18:57 |
закрытие стилями | simba | Вопросы по работе системы | 14 | 02.02.2008 18:57 |
Часовой пояс GMT +3, время: 00:55.