29.10.2008, 14:51 | #1 |
Новичок
Регистрация: 27.06.2008
Сообщений: 35
Вес репутации: 198
|
Можно ли закрыть от робота Сапы ссылки через robots.txt?
Добавились на сайте страницы. Я отправил сайт на переиндексацию-перемодерацию.
Обнаружились несколько непроиндексированных Яндексом страниц. Но это пол-беды. Как справиться - понятно. НО! Робот Сапы обнаружил несколько ссылок вида http://www.Мой.сайт/раздел/"http:/www.Мой.сайт" http://www.Мой.сайт/"http:/www.Мой.сайт"/страница/2 Где он нашел такие ссылки - фик его знает. Особенно напрягает одинарный слеш и кавычки. Перековырял весь сайт вдоль и поперек. Где искать и что делать не понятно. Вопрос: А можно ли как-то закрыть такие ссылки от робота Сапы в robots.txt? |
29.10.2008, 14:55 | #2 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1030
|
Скорее всего проблема в вашем хтмл.
На каком уровне такие ссылки находятся?
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
29.10.2008, 15:14 | #4 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1030
|
покажите сайт и проблемную ссылку (ту, которая на 2УВ).
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
29.10.2008, 15:36 | #6 |
Новичок
Регистрация: 27.06.2008
Сообщений: 35
Вес репутации: 198
|
Отправил в личку все пять ссылок.
Добавлено через 1 минуту Скажу честно, первое что делаю - пользуюсь моском, тьфу, поиском Последний раз редактировалось dadda; 29.10.2008 в 15:36. Причина: Добавлено сообщение |
29.10.2008, 15:46 | #7 |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1030
|
хм.. не нашел таких ссылок, скорее всего глюк или робота или сайта вашего...
Удалите их эти ссылки, да и делов.
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Какой ип у робота сапы? | Ruzaevka | Вопросы по работе системы | 1 | 27.10.2008 16:39 |
Бот сапы смотрит на файл robots.txt? | mekal | Вопросы по работе системы | 13 | 18.10.2008 15:20 |
как закрыть ссылки от гула и все остальных роботов | Valeriy007 | Вопросы от новичков | 11 | 29.07.2008 16:47 |
Влияет ли верстка на поведение робота сапы? | proelgiz | Вопросы от новичков | 1 | 29.07.2008 11:21 |
Как поставить ссылки сапы, если на сайте можно править только хтмл/яваскрипты? | Nearbourner | Установка кода на различные движки | 2 | 02.11.2007 16:00 |
Часовой пояс GMT +3, время: 19:00.