24.05.2023, 09:52
|
#1 |
|
Эксперт
Регистрация: 21.08.2007
Адрес: Мск
Сообщений: 1,503
Вес репутации: 278
  |
Робот подсасывает в систему неканоничные страницы и запрещенные в роботсе
Проблема - Робот sape подсасывает в систему (находит новые) неканоничные страницы и страницы запрещенные в роботсе сайта.
|
|
|
|
04.03.2024, 07:27
|
#4 |
|
Новичок
Регистрация: 04.03.2024
Адрес: United States
Сообщений: 1
Вес репутации: 0
|
Файл Robots.txt: убедитесь, что у вас есть правильно настроенный файл robots.txt в корневом каталоге вашего веб-сайта. Файл robots.txt используется для указания веб-сканерам, какие страницы или каталоги следует или не следует сканировать. Вы можете явно запретить сканерам доступ к определенным путям или файлам, добавив соответствующие правила в этот файл.
|
|
|
|
 |
| Опции темы | |
|
|
Похожие темы
|
||||
| Тема | Автор | Раздел | Ответов | Последнее сообщение |
| В индексе страницы запрещенные файлом robots | vitaliy s | Google, MSN, Yahoo | 5 | 17.03.2012 23:05 |
| Как разрешить к индексации несколько страниц запрещенных в роботсе? | Mitay | Общие вопросы оптимизации | 4 | 11.03.2011 15:05 |
| Закрытие страниц в роботсе | freemangamer | Вопросы от новичков | 1 | 10.02.2010 14:14 |
| Робот не проиндексировал не все страницы. | bratka_panya | Установка кода на различные движки | 0 | 22.12.2008 09:22 |
| Робот не нашёл страницы... | xotabhuik | Вопросы от новичков | 10 | 17.09.2008 20:24 |
Часовой пояс GMT +3, время: 08:03.