Вернуться   Форум SAPE.RU > Система SAPE.ru > Ошибки при работе с системой

-->
Ответ
 
Опции темы
Старый 24.05.2023, 09:52   #1
Эксперт
 
Аватар для Losjah
 
Регистрация: 21.08.2007
Адрес: Мск
Сообщений: 1,503
Вес репутации: 270
Losjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущее
По умолчанию Робот подсасывает в систему неканоничные страницы и запрещенные в роботсе

Проблема - Робот sape подсасывает в систему (находит новые) неканоничные страницы и страницы запрещенные в роботсе сайта.
Losjah вне форума   Ответить с цитированием
Старый 14.09.2023, 10:20   #2
Эксперт
 
Аватар для Losjah
 
Регистрация: 21.08.2007
Адрес: Мск
Сообщений: 1,503
Вес репутации: 270
Losjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущееLosjah - прекрасное будущее
Talking

Спасибо, брат, хоть кто-то ответил.

Losjah вне форума   Ответить с цитированием
Старый 18.09.2023, 18:31   #3
Эксперт
 
Аватар для Anadonam
 
Регистрация: 29.10.2009
Адрес: Вологда and SSHA
Сообщений: 3,896
Вес репутации: 352
Anadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущееAnadonam - прекрасное будущее
Отправить сообщение для Anadonam с помощью ICQ
По умолчанию

А чего отвечать. Боты сапы это не боты поисковиков.
Anadonam вне форума   Ответить с цитированием
Старый 04.03.2024, 07:27   #4
Новичок
 
Регистрация: 04.03.2024
Адрес: United States
Сообщений: 1
Вес репутации: 0
wrestleyak на пути к лучшему
По умолчанию

Файл Robots.txt: убедитесь, что у вас есть правильно настроенный файл robots.txt в корневом каталоге вашего веб-сайта. Файл robots.txt используется для указания веб-сканерам, какие страницы или каталоги следует или не следует сканировать. Вы можете явно запретить сканерам доступ к определенным путям или файлам, добавив соответствующие правила в этот файл.
wrestleyak вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
В индексе страницы запрещенные файлом robots vitaliy s Google, MSN, Yahoo 5 17.03.2012 23:05
Как разрешить к индексации несколько страниц запрещенных в роботсе? Mitay Общие вопросы оптимизации 4 11.03.2011 15:05
Закрытие страниц в роботсе freemangamer Вопросы от новичков 1 10.02.2010 14:14
Робот не проиндексировал не все страницы. bratka_panya Установка кода на различные движки 0 22.12.2008 09:22
Робот не нашёл страницы... xotabhuik Вопросы от новичков 10 17.09.2008 20:24


Часовой пояс GMT +3, время: 23:00.