17.02.2012, 03:09 | #1 |
Эксперт
Регистрация: 20.03.2010
Адрес: Симферополь
Сообщений: 1,547
Вес репутации: 239
|
В индексе страницы запрещенные файлом robots
После установки jcomments - компонент комментариев для джумлы, заметил прирост индексных страниц на 50%.
Как оказалось гугл наиндексил страниц вида хттп://сайт/component/jcomments/feed/com_content/1**.html Хотя в файле robots.txt, есть правило Disallow: /component/ и как показала проверка robots.txt (доступ для сканера) инструментами для веб-мастеров от гугла, четко указывает, что страницы с данными урлами "Заблокированы по строке 5: Disallow: /component/ " Что это глюк? или кривые руки Даже если это и глюк, то какого фига лазать по запрещенным папкам или гугля там вовсе не лазил, а просто нахватался страниц с урлов и еще не допер что они запрещены к индексации Последний раз редактировалось vitaliy s; 17.02.2012 в 03:15. |
17.02.2012, 03:20 | #2 |
Визжащий хомячок
Регистрация: 12.01.2010
Сообщений: 3,667
Вес репутации: 366
|
интересно же. ПС такие любопытные. а вдруг там ответ на главный вопрос о смысле жизни, вселенной и всего такого?
а по сабжу: роботс - это рекомендация для поисковых систем, таким образом, корректнее говорить "нерекомендованная папка"
__________________
|
07.03.2012, 03:08 | #5 |
Эксперт
Регистрация: 11.04.2010
Адрес: Поближе к кухне ,подальше от начальства!
Сообщений: 1,062
Вес репутации: 212
|
И вроде не первый день на форуме , а такие простые весчи спрашиваете.
Конечно же роботс это рекомендация , и если храните личные данные клиентов , то во избежании тюремного срока секретные папки надо хтакессом прикрывать , а не фиговым листочком в виде роботса. |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Запрещенные слова | admmatrix | Биржа статей | 3 | 03.02.2012 11:18 |
Как установить разные цены на страницы в индексе и не в индексе Яндекса? | V0VAN | Пожелания пользователей системы | 10 | 21.08.2011 12:37 |
Повторные страницы на сайте. Запретить их в robots.txt ? | blackice1406 | Вопросы от новичков | 4 | 02.09.2009 12:44 |
joomla - проблема с файлом robots.txt | tvoymarket | Разработка и сопровождение сайтов | 5 | 21.12.2008 23:47 |
Запрещенные ссылки Яшей | solomko.net | Яндекс | 2 | 22.11.2007 02:51 |
Часовой пояс GMT +3, время: 11:12.