Старый 17.02.2012, 03:09   #1
Эксперт
 
Аватар для vitaliy s
 
Регистрация: 20.03.2010
Адрес: Симферополь
Сообщений: 1,547
Вес репутации: 233
vitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущее
По умолчанию В индексе страницы запрещенные файлом robots

После установки jcomments - компонент комментариев для джумлы, заметил прирост индексных страниц на 50%.

Как оказалось гугл наиндексил страниц вида хттп://сайт/component/jcomments/feed/com_content/1**.html

Хотя в файле robots.txt, есть правило Disallow: /component/ и как показала проверка robots.txt (доступ для сканера) инструментами для веб-мастеров от гугла, четко указывает, что страницы с данными урлами "Заблокированы по строке 5: Disallow: /component/ "

Что это глюк? или кривые руки
Даже если это и глюк, то какого фига лазать по запрещенным папкам или гугля там вовсе не лазил, а просто нахватался страниц с урлов и еще не допер что они запрещены к индексации

Последний раз редактировалось vitaliy s; 17.02.2012 в 03:15.
vitaliy s вне форума   Ответить с цитированием
Старый 17.02.2012, 03:20   #2
Визжащий хомячок
 
Аватар для XAHTOB
 
Регистрация: 12.01.2010
Сообщений: 3,667
Вес репутации: 360
XAHTOB - прекрасное будущееXAHTOB - прекрасное будущееXAHTOB - прекрасное будущееXAHTOB - прекрасное будущееXAHTOB - прекрасное будущееXAHTOB - прекрасное будущееXAHTOB - прекрасное будущееXAHTOB - прекрасное будущееXAHTOB - прекрасное будущееXAHTOB - прекрасное будущееXAHTOB - прекрасное будущее
По умолчанию

Цитата:
Сообщение от vitaliy s Посмотреть сообщение
то какого фига лазать по запрещенным папкам
интересно же. ПС такие любопытные. а вдруг там ответ на главный вопрос о смысле жизни, вселенной и всего такого?
а по сабжу: роботс - это рекомендация для поисковых систем, таким образом, корректнее говорить "нерекомендованная папка"
__________________
– Что ж, по крайней мере, сейчас ты знаешь, что не понимаешь ничего, – заметил Ург. – А если я дам тебе какие-то разъяснения, ты все равно ничего не поймешь, но, чего доброго, решишь, будто все понял. Ничего не может быть опаснее неосознанного невежества!
XAHTOB вне форума   Ответить с цитированием
Старый 17.02.2012, 14:45   #3
Эксперт
 
Аватар для vitaliy s
 
Регистрация: 20.03.2010
Адрес: Симферополь
Сообщений: 1,547
Вес репутации: 233
vitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущееvitaliy s - прекрасное будущее
По умолчанию

Потерто...
Гугля почистил

Последний раз редактировалось vitaliy s; 17.02.2012 в 14:52.
vitaliy s вне форума   Ответить с цитированием
Старый 04.03.2012, 01:28   #4
Специалист
 
Аватар для Georg_I
 
Регистрация: 01.03.2012
Сообщений: 300
Вес репутации: 155
Georg_I - как роза среди колючекGeorg_I - как роза среди колючекGeorg_I - как роза среди колючек
По умолчанию

Роботс не панацея, в индекс могли залететь по ссылкам.
Georg_I вне форума   Ответить с цитированием
Старый 07.03.2012, 03:08   #5
Эксперт
 
Аватар для Qwazimodo
 
Регистрация: 11.04.2010
Адрес: Поближе к кухне ,подальше от начальства!
Сообщений: 1,062
Вес репутации: 206
Qwazimodo - прекрасное будущееQwazimodo - прекрасное будущееQwazimodo - прекрасное будущееQwazimodo - прекрасное будущееQwazimodo - прекрасное будущееQwazimodo - прекрасное будущееQwazimodo - прекрасное будущееQwazimodo - прекрасное будущееQwazimodo - прекрасное будущееQwazimodo - прекрасное будущееQwazimodo - прекрасное будущее
По умолчанию

Цитата:
Сообщение от vitaliy s Посмотреть сообщение
Что это глюк?
И вроде не первый день на форуме , а такие простые весчи спрашиваете.

Конечно же роботс это рекомендация , и если храните личные данные клиентов , то во избежании тюремного срока секретные папки надо хтакессом прикрывать , а не фиговым листочком в виде роботса.
Qwazimodo вне форума   Ответить с цитированием
Старый 17.03.2012, 23:05   #6
Новичок
 
Регистрация: 14.10.2010
Сообщений: 7
Вес репутации: 0
irean на пути к лучшему
По умолчанию

Сегодня для Гугл роботс - это скорее приманка, все что в роботс индексирует и еще ругается. что в роботс важные страницы запрещены к индексации. Может у него новый алгоритм куда-то сбился?
irean вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Запрещенные слова admmatrix Биржа статей 3 03.02.2012 11:18
Как установить разные цены на страницы в индексе и не в индексе Яндекса? V0VAN Пожелания пользователей системы 10 21.08.2011 12:37
Повторные страницы на сайте. Запретить их в robots.txt ? blackice1406 Вопросы от новичков 4 02.09.2009 12:44
joomla - проблема с файлом robots.txt tvoymarket Разработка и сопровождение сайтов 5 21.12.2008 23:47
Запрещенные ссылки Яшей solomko.net Яндекс 2 22.11.2007 02:51


Часовой пояс GMT +3, время: 11:41.