паук яндекса

osaeg · 10.02.2009, 10:18

заметил пребывание поисковика яндекса на страницах сайта которых нет ни в сайт мэпе, и на которые не ссылается ни одна страница моего сайта. может ли это явиться какими либо последствиями? скажем если эта страница является бывшим каталогом ссылок или бывшим порносайтом который я просто не стал удалять, а положил в отдельную папку находящуюся среди других папок моего сайта.
надеюсь здесь есть знающие люди столкнувшиеся с данным случаем в собственной практике.

lay · 10.02.2009, 10:24

Страницы сайта не могут быть найдены поисковым роботом, иным способом, нежели по ссылкам на эти страницы. Будучи проиндексированными, они являются частью вашего сайта, со всеми вытекающими.

Smok · 10.02.2009, 10:29

Цитата:

Сообщение от osaeg

заметил пребывание поисковика яндекса на страницах сайта которых нет ни в сайт мэпе, и на которые не ссылается ни одна страница моего сайта.

А внешние ссылки то могут быть.

Цитата:

Сообщение от lay

может ли это явиться какими либо последствиями?

Верно подсказали:

Цитата:

Сообщение от lay

со всеми вытекающими

Тем более, если:

Цитата:

Сообщение от osaeg

эта страница является бывшим каталогом ссылок или бывшим порносайтом

Кстати слово бывшим тут лишнее.

osaeg · 10.02.2009, 11:11

спасибо Smok, как всё ясно!! странно что сам до этого не додумался (((
ведь какой нибудь из каталогов мог поставить ответную ссылку именно на данную страницу!!!
а что если запретить в робот.тхт данную страницу к индексации? по внешним ссылкам будет яндекс все равно заходить или нет?

lay · 10.02.2009, 12:25

не будет. Папку для всех роботов запретите в robots.txt

Smok · 10.02.2009, 12:39

Цитата:

Сообщение от lay

не будет. Папку для всех роботов запретите в robots.txt

Если б все было так просто...
Мне кажется далеко не факт.

Veles · 10.02.2009, 12:56

Цитата:

Сообщение от osaeg

заметил пребывание поисковика яндекса на страницах сайта которых нет ни в сайт мэпе, и на которые не ссылается ни одна страница моего сайта...

Бот пришел по внешней ссылке...
Тьфу, ответили уже...

lay · 10.02.2009, 13:14

Цитата:

Сообщение от Smok

Если б все было так просто...
Мне кажется далеко не факт.

Ну... есть конечно сомнения, но это уже параноей попахивает. Для уверенности можно в .htaccess запрет поставить.

Smok · 10.02.2009, 13:49

Цитата:

Сообщение от lay

Ну... есть конечно сомнения, но это уже параноей попахивает.

Есть немножко.

Цитата:

Сообщение от lay

Для уверенности можно в .htaccess запрет поставить.

От паранойи это тоже не панацея.

Последний Герой · 10.02.2009, 13:58

Цитата:

Сообщение от lay

Для уверенности можно в .htaccess запрет поставить.

ну зачем же так, если бот частенько навещает, вероятно в индексе страница, целесообразно на нее код сапе поставить

10.02.2009, 10:18	#1
osaeg Новичок Регистрация: 24.12.2007 Сообщений: 15 Вес репутации: 0	паук яндекса заметил пребывание поисковика яндекса на страницах сайта которых нет ни в сайт мэпе, и на которые не ссылается ни одна страница моего сайта. может ли это явиться какими либо последствиями? скажем если эта страница является бывшим каталогом ссылок или бывшим порносайтом который я просто не стал удалять, а положил в отдельную папку находящуюся среди других папок моего сайта. надеюсь здесь есть знающие люди столкнувшиеся с данным случаем в собственной практике.

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
up яндекса ?	Апокалипсис	Яндекс	72	02.06.2008 10:38
Паук для украинского сегмента. Затрахали ERROR`ы	timtroll	Ошибки при работе с системой	11	12.02.2008 00:47
Во сколько ходит робот-паук?	Pilotus	Вопросы по работе системы	1	30.01.2008 20:23
23.01.08 АП Яндекса!	Gremlin	Апдейты	85	28.01.2008 14:53
Паук не различает ссылки с "собакой"	Продавец	Вопросы по работе системы	7	18.07.2007 13:55

10.02.2009, 10:24	#2
lay Мастер Регистрация: 11.08.2007 Сообщений: 705 Вес репутации: 248	Страницы сайта не могут быть найдены поисковым роботом, иным способом, нежели по ссылкам на эти страницы. Будучи проиндексированными, они являются частью вашего сайта, со всеми вытекающими.

10.02.2009, 11:11	#4
osaeg Новичок Регистрация: 24.12.2007 Сообщений: 15 Вес репутации: 0	спасибо Smok, как всё ясно!! странно что сам до этого не додумался ((( ведь какой нибудь из каталогов мог поставить ответную ссылку именно на данную страницу!!! а что если запретить в робот.тхт данную страницу к индексации? по внешним ссылкам будет яндекс все равно заходить или нет?

10.02.2009, 12:25	#5
lay Мастер Регистрация: 11.08.2007 Сообщений: 705 Вес репутации: 248	не будет. Папку для всех роботов запретите в robots.txt