Каталоги: "принуждение к отдаче"

[Lorenz]

Здравствуйте
Хочу установить обратные ссылки каталогов. но закрыть страницы в robot.txt
Вопросы:
1) как вообще это делается, что там пишется и где устанавливается файл
2) смогут ли каталоги при проверке обнаружить свои ссылки?
3) не повлечет ли это санкции от Яндекса, не отразится ли на индексации других моих страниц

спасибо

[Mr.Roman]

Щас я все подробно распишу, т.к. сам изучил данную тему.

На самом деле если не вешать на главной странице ссылку на файл со ссылками на каталоги, то робот его и не найдет, и соответственно небудет индексировать.
Все что найдет робот это пяток ссылок на самих каталогах, бывает что каталоги светят твою обратку.

Закрывать ссылки через noindex/nofollow или через Disallow: links.php в robots.txt ненужно, т.к. 1/4 каталогов имеют нормальный проверяющий движок, который все это видит при проверке и как результат выкидывает тебя из каталога.
-------
Так что забей, создай файл в корне сайта (или где удобнее), залей туда код, сохрани и забудь про него )).
Самое главное не совершай ошибку - не делай ссылку на этот файл со своего сайта. На моей практике всего 5-6 каталогов (из 4000) ругались на отсутствие ссылки с моей главной страницы на файл с обраткой.

[V!rus]

Сообщение от Mr.Roman

На самом деле если не вешать на главной странице ссылку на файл со ссылками на каталоги, то робот его и не найдет, и соответственно небудет индексировать.

а что мешает каталогу отправить эту ссылку в webmaster.yandex.ru?

[seocore]

Сообщение от Lorenz

Здравствуйте
Хочу установить обратные ссылки каталогов. но закрыть страницы в robot.txt
Вопросы:
1) как вообще это делается, что там пишется и где устанавливается файл
2) смогут ли каталоги при проверке обнаружить свои ссылки?
3) не повлечет ли это санкции от Яндекса, не отразится ли на индексации других моих страниц

спасибо

после того как прогоните - удалите помойку, так как Disallow: /.... не запрещает боту индексировать, т.е. бот скушает эту страничку - просто в индекс ее не будет выдавать... - а санкции даже в таком случае вы скорее всего получите - буквально после первого же стука конкурентов в Яшу

[Mr.Roman]

Сообщение от V!rus

а что мешает каталогу отправить эту ссылку в webmaster.yandex.ru?

На этой странице добавляется морда сайта, так что стукануть в яшу врядли кто сможет (это же не в гугл стучать ). Но как я уже говорил есть и другая подлянка - ставят у себя в каталоге ссылку на страницу с обраткой на твоем сайте, но таких каталогов по пальцам можно пересчитать.

[Andrew-m]

На этой странице добавляется морда сайта, так что стукануть в яшу врядли кто сможет (это же не в гугл стучать ).

Вообще, тут можно добавить ЛЮБУЮ страницу, а не только морду. Mr.Roman, примите к сведению. Иногда удобно добавлять ссылки на новые разделы сайта, чтобы они быстрее проиндексировались.

Добавлено через 3 минуты
Я сейчас прогоняю один сайт в 1ps, примерно 25% каталогов запрещают индексацию страниц со ссылками на сайты через файл robots.txt. Надеются видимо, что на них поставят ссылки, а с них исходящих не будет

[Mr.Roman]

Andrew-m, Спасибо за подсказку, пойду накидаю в яшу новых разделов ))).

[V I P]

1) как вообще это делается, что там пишется и где устанавливается файл
2) смогут ли каталоги при проверке обнаружить свои ссылки?
3) не повлечет ли это санкции от Яндекса, не отразится ли на индексации других моих страниц

1) гугль вам в помощь..
2) смогут, такие ссылки успешно отслеживаются и убиваются большинством движков (чаще на 1-ом этапе прогона, 1-2 недели)
3) не повлечет, если сделаете на отдельном домене (ну или поддомене на крайний)..

Если сделаете страничку-помойку, как многие советуют и закинете в корень, не забудьте удалить ее как можно скорее, чтобы бот не скушал и не захлебнулся.. В противном случае будут санкции..

так как Disallow: /.... не запрещает боту индексировать, т.е. бот скушает эту страничку - просто в индекс ее не будет выдавать...

Бредите.. В robots это указание на запрет просматривать то, что расположено в дереве ниже..