Индексация большого сайта

[Bigmouse]

Уважаемые!

Возможно я плохо искал ответ на форуме, и попробовал экспериментировать "в живую"... пока тоже не удачно.

Ситуация следующая, у меня сайт насчитывает примерно 900.000 страниц. Робот Sape индексит обычно не более 2-3 тыс. Да бог бы с ним, хватило бы и этого, но он берет страницы только из одного каталога, а я хочу как то указать ему, чтобы он брал страницы из нескольких каталогов.

Пример:

site.ru/dir1 10.000 страниц
site.ru/dir2 20.000 страниц
site.ru/dir3 100.000 страниц
site.ru/dir4 300.000 страниц
site.ru/dir5 ххх.000 страниц

Понятно, что роботудостаточно зайти в один каталог и он там наберет свой лимит в 2-3 тыс...

Как сказать роботу, что возьми 500 из dir1, 500 из dir2 и т.д. ???

[siarzhuk]

Что-то Вы напутали. Робот берет 500 ссылок с главной страницы и 150 ссылок с каждой страницы 2-го уровня. Больше никаких лимитов нет.

[Deicider]

Как я понимаю, робот сканирует сайт целиком, а добавляет в систему только страницы с кодом сапы. Соответственно, установите код только на те страницы, котрые желаете добавить в систему

[Bigmouse]

Сообщение от Deicider

Как я понимаю, робот сканирует сайт целиком, а добавляет в систему только страницы с кодом сапы. Соответственно, установите код только на те страницы, котрые желаете добавить в систему

К сожалению, я не могу добавить код на 500 из 300.000 старниц, у меся сайт на движке и я добавляю либо во все либо никуда...

А что если после того как сапе нашел 3.000 страниц в ./dir1 удалить 2.500 из них и убрать код со страниц в ./dir1... и утсановить код на страницы ./dir2. Затем как-то пнуть робота, чтобы снова побежал ко мне.

Только вот. это же опять модерация и модераторы могут не правильно меня понять

К тому же робот забрал не самые лучшие странички... с PR 3 и ниже, хотя тут же есть страницы с PR 4...

[Deicider]

Сообщение от Bigmouse

К сожалению, я не могу добавить код на 500 из 300.000 старниц, у меся сайт на движке и я добавляю либо во все либо никуда...

У меня сайт на php и тоже страницы генерируются скриптом, беря контент из БД. Код сапы прописал в отдельном файле и вставляется include-ом. Так вот в скрипте можно прописать if (условие) include file.php. А условие прописать какое именно вам нужно, чтобы фильтровать страницы. Например, Вы пишете про PR. Как самое простое можно создать файл (или лучше загнать в БД) список страниц, на которых код вставить нужно. В скрипте вызываете REQUEST_URI и сравниваете со списком страниц. Если страница найдена в в списке, срабатывает include. Это, конечно, немалая нагрузка на сервер будет при большой посещаемости этих страниц, но это просто как пример. Условие и гораздо проще может быть.

[Walk]

перед добавлением сайта "чек коде" на всех страницах отображается?
если да, то пиши в тех. поддержку.

Как то неделю потратил, пытался 4 страницы с кодом добавить, писал что нет страниц. Искал ошибку у себя, в итоге умные люди сказали что с сайтом все ок - глюк в сапе, пиши в тех. поддержку.
Написал и все ок

[Deicider]

Или, например, если у вас в адреса страниц содержат некий числовой ID страницы (а не полностью текстовый адрес), то можно простым математическим расчетом выбирать, например, каждый десятый адрес для включения кода.

[Veles]

Да, верно. Можно реализовать несколько подбных вариантов для решения проблемы. В принципе всё это не сложно...

P.S. А еще проще завести на сервере хорошенькую роботессу, чтобы прикормила трудягу-робота сапе. Смотришь и детишки пойдут...

[Bigmouse]

Сообщение от Veles

P.S. А еще проще завести на сервере хорошенькую роботессу, чтобы прикормила трудягу-робота сапе. Смотришь и детишки пойдут...

Согласен, но только робот сапе ходит инкогнито и у него нет нормального User-Agenta и соответственно его не поймать нормально...

[siarzhuk]

Гм...
А зачем все это, извините?
Устанавливайте код на все страницы и делайте так, чтобы планируемые для размещения ссылок страницы были не более чем в двух кликах от главной.
И все.