Старый 24.09.2008, 09:17   #1
Новичок
 
Регистрация: 24.09.2008
Сообщений: 6
Вес репутации: 0
Bigmouse на пути к лучшему
По умолчанию Индексация большого сайта

Уважаемые!

Возможно я плохо искал ответ на форуме, и попробовал экспериментировать "в живую"... пока тоже не удачно.

Ситуация следующая, у меня сайт насчитывает примерно 900.000 страниц. Робот Sape индексит обычно не более 2-3 тыс. Да бог бы с ним, хватило бы и этого, но он берет страницы только из одного каталога, а я хочу как то указать ему, чтобы он брал страницы из нескольких каталогов.

Пример:

site.ru/dir1 10.000 страниц
site.ru/dir2 20.000 страниц
site.ru/dir3 100.000 страниц
site.ru/dir4 300.000 страниц
site.ru/dir5 ххх.000 страниц

Понятно, что роботудостаточно зайти в один каталог и он там наберет свой лимит в 2-3 тыс...

Как сказать роботу, что возьми 500 из dir1, 500 из dir2 и т.д. ???
Bigmouse вне форума   Ответить с цитированием
Старый 24.09.2008, 09:33   #2
Мастер
 
Аватар для siarzhuk
 
Регистрация: 08.06.2007
Адрес: Центр Европы
Сообщений: 909
Вес репутации: 196
siarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущее
По умолчанию

Что-то Вы напутали. Робот берет 500 ссылок с главной страницы и 150 ссылок с каждой страницы 2-го уровня. Больше никаких лимитов нет.
siarzhuk вне форума   Ответить с цитированием
Старый 24.09.2008, 09:37   #3
Специалист
 
Регистрация: 15.07.2008
Сообщений: 375
Вес репутации: 159
Deicider - как роза среди колючекDeicider - как роза среди колючекDeicider - как роза среди колючек
По умолчанию

Как я понимаю, робот сканирует сайт целиком, а добавляет в систему только страницы с кодом сапы. Соответственно, установите код только на те страницы, котрые желаете добавить в систему
Deicider вне форума   Ответить с цитированием
Старый 24.09.2008, 09:47   #4
Новичок
 
Регистрация: 24.09.2008
Сообщений: 6
Вес репутации: 0
Bigmouse на пути к лучшему
По умолчанию

Цитата:
Сообщение от Deicider Посмотреть сообщение
Как я понимаю, робот сканирует сайт целиком, а добавляет в систему только страницы с кодом сапы. Соответственно, установите код только на те страницы, котрые желаете добавить в систему
К сожалению, я не могу добавить код на 500 из 300.000 старниц, у меся сайт на движке и я добавляю либо во все либо никуда...

А что если после того как сапе нашел 3.000 страниц в ./dir1 удалить 2.500 из них и убрать код со страниц в ./dir1... и утсановить код на страницы ./dir2. Затем как-то пнуть робота, чтобы снова побежал ко мне.

Только вот. это же опять модерация и модераторы могут не правильно меня понять

К тому же робот забрал не самые лучшие странички... с PR 3 и ниже, хотя тут же есть страницы с PR 4...
Bigmouse вне форума   Ответить с цитированием
Старый 24.09.2008, 10:32   #5
Специалист
 
Регистрация: 15.07.2008
Сообщений: 375
Вес репутации: 159
Deicider - как роза среди колючекDeicider - как роза среди колючекDeicider - как роза среди колючек
По умолчанию

Цитата:
Сообщение от Bigmouse Посмотреть сообщение
К сожалению, я не могу добавить код на 500 из 300.000 старниц, у меся сайт на движке и я добавляю либо во все либо никуда...
У меня сайт на php и тоже страницы генерируются скриптом, беря контент из БД. Код сапы прописал в отдельном файле и вставляется include-ом. Так вот в скрипте можно прописать if (условие) include file.php. А условие прописать какое именно вам нужно, чтобы фильтровать страницы. Например, Вы пишете про PR. Как самое простое можно создать файл (или лучше загнать в БД) список страниц, на которых код вставить нужно. В скрипте вызываете REQUEST_URI и сравниваете со списком страниц. Если страница найдена в в списке, срабатывает include. Это, конечно, немалая нагрузка на сервер будет при большой посещаемости этих страниц, но это просто как пример. Условие и гораздо проще может быть.
Deicider вне форума   Ответить с цитированием
Старый 24.09.2008, 10:35   #6
Специалист
 
Аватар для Walk
 
Регистрация: 09.07.2008
Сообщений: 194
Вес репутации: 153
Walk скоро станет известен
По умолчанию

перед добавлением сайта "чек коде" на всех страницах отображается?
если да, то пиши в тех. поддержку.

Как то неделю потратил, пытался 4 страницы с кодом добавить, писал что нет страниц. Искал ошибку у себя, в итоге умные люди сказали что с сайтом все ок - глюк в сапе, пиши в тех. поддержку.
Написал и все ок
Walk вне форума   Ответить с цитированием
Старый 24.09.2008, 10:37   #7
Специалист
 
Регистрация: 15.07.2008
Сообщений: 375
Вес репутации: 159
Deicider - как роза среди колючекDeicider - как роза среди колючекDeicider - как роза среди колючек
По умолчанию

Или, например, если у вас в адреса страниц содержат некий числовой ID страницы (а не полностью текстовый адрес), то можно простым математическим расчетом выбирать, например, каждый десятый адрес для включения кода.
Deicider вне форума   Ответить с цитированием
Старый 24.09.2008, 10:37   #8
Велес
 
Аватар для Veles
 
Регистрация: 01.07.2007
Адрес: Россия
Сообщений: 1,422
Вес репутации: 222
Veles - прекрасное будущееVeles - прекрасное будущееVeles - прекрасное будущееVeles - прекрасное будущееVeles - прекрасное будущееVeles - прекрасное будущееVeles - прекрасное будущееVeles - прекрасное будущееVeles - прекрасное будущееVeles - прекрасное будущееVeles - прекрасное будущее
По умолчанию

Да, верно. Можно реализовать несколько подбных вариантов для решения проблемы. В принципе всё это не сложно...

P.S. А еще проще завести на сервере хорошенькую роботессу, чтобы прикормила трудягу-робота сапе. Смотришь и детишки пойдут...
__________________
Wish You Were Here...
Veles вне форума   Ответить с цитированием
Старый 24.09.2008, 10:53   #9
Новичок
 
Регистрация: 24.09.2008
Сообщений: 6
Вес репутации: 0
Bigmouse на пути к лучшему
По умолчанию

Цитата:
Сообщение от Veles Посмотреть сообщение
P.S. А еще проще завести на сервере хорошенькую роботессу, чтобы прикормила трудягу-робота сапе. Смотришь и детишки пойдут...
Согласен, но только робот сапе ходит инкогнито и у него нет нормального User-Agenta и соответственно его не поймать нормально...
Bigmouse вне форума   Ответить с цитированием
Старый 24.09.2008, 12:49   #10
Мастер
 
Аватар для siarzhuk
 
Регистрация: 08.06.2007
Адрес: Центр Европы
Сообщений: 909
Вес репутации: 196
siarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущееsiarzhuk - прекрасное будущее
По умолчанию

Гм...
А зачем все это, извините?
Устанавливайте код на все страницы и делайте так, чтобы планируемые для размещения ссылок страницы были не более чем в двух кликах от главной.
И все.
siarzhuk вне форума   Ответить с цитированием
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Индексация сайта Яшей, что-то тут не то! peeplanet Яндекс 30 26.05.2008 19:19
Индексация сайта vitalius Вопросы по работе системы 29 03.12.2007 19:11
Индексация статического сайта alextarasov Вопросы по работе системы 7 11.10.2007 19:47
Сколько длится индексация реально большого сайта? 9dVSnVN6 Вопросы по работе системы 1 24.07.2007 14:25
Как проверить PR у большого количества страниц Skipper Google, MSN, Yahoo 3 17.07.2007 15:43


Часовой пояс GMT +3, время: 16:56.