Проиндексировалось мало страниц

[beep]

2ffaust: checkIDx нашел гораздо больше

[levsha]

Сообщение от LIGHT

Добрые вечер форумчане!

В общем такая беда вышла, вчера зарегистрировал площадку в YA проиндексирована порядка 30К страниц. А вот Sape почему-то прошлось только по 190 страничкам! при этом не одной 3го уровня.... и морду сунул во второй уровень, но с этим уже разобрались.

В факе написано, что можно написать суппарту по поводу переиндексация, но проблемка в том что там же сказано с что должно быть заполнено более 60% страничек рекламой, а так же интересно что произойдет с уже куплеными ссылками?

И самое главное, интересно узнать причины по которым могло такое произойти? Дабы исключить повторный глюк.

Аналогичную проблемму решил вчера с помощью администрации программы. Отписал в тех.поддержку, они не знаю какими методами но проиндексировали весь сайт.
Попробуйте отписать администрации.

[Jooz]

Отписал суппорту, спасибо ребятам, быстро вошли в положение и запустили переиндекс. Но есть одно но, заметил странную штуку.
Робот дощел до 210 страничек из 30000 возможных и заткнулся.
В ПУ смотрел с помощью кнопки статистика, там где деньги считает, ну а в скобочках показано [страниц 210] уже 20 минут так и весит.
В общем если так и завистнит, буду слезно проситься проиндексить в ночи...

да, и почему-то вообще не одной 3го уровня линки из 10000 таковых.

[ffaust]

2beep: Снести площадку, добавить заново и 7, 9 посты прочесть вдумчиво.
2LIGHT: Структура сайта мб не идеальная? SAPE берет морду, 500 с морды и по 150 с 2УВ. То есть, если у вас со страницы 2УВ идет 1000 ссылок, то в сапу пойдет только первые 150.

[Jooz]

Сообщение от ffaust

2LIGHT: Структура сайта мб не идеальная? SAPE берет морду, 500 с морды и по 150 с 2УВ. То есть, если у вас со страницы 2УВ идет 1000 ссылок, то в сапу пойдет только первые 150.

На моде порядка 70 ссылок на УВ 2
На УВ2 перекрестные ссылки с другими УВ2 тоже порядка 70
Структура нормальная, типичная для многих сайтов.

В общем Бот опять завис уже 5 часов как 210 страниц. И висит.....

[Amargo]

К примеру, есть сайт. При проверке через Я. бар получаю результат - проиндексировано 4956 страниц. Иду вручную по списку и в результате все заканчивается на 160-ой позиции.

Внимание, вопрос: при добавлении сайта в систему сколько страниц может быть принято системой с учетом того, какие из них проиндексированы Я.? То есть эти 4956 или 160? Другое число?

[achilies.biz]

Сообщение от Amargo

Другое число?

Достаточно просто запустить sape-робота и точный результат станет вам известен уже через несколько часов его работы...

[ffaust]

Пояснение админов:

Про индексацию - если проиндексировались не все страницы 2-го и 3-го уровня, это может быть по ряду причин:

1) Сайт плохо отвечал и по тайм-ауту наш робот получил не все страницы (самое страшное если, например, главная не полностью скачалась им и он нашел только пару внутренних ссылок с нее - в этом случае он будет искать установленный код только по той ветке, на которую ссылаются эти страницы)
2) Неверная структура - например, кто-то решил вывалить километровую карту сайта, чтобы за счет нее целиком вогнать сайт в систему и поставил ссылку на нее с главной. Но у нашего бота есть ограничение по кол-ву внутренних ссылок, по которым он переходит дальше. Для главной - 500, для 2-го уровня - 150.
3) Страницы закрыты в robots.txt
4) Страницы закрыты от индексации в метатегах
5) Код системы расположен в неиндексируемой зоне документа ( в блоках noindex, script или комментариях)
6) Просто неверно установлен код
7) Действительно у сайта какой-то мегаособенный движок и на нем наш бот почему-то затыкается.

Как показывает практика, наиболее частые ситуации №№1, 5 (многие случайно где-то забывают noindex закрыть и из-за этого не индексируется)
Ситуация №7 встречается крааайне редко

[den78ru]

Про индексацию - если проиндексировались не все страницы 2-го и 3-го уровня, это может быть по ряду причин:

1) Сайт плохо отвечал и по тайм-ауту наш робот получил не все страницы (самое страшное если, например, главная не полностью скачалась им и он нашел только пару внутренних ссылок с нее - в этом случае он будет искать установленный код только по той ветке, на которую ссылаются эти страницы)
2) Неверная структура - например, кто-то решил вывалить километровую карту сайта, чтобы за счет нее целиком вогнать сайт в систему и поставил ссылку на нее с главной. Но у нашего бота есть ограничение по кол-ву внутренних ссылок, по которым он переходит дальше. Для главной - 500, для 2-го уровня - 150.
3) Страницы закрыты в robots.txt
4) Страницы закрыты от индексации в метатегах
5) Код системы расположен в неиндексируемой зоне документа ( в блоках noindex, script или комментариях)
6) Просто неверно установлен код
7) Действительно у сайта какой-то мегаособенный движок и на нем наш бот почему-то затыкается.

Как показывает практика, наиболее частые ситуации №№1, 5 (многие случайно где-то забывают noindex закрыть и из-за этого не индексируется)
Ситуация №7 встречается крааайне редко

НА ВИДНОЕ МЕСТО ЭТО НАДО!

[Jooz]

Сообщение от ffaust

Пояснение админов:

Господа, большое вам спасибо за детальный ответ по моей проблеме.

1) Сайт плохо отвечал и по тайм-ауту наш робот получил не все страницы (самое страшное если, например, главная не полностью скачалась им и он нашел только пару внутренних ссылок с нее - в этом случае он будет искать установленный код только по той ветке, на которую ссылаются эти страницы)

Не исключено, сайт находится в данный момент не на самой лучшей тех . площадке. Хотя хостер пяткой в грудь стучит что лимитов минимум. Я все таки склоняюсь именно к вашему подозрению.

2) Неверная структура - например, кто-то решил вывалить километровую карту сайта, чтобы за счет нее целиком вогнать сайт в систему и поставил ссылку на нее с главной. Но у нашего бота есть ограничение по кол-ву внутренних ссылок, по которым он переходит дальше. Для главной - 500, для 2-го уровня - 150.

Хм.. где-то подобное я видел , думаю вы тут тоже правы весь срез основных категорий виден на всех страничках, но не с целью вогнать в систему, это как бы изначальная идеология сайтика, как выход вижу всю менюху 2-3 Уровня засунуть в NOINDEX Будет ли это законно?

7) Действительно у сайта какой-то мегаособенный движок и на нем наш бот почему-то затыкается.

Не то слово, 3 года пишу ни как не допишу, все что-то прокручиваю откручиваю... Теперь подправим под ваш замечательный сервис, как раз к тому времени наверно все ссылки разберут. Ну а там уж, буду слезно просить вашего бота в гости.

Спасибо еще раз, все понятно, будем работать.
PS - ваш ответ однозначно в фак!