Google SiteMap
 

Вопрос такой.
Я вот вбиваю в галерею картинки не так часто, но иногда сразу по 50-100 штук.

Т.е. большинство изображений (кроме последних 12-ти) уходят сразу на 4тый уровень. А через какое то время и на 5тый.
Поисковик туда может не добраться вообще в жизни.

Вот этот SiteMap не для этого?

Т.е. я делаю список с урлами на все картинки (500-1000) штук. Добавляю. Он это дело проглатывает и все. Потом можно удалить оттуда.

Вторично это индексировать нет необходимости впринципе.

Ну, вобщем, да.

На мой взгляд, толку от sitemap практически никакого. Ибо бот то ли глючит, то ли тупит. Год назад sitemap установил, обновлял его как полагается. А в индексе гугла валялось страниц 500 из >1000. Те же самые и даже уже удалённые.

Месяц назад убил нахрен sitemap и число страниц подскочило до 700. :) Это моя статистика. ИМХО, гугл и так активно шарится по сайту - сам найдёт, если с robots.txt в порядке всё.

Очень часто встречаю данное рассуждение. С таким подходом вообще от SEO толку мало, "был бы контент, а посетители сами толпами повалят" :)

Согласен у меня гугль индексировал и 9 уровень, без проблем.

А с каким подходом толку много? Я описал свой случай. Не претендую, что это - часто встречающийся случай. Но в этом-то случае, что мне лучше было сделать - оставить sitemap или удалить его? Естественно - удалить. Что я и сделал.

Почти десятилетняя практика (личная) показывает, что в плане индексации сайта ПС лучше вообще ничего не предпринимать - главное, чтоб страницы доступны были. Сами придут и найдут. И посетители, кстати, повалят толпами (что сам ежедневно наблюдаю). А поддерживать сайтмапы, писать там всякие revisit-after - только лишний геморрой.

Не стану спорить с вашей десятилетней практикой, просто с моей точки зрения всё что хоть как-то может помочь индексации использовать стоит. А в скрипте, который генерирует карту и запускается автоматом по расписанию, вот уж точно никакого геморроя не вижу.

Согласен, но в моём случае (ох, повторяюсь ;)) сайтмап МЕШАЛ индексации.

Ну, как бы да. Но всё равно - лишние телодвижения, да и сайт под полторы тыщи страниц - лишняя нагрузка...

Если гугль проиндексировал около 30 000 страниц безо всякой карты, нужно ли ее сейчас добавлять ? Сайту 6 лет, а про карту я только сейчас узнал :-)

Плюньте на сайтмап и живите счастливо. :)

к сожалению сегодня сделал карту и подкомил гуглю через панель вэбмастера. Кстати, карта охватывает примерно 5-10 % всех страниц. Лучше удалить ее ? Мне хочется PR поднять с 4 повыше, вот и изголяюсь ..

Ну, я всё выше описал. Больше года кормил нормально сделанный сайтмап, и не было с него никакого толку. Убрал - всё наконец-то индексироваться стало по-человечески. Не претендую на истину в последней инстанции.

мне он помог:)

после него до 140.000 страниц возрасло, но потом через несколько месяцев раза в 2 упало

до него было не более 3.000

добавлю, есть у меня сайты с и без сайтмапа, так вот - там где его нету, в индексе значительно меньше страниц.

может дело в ПР, но есть у меня совсем свежие - с сайтмапом и без, так же есть совсем старые с и без. Там где он есть - в индексе больше страниц, даже если сравнивать "старый сайт" без мапа и "новый" с мапом

под старыми и новыми я имею в виду свежесть залитости системы и время присутствия в индексе. Условия в принципе равные, доменная зона одинаковая, полное отсутствие ссылкодоноров. дмоза нет.

я совсем новичок в этом деле... Сейчас посмотрел в панеле вэбмастера гугля, в мапе всего 2 000 ссылок, у меня древний движок на постнюке.
Боюсь, а не сотрет ли гугль уже проиндексированные ранее ссылки ? А их 30 000. Не получится ли "лучшее - враг хорошего" ?

это как это:)

в индекс попали удаленные разделы?

посмотрите проще что породило такое присутствие в гугле, и создайте сайтмап с учетом "любопытства" гугля

Приведу практический пример как пользы сайтмапы лично для меня, так и вопросов, которые возникли.

Как раз перед ноябрьским апдейтом мой скрипт, который банет айпи, с которых приходят некорректные запросы (типа попытки загрузить веб-шелл, Sql Inj, и тп), забанил и гугловый робот. За неделю выпали почти все страницы из индекса, осталось около 20, когда я заметил это и исправил. После исправления, в индекс каждый день добавлялись по 100-150 страниц. Через пару дней я добавил сайтмапу. В день стало индексироваться около 2-3 тыс страниц. За неделю уже было более 6000...

Но - для другого сайта я тоже сделал сайтмапу. Там гораздо больше страниц. В сайтмап получилось около 140000. Как по мне, то гугл больше от этого страниц не проиндексировал. Как было 6500 - так вокруг этого и пляшет. Вот этого мне не понятно пока.

Вот-вот-вот. Аналогичная ситуация и у меня была, пока сайтмап ваще не удалил.

а серверная статистика есть? у меня после апдейта сайтмапа обычно сервак падает от перегрузки:(

может у вас он проиндексировал странички - только в индекс не ввел по каким то причинам

поситит то он поситит, не факт что в индекс попадут странички

А вы укладываетесь в количество ссылок читаемых гуглом с карты у него есть ограничение не помню какое и рекомендация при превышении этого числа карту разбить на несколько частей.

Народ, карта сайта нужна только большим сайтам. Если на сайте менее 50000 страниц, ставить ее не вижу смысла - гугл все сам прекрасно найдет.

Если страниц много, тогда действительно,

Твоя неправда !
Если использовать статический html как карту то смысла мало для малостраничных сайтов
Если карту делать под гугл XML то через него можно передать частоту индексирования и приоритетность индексирования отдельных страниц что тоже хорошо при малостраничном наполнении
читайте в общем тут
https://www.google.com/webmasters/to.../protocol.html

А подскажите, кто чем делает карту больших сайтов.. Перепробовал несколько программ, скриптов - пока не радует. Локальную копию сайта на денвере мучаю 8 часов - пока отсканил только 10к страниц... Загрузка процессора 80-90% (p4 с гипертрейдингом).. Может, есть чего побыстрее? Хотелось бы именно на локальном компе сделать карту, чтоб хостер не выгнал...

Согласен, я бы даже приподнял планку до 100. Карта позволяет гуглу исключить страницы, для которых нельзя написать правила в robot поскольку стандарт кривой, а во вторых спланировать сканирование сайта между циклами индексации.

Очень условно можно сказать например так: для сайта без технических вывертов и таким количеством страниц, что гугл может их засканировать в период от апа до апа, карту можно не делать.

Для маленьких сайтов, что пишите приоритеты и даты изменения, что вы их не пишите. Лучше тратить время на более важные дела.

Та понятно все это, но во-первых из спортивного интереса хочется карту сделать, во-вторых в конце концов узнать сколько на сайте всего страниц... :)
Посоветуйте скрипт или программку для сканирования сайта на локальном компе.. Или они все так комп грузят?

Свой самопальный мега-продукт напильником обработаю и выложу.

Пасиба, ждем :)

Алексей Барыкин, вас понял :)

Карту сайта все-таки сделал. Понравилась вот эта программа. 30 дней бесплатная, потому ключ не искал. Есть русский язык. Сайт на локальном компе на денвере сканила около 10 часов при загузке процессора 80-90%, нашла без малого 14к страниц. Далее естественно поменял урлы на инетовские, подправил шапку. Гугль быстро съел без проблем, яша не торопится, типа тормоз :)
Надеюсь, понятно, почему карту делал на локальном компе - чтобы не напрягать сервак хостера, бо можно получить по шее :rolleyes:

Код шапки:
Понаблюдаем, карта сайта - это хорошо или плохо :)

Чегой та какая то хрень в шпапке...
Надо
http://www.google.com/support/webmas...y?answer=34657

А фик его знает где я эту шапку взял :D

Если гугл любит сайт то карта незачем ;)

У мну есть файлообменник, гугль с яшей его любят, но с картой любовь протекает ещё роментичнее.
:D

не понимаю зачем сканировать свой же сайт чтобы создать свою же карту сайта
и фсе

Дык если фсе урлы в базе, то так и делаю.
А если нет?

Совпадение или нет, но сегодня 4000 страниц из почти 14к попало в индекс яши. Карту добавил даже пару дней не прошло... Гугль тоже растет, но медленнее..

html рукописные сайты - ф топку
сайты на любой СМС можно выпотрошить и получить линки на все разделы.
И чем проще это сделать - тем лучше СМС

Не обязательно сайтмапить весь сайт. Хорошо бы просто вывалить туда удаленые точки входа робота.
Так например один из моих сайтмапов ведет на 7к страниц упоминание о которых есть в базе.
По каждому урлу также висят 5-20 ссылок на подчиненые документы, наличие и отсувсвие которых определяется наличием файлов..
Сканить файлы при составлении сайтмапа - рухнуть можно..
Заливаем 7к "верхних" точек входа в сайтмап и недели через две-три 30к страниц в базе

Докладываю. Прошло все-ничего времени с момента добавления карты. Из 14к страниц на сегодня Яша просканил 8к страниц, 5к в индексе.
Гоша сильно отстает.

ЗЫ. Сайт для эксперимента взят новый.

а саповский sitemap гуголь хорошо кушает?

Нормально, ибо он генерирует по всем стандартам совместимости