Индексация нового сайта или переиндексация имеющегося, путем импорта из ЯВ

[Langly]

Сообщение от zhegloff

Директивой disallow. Список непроиндексированных страниц же есть у вас...

Наоборот.
Суть в том, что в яндекс вебмастере есть список проиндексированных страниц. Нужно именно их скормить сапаботу. А он хавает все подряд.
А списка непроиндексированных у меня нет. Да если бы и был, представьте робот в котором тысяч 7-10 директив типа
Disallow: /категория/подкатегория/id-название_статьи_транслитом.html
Это нереально.

[cherep777]

а идею со спец.файлом для сапе поддерживаю

[zhegloff]

Сообщение от Langly

Суть в том, что в яндекс вебмастере есть список проиндексированных страниц. Нужно именно их скормить сапаботу. А он хавает все подряд.

Составьте правильную карту сайта

Сообщение от Langly

А списка непроиндексированных у меня нет.

А что ж вы там Винкоплагином то проверяли?

Сообщение от Langly

Да если бы и был, представьте робот в котором тысяч 7-10 директив типа
Disallow: /категория/подкатегория/id-название_статьи_транслитом.html
Это нереально.

Почему?

[Клон]

Сообщение от zhegloff

Почему?

потому что это ведь думать и что-то делать прийдеццо, а они хотяд ничего не делая, все и сразу =))

[cherep777]

Сообщение от Клон

потому что это ведь думать и что-то делать прийдеццо

чё думать? как сделать роботс размером 5000 строк?

[Langly]

Сообщение от zhegloff

Составьте правильную карту сайта

:-)))
Нет, вы все-таки суть и не поняли...
Суть в том, что паук гребет все подряд страницы. Я предлагаю дать ему список только проиндексированных, чтобы он только их взял и не парсил все остальные.
Как я в карте сайта укажу проиндексированные страницы без непроидексированных? Сайтмап у меня из админки создается нажатием кнопки. Вручную его чтоли делать? А толку? Паук пойдет один черт по всем страницам независимо от сайтмапа. Доказать очень просто, представьте, на сайте 100 страниц, в сайтмапе я укажу одну-единственную. Сколько паук саповский отпарсит страниц, одну или 100?

Сообщение от zhegloff

А что ж вы там Винкоплагином то проверяли?

То что сапобот напарсил в индексе/не в индексе.

Сообщение от zhegloff

Почему?

Объем представьте. Подавится и сапабот и поисковик :-)))
Да и не дело это в роботе всяко ненужно писать. По закону подлости в этот самый момент поисковые пауки навалятся. Плюс гемору сколько с его изготовлением итд. Это просто очень неудобно.
PS Вот это я не правильно написал:
"Да если бы и был, представьте робот в котором тысяч 7-10 директив типа
Disallow: /категория/подкатегория/id-название_статьи_транслитом.html"
Чтобы так прописать в роботе, сначала придется отпарсить весь сайт чем-то типа сайтмап генератора, затем удалить всё лишнее, оставив только чистые урлы, затем спарсить все проиндексированные урлы из ЯВ, затем сравнить оба файла и из первого удалить все проиндексированные, чтобы остались только урлы которые не в индексе, а вот их уже в виде Disallow: /категория/подкатегория/id-название_статьи_транслитом.html писать в робот.
Вы представляете весь этот процесс?

Добавлено через 2 минуты

Сообщение от Клон

потому что это ведь думать и что-то делать прийдеццо, а они хотяд ничего не делая, все и сразу =))

Ну я выше процесс описал, вы считаете что это оптимальный вариант? :-)))

[Клон]

Сообщение от Langly

Нет, вы все-таки суть и не поняли...

это вы не поняли суть =))

[Langly]

Сообщение от Клон

это вы не поняли суть =))

Так и в чем же-ж, она родимая, заключается :-))

[Клон]

ну Мурзик написал же =)

Сообщение от zhegloff

Составьте правильную карту сайта

[Langly]

Прочтите что я по этому поводу написал выше.

Добавлено через 5 минут

Сообщение от Langly

Паук пойдет один черт по всем страницам независимо от сайтмапа. Доказать очень просто, представьте, на сайте 100 страниц, в сайтмапе я укажу одну-единственную. Сколько паук саповский отпарсит страниц, одну или 100?

Карта сайта не отображает непроиндексированные/проиндексированные страницы.
Можно вручную сделать сайтмап, но смысла нет, паук пойдет дальше, сайтмап не ограничивает его передвижений по сайту.

Сообщение от Langly

...сначала придется отпарсить весь сайт чем-то типа сайтмап генератора, затем удалить всё лишнее, оставив только чистые урлы, затем спарсить все проиндексированные урлы из ЯВ, затем сравнить оба файла и из первого удалить все проиндексированные, чтобы остались только урлы которые не в индексе, а вот их уже в виде Disallow: /категория/подкатегория/id-название_статьи_транслитом.html писать в робот.
Вы представляете весь этот процесс?

Или из этого сделать сайтмап. То есть что робот, что сайтмап чтобы составить нужно вот это все сделать.

Добавлено через 1 минуту
При этом, как я выше сказал, сайтмап не ограничивает робота в индексации. Робот возьмет все что найдет - есть оно в сайтмапе или нет.
Ограничить может robots.txt Но и про него я написал.