09.04.2012, 18:12 | #11 | |
Специалист
Регистрация: 25.04.2008
Сообщений: 135
Вес репутации: 202
|
Цитата:
Суть в том, что в яндекс вебмастере есть список проиндексированных страниц. Нужно именно их скормить сапаботу. А он хавает все подряд. А списка непроиндексированных у меня нет. Да если бы и был, представьте робот в котором тысяч 7-10 директив типа Disallow: /категория/подкатегория/id-название_статьи_транслитом.html Это нереально. |
|
09.04.2012, 18:14 | #13 | |
Добрый модератор
Регистрация: 09.07.2007
Адрес: глобус Украины
Сообщений: 27,600
Вес репутации: 1027
|
Цитата:
А что ж вы там Винкоплагином то проверяли? Почему?
__________________
Правильный хостинг. В личке бесплатно не отвечаю обычно. |
|
09.04.2012, 18:20 | #14 |
Куриллочный троль
|
потому что это ведь думать и что-то делать прийдеццо, а они хотяд ничего не делая, все и сразу =))
__________________
|
09.04.2012, 18:35 | #16 |
Специалист
Регистрация: 25.04.2008
Сообщений: 135
Вес репутации: 202
|
:-)))
Нет, вы все-таки суть и не поняли... Суть в том, что паук гребет все подряд страницы. Я предлагаю дать ему список только проиндексированных, чтобы он только их взял и не парсил все остальные. Как я в карте сайта укажу проиндексированные страницы без непроидексированных? Сайтмап у меня из админки создается нажатием кнопки. Вручную его чтоли делать? А толку? Паук пойдет один черт по всем страницам независимо от сайтмапа. Доказать очень просто, представьте, на сайте 100 страниц, в сайтмапе я укажу одну-единственную. Сколько паук саповский отпарсит страниц, одну или 100? То что сапобот напарсил в индексе/не в индексе. Объем представьте. Подавится и сапабот и поисковик :-))) Да и не дело это в роботе всяко ненужно писать. По закону подлости в этот самый момент поисковые пауки навалятся. Плюс гемору сколько с его изготовлением итд. Это просто очень неудобно. PS Вот это я не правильно написал: "Да если бы и был, представьте робот в котором тысяч 7-10 директив типа Disallow: /категория/подкатегория/id-название_статьи_транслитом.html" Чтобы так прописать в роботе, сначала придется отпарсить весь сайт чем-то типа сайтмап генератора, затем удалить всё лишнее, оставив только чистые урлы, затем спарсить все проиндексированные урлы из ЯВ, затем сравнить оба файла и из первого удалить все проиндексированные, чтобы остались только урлы которые не в индексе, а вот их уже в виде Disallow: /категория/подкатегория/id-название_статьи_транслитом.html писать в робот. Вы представляете весь этот процесс? Добавлено через 2 минуты Ну я выше процесс описал, вы считаете что это оптимальный вариант? :-))) Последний раз редактировалось Langly; 09.04.2012 в 18:35. Причина: Добавлено сообщение |
09.04.2012, 18:38 | #17 |
Куриллочный троль
|
__________________
|
09.04.2012, 18:49 | #20 | ||
Специалист
Регистрация: 25.04.2008
Сообщений: 135
Вес репутации: 202
|
Прочтите что я по этому поводу написал выше.
Добавлено через 5 минут Цитата:
Можно вручную сделать сайтмап, но смысла нет, паук пойдет дальше, сайтмап не ограничивает его передвижений по сайту. Цитата:
Добавлено через 1 минуту При этом, как я выше сказал, сайтмап не ограничивает робота в индексации. Робот возьмет все что найдет - есть оно в сайтмапе или нет. Ограничить может robots.txt Но и про него я написал. Последний раз редактировалось Langly; 09.04.2012 в 18:49. Причина: Добавлено сообщение |
||
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Переиндексация нового сайта (при изменении адресов страниц) | baya | Общие вопросы оптимизации | 4 | 06.10.2011 14:18 |
Индексация нового сайта | jeka66 | Вопросы по работе системы | 0 | 25.08.2011 12:14 |
Индексация нового сайта | latseo | Вопросы от новичков | 5 | 10.04.2011 01:43 |
индексация нового сайта.найдена 1 стр! | romareo | Ошибки при работе с системой | 0 | 29.10.2009 17:25 |
Индексация нового сайта. | Tony Soprano | Яндекс | 5 | 18.09.2009 03:49 |
Часовой пояс GMT +3, время: 18:14.