Добавление сайта страниц < 3000

[coder]

Добрый день. При добавлении сайта, на сколько я понял, каждую страницу нужно проверять руками на предмет нахождения в Яндексе. Ожидаю индексаии сайта с 3000 страниц уникального контента. Мне что, придется каждую страницу проверять? Учитывая, что яндекс после проверки 50 страниц начинает выдавать, что я робот, это займен месяц. Есть более простые решения?

Е ещё подобный вопрос. На сайте добавляются новые страницы, код sape на них размещается автоматически. Робот sape автоматически добавляет новые страницы и начнет их продавать как только яндекс их проиндексирует, или мне самому нужно их добавлять?

Спасибо за внимания. Буду благодарен любым насмешкам

[Smok]

Сообщение от coder

Добрый день. При добавлении сайта, на сколько я понял, каждую страницу нужно проверять руками на предмет нахождения в Яндексе. Ожидаю индексаии сайта с 3000 страниц уникального контента. Мне что, придется каждую страницу проверять? Учитывая, что яндекс после проверки 50 страниц начинает выдавать, что я робот, это займен месяц. Есть более простые решения?

Е ещё подобный вопрос. На сайте добавляются новые страницы, код sape на них размещается автоматически. Робот sape автоматически добавляет новые страницы и начнет их продавать как только яндекс их проиндексирует, или мне самому нужно их добавлять?

Спасибо за внимания. Буду благодарен любым насмешкам

1. Есть программы, на форуме много о них написано, если вручную не хотите.
2. Переиндексация сайта - читайте фак.

[coder]

Сообщение от Smok

1. Есть программы, на форуме много о них написано, если вручную не хотите.
2. Переиндексация сайта - читайте фак.

Я думал написать модуль вывода кода sape только в том случае, если страница в индексе, но опять же стоит проблема, что яндекс заблокирует ip сайта и не даст отправлять запросы на предмет индексируемости.

Да, есть ещё Яндекс xml, но он позволяет делать бесплатно всего 100 запросов в день + сами запросы это нагрузка на сайт и увелечение времени загрузки страницы. Да, данные можно кешировать, но тут свои подводные камни.

Про программу спасибо, почитаю. Надеюсь она умеет лазит по проксям, иначе яндекс и её за робота примет. Спасибо.

[Crudelis]

Сообщение от coder

Е ещё подобный вопрос. На сайте добавляются новые страницы, код sape на них размещается автоматически. Робот sape автоматически добавляет новые страницы и начнет их продавать как только яндекс их проиндексирует, или мне самому нужно их добавлять?

Переиндексацию заказывать надо самому. Робот САПЫ не будет сам добавлять новые страницы.

[Squish]

Учитывая выдачу HTML кода (особенно title) у яши при проверке страниц, пишется консольный скрипт минут за 15. В свое время проверял около 3000 страниц без каких-либо проблем и бана.

[coder]

Сообщение от Squish

Учитывая выдачу HTML кода (особенно title) у яши при проверке страниц, пишется консольный скрипт минут за 15. В свое время проверял около 3000 страниц без каких-либо проблем и бана.

Времена изменились. Теперь при 100 запросах (точно) яша блокирует айпи на некоторое время.

[Паша-фейсконтроль™]

Сообщение от coder

Теперь при 100 запросах

http://yandex.ru/yandsearch?surl=sape.ru

[Squish]

Сообщение от coder

Времена изменились. Теперь при 100 запросах (точно) яша блокирует айпи на некоторое время

Проверял пару тысяч страниц на прошлой неделе, никакого бана не наблюдал.

[RXL]

Сообщение от Паша-фейсконтроль™

http://yandex.ru/yandsearch?surl=sape.ru

Так можно увидеть только 1000 ссылок (20 страниц по 50 ссылок).

[Ufaweb]

Сообщение от RXL

Так можно увидеть только 1000 ссылок (20 страниц по 50 ссылок).

А кто мешает составлять уточняющие запросы?)
http://yandex.ru/yandsearch?surl=sape.ru/news/