3-вопроса, кто поможет?

[justworker]

Всем привет.
Вопрос намбер ван: сколько примерно проходит времени от момента добавления в я.дурилку до момента, когда на сайт забредет индексирующий бот?

Вопрос второй: использую вместо роботс.тхт мета-тэг с параметром "index,all", как считаете нормально? возможны ли проблемы с индексацией в будущем из-за этого (взял эту бяку с robotstxt.org.ru)

Вопрос третий: проверив хостинг после очередного дурения увидел следующие строчки

/
Http Code: 200 Date: Apr 14 09:06:12 Http Version: HTTP/1.1 Size in Bytes: 0
Agent: Yandex/1.03.003 (compatible; Win16; D)

/robots.txt
Http Code: 200 Date: Apr 14 09:06:13 Http Version: HTTP/1.1 Size in Bytes: 1366
Agent: Yandex/1.03.003 (compatible; Win16; D)

по логике выходит, что бот D собрал только урл, и почему в первом случае собрано 0 байт, а при обращении к роботс.тхт 1366?

[Nazar]

Сообщение от justworker

сколько примерно проходит времени от момента добавления в я.дурилку до момента, когда на сайт забредет

от однго дня до бесконечности

[alex063]

У меня в период этих частых апов за двое суток после добавления уже главная была, через ещё пару внутряк начал влазить в индекс.

[justworker]

я в субботу добавлял, чет пока глухо и странно это все

[Sandsstorm]

Сообщение от justworker

Вопрос второй: использую вместо роботс.тхт мета-тэг с параметром "index,all", как считаете нормально? возможны ли проблемы с индексацией в будущем из-за этого (взял эту бяку с robotstxt.org.ru)

Если закрывать ничего не надо, то и robots и такие теги вообще не нужны !!!

[Kaif]

Сообщение от justworker

Вопрос третий: проверив хостинг после очередного дурения увидел следующие строчки

/
Http Code: 200 Date: Apr 14 09:06:12 Http Version: HTTP/1.1 Size in Bytes: 0
Agent: Yandex/1.03.003 (compatible; Win16; D)

сами ответили себе на первый вопрос. Это робот зашел, сайт посмотреть. Далее ждите после АПА (полноценного) индексации.

Добавлено через 1 минуту

Сообщение от justworker

Вопрос второй: использую вместо роботс.тхт мета-тэг с параметром "index,all", как считаете нормально? возможны ли проблемы с индексацией в будущем из-за этого (взял эту бяку с robotstxt.org.ru)

А зачем это используете? Для какой цели?
ЧТоб проиндексировалось? Если да - то оставьте не помешает. у меня вообще на сайтах нет ни этого тэга ни роботса.тхт )

[Prospero]

Сообщение от justworker

сколько примерно проходит времени от момента добавления в я.дурилку до момента, когда на сайт забредет индексирующий бот

Тут все очень зависит от домена. Из личного опыта - русскоязычные домены (в тч и укр и белорусские) влетают в индекс раз в 10 быстрей чем международные. Например два месяца пытался заставить проиндексировать домен .com - уник контент все на русском реальный СДЛ - писал два раза Платону, почти ежедневно добавлял в аддурилку, но пока не стали появляться бэки на сайт робот не заходил вообще

Добавлено через 58 секунд
Зато потом за 2 Апа выдачи 6400 страниц в индексе)

[justworker]

Сообщение от Kaif

Далее ждите после АПА (полноценного) индексации.

Хм, спс, после апа индексация, эт полезная информация дял меня)

Prospero, про иноязычные домены в курсе, использую пока только рушки.

Всем ответившим спасибо за советы)

ps. фигасе, проверил только что несколько доменов, там статистика кажет, что бот D забирал разное количество байт данных из роботс.тхт, при том, что такого зверя в корне даже и не водится. удивлен

[Kaif]

Сообщение от justworker

Хм, спс, после апа индексация,

Ну надеюсь мы меня правильно поняли,
по вашему случаю - робот зашел в базу ваш сайт принял (по вашим логам видно), подойдет ближайший АП - морда вашего сайта и возможно еще пару страниц влетят в индекс, через ап другой Ваш сайт войдет полностью. Если форс-мажор не случится

[justworker]

Kaif, эм, проблема в том, что индексирующий бот еще ни разу не приходил, что немного странно, учитывая частые апы