[HELP] Вылетел сайт из Яндекса

Xnokie · 06.09.2012, 15:49

Здравствуйте ув.форумчане
Не так давно заметил как мой новый сайт (сайту полтора месяца) вылетел из яндекса, индексировался ранее вполне нормально
Вот что пишется в вебмастере:

Цитата:

Информация: страницы намеренно запрещены к индексированию или не должны индексироваться.

Неверный формат документа

При анализе документа обнаружено несоответствие документа формату, заявленному заголовке Content-Type. Измените заголовок Content-Type либо формат документа.

Страницы:
/engine/opensearch.php

Вот же то, что в самой этой странице:

Цитата:

<OpenSearchDescription>
<ShortName>DataLife Engine Demo</ShortName>
<Description>DataLife Engine Search</Description>
<Contact>admin@website.ru</Contact>
<Url type="text/html" template="http://МОЙ САЙТ/index.php?story={searchTerms}&do=search&subaction= search"/>
<LongName>DataLife Engine Search</LongName>
<Image height="64" width="64" type="image/png">http://МОЙ САЙТ/logo.png</Image>
<Image height="16" width="16" type="image/vnd.microsoft.icon">http://МОЙ САЙТ/favicon.ico</Image>
<Developer>SoftNews Media Group (http://dle-news.ru)</Developer>
<Attribution>
Copyright 2002-2007 SoftNews Media Group All Rights Reserved.
</Attribution>
<SyndicationRight>open</SyndicationRight>
<AdultContent>false</AdultContent>
<Language>ru-ru</Language>
<OutputEncoding>windows-1251</OutputEncoding>
<InputEncoding>windows-1251</InputEncoding>
</OpenSearchDescription>

В принципе всё тоже что и у всех, тех у кого сайт на DLE
На сайте нету logo.png и не было когда я добавлял его в поисковик
Был favicon, потом я его убрал, но не думаю что это стало причиной...
По поводу Content-Type, вот что в head'e :

Цитата:

Robots стандартный, как и на большинстве сайтов DLE

Цитата:

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Allow: /
Host: МОЙ САЙТ
Sitemap: http://МОЙ САЙТ/sitemap.xml

Вот ответ сервера

Цитата:

Код статуса HTTP: "200 OK"
Время ответа сервера: 318мс
Заголовки:

Transfer-Encoding: chunked
Date: Wed, 05 Sep 2012 21:43:04 GMT
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Connection: keep-alive
Content-Type: text/html
X-Powered-By: PHP/5.2.17
Server: nginx
Pragma: no-cache
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0

Кодировка: windows-1251
Размер страницы: 20.73Кб

Не пойму в чем проблема, может кто то сталкивался с подобным? Или есть у кого то какие то мысли по этому поводу, прошу помощи

kerpi · 06.09.2012, 16:05

Вставте в main в вверху

" <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ru" lang="ru">
<head>
<meta http-equiv="Content-Type" content="text/html; charset="windows-1251" /> "

и уберите из robots.txt
Allow: /

Xnokie · 06.09.2012, 17:23

Цитата:

Сообщение от kerpi

Вставте в main в вверху

" <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ru" lang="ru">
<head>
<meta http-equiv="Content-Type" content="text/html; charset="windows-1251" /> "

и уберите из robots.txt
Allow: /

Цитата:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ru" lang="ru">

Стоит

Цитата:

и уберите из robots.txt
Allow: /

А как это влияет?

karamba · 07.09.2012, 15:31

Allow - нестандартная директива.
Она как бы есть, но не обязана...
Спайдер и так будет брать все то, что не запрещено

kerpi · 07.09.2012, 16:06

Цитата:

Сообщение от Xnokie

А как это влияет?

Ей Вы можете запутать поисковик, слачала Вы запрещаете индексировать часть страниц, а потом разрешаете индексировать все, но может протупить и решить что вообще не нужно индексировать, пока порядок не наведут.

Xnokie · 07.09.2012, 18:55

Цитата:

Сообщение от kerpi

Ей Вы можете запутать поисковик, слачала Вы запрещаете индексировать часть страниц, а потом разрешаете индексировать все, но может протупить и решить что вообще не нужно индексировать, пока порядок не наведут.

Понятно, спасибо, убрал.

seocore · 07.09.2012, 19:09

Цитата:

Сообщение от Xnokie

Не пойму в чем проблема, может кто то сталкивался с подобным? Или есть у кого то какие то мысли по этому поводу, прошу помощи

все, что перечислили выше - это не проблема, проблему ищите в контенте и в ссылках

Xnokie · 07.09.2012, 23:37

Цитата:

Сообщение от seocore

все, что перечислили выше - это не проблема, проблему ищите в контенте и в ссылках

Да всё вроде как в норме, единственное что, я устанавливал форму похожих новостей с картинкой (клик по увеличению) в 2е колонки, на 6шт, название новости - и краткое описание на 200 символов, т.е. под каждой новостью, 6ть ссылок под которыми небольшой текст, это могло стать причиной?

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
Сайт вылетел из поиска Яндекса	djjoid	Яндекс	14	15.07.2012 16:09
Сайт вылетел из Яндекса - его своровали!	tulaklub	Яндекс	118	23.01.2011 03:25
Сайт вылетел из Яндекса?	russianhockey	Вопросы от новичков	4	11.06.2009 14:41
не успел добавить сайт ка он вылетел из яндекса и опять добавил и опять вылетел	111	Вопросы по работе системы	9	07.04.2008 01:24
сайт вылетел с яндекса	ivashka	Яндекс	27	18.01.2008 13:08

06.09.2012, 16:05	#2
kerpi Специалист Регистрация: 14.03.2012 Адрес: Одесса Сообщений: 442 Вес репутации: 171	Вставте в main в вверху " <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="ru" lang="ru"> <head> <meta http-equiv="Content-Type" content="text/html; charset="windows-1251" /> " и уберите из robots.txt Allow: /

07.09.2012, 15:31	#4
karamba Специалист Регистрация: 14.12.2009 Сообщений: 352 Вес репутации: 194	Allow - нестандартная директива. Она как бы есть, но не обязана... Спайдер и так будет брать все то, что не запрещено