xml

Русская мафия · 02.09.2009, 22:58

есть у кого нибудь код чтоб получить кол-во страниц проиндексированных сайта яшей через xml? Парсинг банит вечно...

Тырнетовец · 02.09.2009, 23:52

Я написал себе парсер запросов с нужной задержкой - за 15 часов парсит без капчи 2300 запросов. И кол-во страниц проиндексированных Яшей, тоже думаю можно решить паузой.

Русская мафия · 03.09.2009, 00:15

Тырнетовец, какова пауза у Вас? У меня 15 секунд. Больше 4 запросов не проходит, банит

Grush · 03.09.2009, 00:20

Цитата:

Сообщение от Русская мафия

есть у кого нибудь код чтоб получить кол-во страниц проиндексированных сайта яшей через xml?

yandexoid не подойдет?

Добавлено через 53 секунды
http://forum.sape.ru/showthread.php?t=4377

Тырнетовец · 03.09.2009, 04:18

Цитата:

Сообщение от Русская мафия

Тырнетовец, какова пауза у Вас? У меня 15 секунд. Больше 4 запросов не проходит, банит

у меня такая хитрая пауза sleep(rand(20,35));
15 тоже пробовал, да капча на 15 выскакивает, и пробовал sleep(30) тоже выскакивает!

Русская мафия · 03.09.2009, 06:54

Тырнетовец, сенкс, попробую
Grush, нужно чтоб своё было

sVs · 03.09.2009, 09:06

Русская мафия, примерно так:

PHP код:


			
$request = '<?xml version="1.0" encoding="utf-8"?>'."\n".'<request><query><![CDATA['.'host="'.$domain.'"'.']]></query></request>';

$c = @curl_init('http://xmlsearch.yandex.ru/xmlsearch');

curl_setopt($c, CURLOPT_MUTE,1);

curl_setopt($c, CURLOPT_POST, 1);

curl_setopt($c, CURLOPT_CONNECTTIMEOUT, 10);

curl_setopt($c, CURLOPT_TIMEOUT, 10);

curl_setopt($c, CURLOPT_HTTPHEADER, Array('Content-Type: application/xml', 'Accept: application/xml'));

curl_setopt($c, CURLOPT_RETURNTRANSFER, true);

curl_setopt($c, CURLOPT_POSTFIELDS, $request);

$result = @curl_exec($c);

$DOM = new DOMDocument();

if (!$DOM->loadXML($result)) echo 'error';

$xpath = new DOMXpath($DOM);

if ($xpath->query("/yandexsearch/response/error[@code='15']")->length > 0) echo 0;    // pages not found

$tmp = $xpath->query("/yandexsearch/response/found[@priority='all']");

if ($tmp->length >0) echo $tmp->item(0)->nodeValue;

а дальше - можно допилить по необходимости

Alexandr Makedonsky · 03.09.2009, 11:53

Цитата:

Сообщение от sVs

а дальше - можно допилить по необходимости

Эмм, а не могли бы Вы хоть немного обьяснить что, куда и как?

Где домен указать и как запустить? А то с php не очень дружу.

Добавлено через 12 минут
Все, разобрался. 8)

Добавлено через 1 час 2 минуты
Русская мафия, "допилил" скрипт предложенный sVs. Файл пхп заливается на сайтег, рядом ложим links.txt(думаю ясно что там) и запускаем. Если надо - скину

Русская мафия · 03.09.2009, 18:49

sVs, спасибо, попробуемс

Alexandr Makedonsky, скиньте плиз, а то нет времени возиться

omnislash · 03.09.2009, 19:04

Цитата:

Сообщение от Alexandr Makedonsky

Если надо - скину

и мне плиз скинте...

02.09.2009, 22:58	#1
Русская мафия Мафиози Регистрация: 11.09.2008 Адрес: <H1></H1> Сообщений: 1,174 Вес репутации: 243	xml есть у кого нибудь код чтоб получить кол-во страниц проиндексированных сайта яшей через xml? Парсинг банит вечно... __________________ Как дела? Последний раз редактировалось Русская мафия; 02.09.2009 в 23:07.

02.09.2009, 23:52	#2
Тырнетовец Специалист Регистрация: 28.08.2008 Сообщений: 285 Вес репутации: 208	Я написал себе парсер запросов с нужной задержкой - за 15 часов парсит без капчи 2300 запросов. И кол-во страниц проиндексированных Яшей, тоже думаю можно решить паузой. Последний раз редактировалось Тырнетовец; 02.09.2009 в 23:57.

03.09.2009, 00:15	#3
Русская мафия Мафиози Регистрация: 11.09.2008 Адрес: <H1></H1> Сообщений: 1,174 Вес репутации: 243	Тырнетовец, какова пауза у Вас? У меня 15 секунд. Больше 4 запросов не проходит, банит __________________ Как дела?

03.09.2009, 06:54	#6
Русская мафия Мафиози Регистрация: 11.09.2008 Адрес: <H1></H1> Сообщений: 1,174 Вес репутации: 243	Тырнетовец, сенкс, попробую Grush, нужно чтоб своё было __________________ Как дела?

03.09.2009, 09:06	#7
sVs Специалист Регистрация: 16.03.2008 Сообщений: 256 Вес репутации: 203	Русская мафия, примерно так: PHP код: $request = '<?xml version="1.0" encoding="utf-8"?>'."\n".'<request><query><![CDATA['.'host="'.$domain.'"'.']]></query></request>'; $c = @curl_init('http://xmlsearch.yandex.ru/xmlsearch'); curl_setopt($c, CURLOPT_MUTE,1); curl_setopt($c, CURLOPT_POST, 1); curl_setopt($c, CURLOPT_CONNECTTIMEOUT, 10); curl_setopt($c, CURLOPT_TIMEOUT, 10); curl_setopt($c, CURLOPT_HTTPHEADER, Array('Content-Type: application/xml', 'Accept: application/xml')); curl_setopt($c, CURLOPT_RETURNTRANSFER, true); curl_setopt($c, CURLOPT_POSTFIELDS, $request); $result = @curl_exec($c); $DOM = new DOMDocument(); if (!$DOM->loadXML($result)) echo 'error'; $xpath = new DOMXpath($DOM); if ($xpath->query("/yandexsearch/response/error[@code='15']")->length > 0) echo 0; // pages not found $tmp = $xpath->query("/yandexsearch/response/found[@priority='all']"); if ($tmp->length >0) echo $tmp->item(0)->nodeValue; а дальше - можно допилить по необходимости

03.09.2009, 18:49	#9
Русская мафия Мафиози Регистрация: 11.09.2008 Адрес: <H1></H1> Сообщений: 1,174 Вес репутации: 243	sVs, спасибо, попробуемс Alexandr Makedonsky, скиньте плиз, а то нет времени возиться __________________ Как дела?