Получить ТИЦ сайта

[Русская мафия]

UHAHAN, Немного не катит

Добавлено через 1 минуту
ncx, Нужно для моей базы доменов получить значения ТИЦ, числовое, не картинкой. Парсинг таких сервисов я думаю наврядли подходит.

[sunb0y]

Сообщение от Русская мафия

200 000 доменов

О_О ))) сто пудов для своей биржи ну я думаю в свободном доступе такую чекалку не найти, надо писать свою.

[Русская мафия]

Сообщение от sunb0y

О_О ))) сто пудов для своей биржи

Да не, биржу делать это бесполезно, да и не возможно для меня

Сообщение от sunb0y

ну я думаю в свободном доступе такую чекалку не найти, надо писать свою.

Понятно что нужно свою писать. Я вот и спрашиваю, через какие пути идти. Как мне кажется парсинг яндекса не вариант.

[sadad]

В обоих вариантах Яша за робота не посчитает - стандартные запросы Яндекс-бара.

1. запрос типа http://yandex.ru/cycounter?yandex.ru
на выходе картинка. По весу в байтах определить ТИЦ. Можно что-то сложнее.

Есть Вар. 2
http://bar-navig.yandex.ru/u?ver=2&u...hengines.ru%2F

На ыходе xml:
<urlinfo>
<url domain="www.yandex.ru">/</url>
<tcy rang="6" value="150000"/>
−
<topics>
<topic title="Тема: Поисковые системы" url="http://yaca.yandex.ru/yca/cat/Computers/Internet/Search_Engines/"/>
</topics>
−
<textinfo>


Тема: Поисковые системы
Регион: Россия
Источник: Официальный
</textinfo>
</urlinfo>

[Wink]

Сообщение от sadad

на выходе картинка. По весу в байтах определить ТИЦ.

Хороший вариант, только есть картинки с одинаковым размером в байтах. Надо md5 брать.

Сообщение от sadad

На ыходе xml:
<urlinfo>

Для субдоменов возвращает ТИЦ основного домена. Не подойдет.

[Русская мафия]

Сообщение от Wink

Для субдоменов возвращает ТИЦ основного домена. Не подойдет.

Значит это не подходит... А знает кто нибуть как сапа проверяет? Ну или другие биржи.

[bester]

Вариантов всего-ничего.
1. http://yandex.ru/cycounter?yandex.ru и определение ТИЦ. Вероятность попасть в бан по ИП похоже небольшая (сегодня проведу тест), но из минусов - траф таки гоняется небольшой, + немного кода. Не всегда совпадает значение с ЯК и баром.
2. Дергать бар. В бан по ИП улетает. У меня где-то от 5 до 10 сек между запросами нормально бегает, но через часа три-четыре "Вы робот". Так что доп. ИП или проксики.
3. Получать значения из ЯК (даже для сайтов, которые там не прописаны). Все, как и в пункте 2.

Вобщем, в любом случае доп. ИП (или проксики) понадобятся. И не забывать разные UserAgent отдавать.
В минуту с 1 "потока" получается до 15 ТИЦев получть без угрозы бана. За час - 900. За сутки - 21600. Итого - для проверки 200к вполне хватит 15 разных ИП или проксей (но они обычно медленные). Или если проксей много - то просто каждый запрос делать к случайно выбранной из списка проксе. И не делать пауз между запросами. Тогда возможно (если проксики не тормозят) все будет значительно быстрее.


И думается мне, что проверять кто-то хочет свободные\освобождающиеся домены, ы?

[Русская мафия]

Думаю с трафиком - ничего страшного, 400 метров гдето на всю проверку, вот если первый вариант не банится и производительно, то думаю подойдёт.

[bester]

Сообщение от Русская мафия

Думаю с трафиком - ничего страшного, 400 метров гдето на всю проверку, вот если первый вариант не банится и производительно, то думаю подойдёт.

Если не банится - то точно подойдет.
Проблема еще вот в чем - у гугла запросы можно дергать по разным датацентрам, и бан ловить только на конкретном ДЦ. А у яшки похоже фиг...

[Wink]

Вот архив с кнопками. Пригодится. http://narod.ru/disk/4991554000/cy.rar.html