15.01.2009, 13:09 | #11 |
Мафиози
Регистрация: 11.09.2008
Адрес: <H1></H1>
Сообщений: 1,174
Вес репутации: 248
|
UHAHAN, Немного не катит
Добавлено через 1 минуту ncx, Нужно для моей базы доменов получить значения ТИЦ, числовое, не картинкой. Парсинг таких сервисов я думаю наврядли подходит.
__________________
Последний раз редактировалось Русская мафия; 15.01.2009 в 13:09. Причина: Добавлено сообщение |
15.01.2009, 13:11 | #12 |
Эксперт
Регистрация: 22.05.2007
Адрес: .ru
Сообщений: 1,411
Вес репутации: 275
|
О_О ))) сто пудов для своей биржи ну я думаю в свободном доступе такую чекалку не найти, надо писать свою.
__________________
|
15.01.2009, 13:13 | #13 |
Мафиози
Регистрация: 11.09.2008
Адрес: <H1></H1>
Сообщений: 1,174
Вес репутации: 248
|
Да не, биржу делать это бесполезно, да и не возможно для меня
Понятно что нужно свою писать. Я вот и спрашиваю, через какие пути идти. Как мне кажется парсинг яндекса не вариант.
__________________
|
15.01.2009, 13:37 | #14 |
Новичок
Регистрация: 05.10.2008
Сообщений: 79
Вес репутации: 196
|
В обоих вариантах Яша за робота не посчитает - стандартные запросы Яндекс-бара.
1. запрос типа http://yandex.ru/cycounter?yandex.ru на выходе картинка. По весу в байтах определить ТИЦ. Можно что-то сложнее. Есть Вар. 2 http://bar-navig.yandex.ru/u?ver=2&u...hengines.ru%2F На ыходе xml: <urlinfo> <url domain="www.yandex.ru">/</url> <tcy rang="6" value="150000"/> − <topics> <topic title="Тема: Поисковые системы" url="http://yaca.yandex.ru/yca/cat/Computers/Internet/Search_Engines/"/> </topics> − <textinfo> Тема: Поисковые системы Регион: Россия Источник: Официальный </textinfo> </urlinfo> |
15.01.2009, 13:43 | #15 |
Злой модератор
Регистрация: 25.03.2007
Адрес: Deep forest
Сообщений: 5,343
Вес репутации: 508
|
|
15.01.2009, 14:50 | #16 |
Мафиози
Регистрация: 11.09.2008
Адрес: <H1></H1>
Сообщений: 1,174
Вес репутации: 248
|
Значит это не подходит... А знает кто нибуть как сапа проверяет? Ну или другие биржи.
__________________
|
15.01.2009, 14:59 | #17 |
Новичок
|
Вариантов всего-ничего.
1. http://yandex.ru/cycounter?yandex.ru и определение ТИЦ. Вероятность попасть в бан по ИП похоже небольшая (сегодня проведу тест), но из минусов - траф таки гоняется небольшой, + немного кода. Не всегда совпадает значение с ЯК и баром. 2. Дергать бар. В бан по ИП улетает. У меня где-то от 5 до 10 сек между запросами нормально бегает, но через часа три-четыре "Вы робот". Так что доп. ИП или проксики. 3. Получать значения из ЯК (даже для сайтов, которые там не прописаны). Все, как и в пункте 2. Вобщем, в любом случае доп. ИП (или проксики) понадобятся. И не забывать разные UserAgent отдавать. В минуту с 1 "потока" получается до 15 ТИЦев получть без угрозы бана. За час - 900. За сутки - 21600. Итого - для проверки 200к вполне хватит 15 разных ИП или проксей (но они обычно медленные). Или если проксей много - то просто каждый запрос делать к случайно выбранной из списка проксе. И не делать пауз между запросами. Тогда возможно (если проксики не тормозят) все будет значительно быстрее. И думается мне, что проверять кто-то хочет свободные\освобождающиеся домены, ы? |
15.01.2009, 15:02 | #18 |
Мафиози
Регистрация: 11.09.2008
Адрес: <H1></H1>
Сообщений: 1,174
Вес репутации: 248
|
Думаю с трафиком - ничего страшного, 400 метров гдето на всю проверку, вот если первый вариант не банится и производительно, то думаю подойдёт.
__________________
|
15.01.2009, 15:57 | #19 | |
Новичок
|
Цитата:
Проблема еще вот в чем - у гугла запросы можно дергать по разным датацентрам, и бан ловить только на конкретном ДЦ. А у яшки похоже фиг... |
|
15.01.2009, 16:16 | #20 |
Злой модератор
Регистрация: 25.03.2007
Адрес: Deep forest
Сообщений: 5,343
Вес репутации: 508
|
Вот архив с кнопками. Пригодится. http://narod.ru/disk/4991554000/cy.rar.html
|
Опции темы | |
|
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Получить список ВСЕХ ссылок sape для сайта(ов)? | Shasoft | Вопросы по работе системы | 2 | 12.12.2008 13:01 |
Как получить список проиндексированных страниц сайта в Яндекс? | anb2005 | Яндекс | 12 | 23.09.2008 00:02 |
Получить тИЦ 10? Легко!) | Ufaweb | Деловое сотрудничество | 44 | 13.07.2008 10:52 |
Как получить код ??? | *ProMeteY* | Установка кода на различные движки | 6 | 12.05.2008 21:48 |
Что можно получить? | san550 | Вопросы от новичков | 9 | 12.03.2008 01:57 |
Часовой пояс GMT +3, время: 07:39.