База товаров Яндекс Маркета.

[Raphael]

Приходится решать разные задачи, в том числе и как спарсить каталог товаров маркета. Логично, что как обычно – пишем программу, берем хорошие прокси и парсим. Но прежде чем это делать самостоятельно, нужно четко ответить себе на вопрос – зачем? А также посмотреть, может уже есть решение, которое можно просто взять. Т.е. зачем тратить время на то, что не является Вашей основной целью, верно?

Поискав через Яшу, наткнулся на разные объявления о продаже готовых баз (вернее объявление было одно, но растиражированное донельзя). Также увидел темы на форумах о продаже скрипта для того, чтобы спарсить каталоги товаров. Но когда плотнее начал читать, то опять стало ясно – хочешь что-то рабочее и чтобы работало как надо, делай сам. Что собственно и было сделано

Итого, предлагаю готовое решение – текстовые файлы с характеристиками и фото товаров из Я-маркета.

Каждая категория отдельно. Так и дешевле для вас и проще выбрать именно то, что нужно. На данный момент на продажу есть такие категории:

Авто – Шины. Товаров: 518; Пунктов описаний: 5699; Картинок: 694.
Авто – Колесные диски. Товаров: 2515; Пунктов описаний: 19678; Картинок: 2518.

Сантехника - Ванны. Товаров: 8574; Пунктов описаний: 113219; Картинок: 11562.
Сантехника - Смесители. Товаров: 10222; Пунктов описаний: 121107; Картинок: 10241.
Сантехника - Душевые кабины. Товаров: 6020; Пунктов описаний: 99565; Картинок: 6077.

Компьютеры - Принтеры и МФУ. Товаров: 4103; Пунктов описаний: 134088; Картинок: 4821.
Компьютеры - Сканеры. Товаров: 851 ; Пунктов описаний: 12016; Картинок: 901.
Компьютеры – Ноутбуки. Товаров: 2528; Пунктов описаний: 73778; Картинок: 4710.
Компьютеры – Мониторы. Товаров: 3748; Пунктов описаний: 67343; Картинок: 5629.
Компьютеры – Источники бесп.питания. Товаров: 1942; Пунктов описаний: 51254; Картинок: 2406.

А здесь ==> Все базы товаров в магазине.

Цены от 5$ за категорию.

После оплаты Вы получаете архив с файлами:
1. файл описаний товаров
2. файл пояснения – readme.txt – (читать обязательно!)
3. файл со ссылкой для скачивания архива с картинками товаров. Товары могут иметь и по 1 и по несколько картинок, картинки большие. Размер архива с картинками, например, для категории “Ванны” около 190 мегабайт.

Перед покупкой, обязательно СКАЧАЙТЕ ПРИМЕР , Вы сразу сможете увидеть что получите и в каком формате – чтобы после покупки не было каких-либо недоразумений.

Если кратко, то каждый товар описан таким блоком:
GOODS;ID категории;Название категории;ID производителя;Название производителя;ID товара;Название товара;Средняя цена;
IMG;относительный путь к картинке товара;относительный путь к картинке товара;
DESC;Название блока характеристик товара;Название характеристики товара;Значение характеристики товара;

Пример одного из товаров:
GOODS;1427;Ванны;1600;GLASS;100344;GLASS Perla E1;71089;
IMG;img1427\100344_218674.jpg;img1427\100344_21867 5.jpg;
DESC;Технические характеристики;Объем;170 л;
DESC;Общие;Материал;акрил;
DESC;Общие;Тип;отдельно стоящая;
DESC;Общие;Количество человек;1;
DESC;Общие;Форма;прямоугольная;
DESC;Функциональные возможности;Дезинфекция;нет;
DESC;Функциональные возможности;Регулировка интенсивности массажа;есть;
DESC;Функциональные возможности;Озонирование;нет;
DESC;Функциональные возможности;Гидромассаж;есть, количество форсунок 6;
DESC;Функциональные возможности;Многоцветная подсветка;нет;
DESC;Функциональные возможности;Подводная подсветка;нет;
DESC;Панель управления;Тип управления;электронное;
DESC;Габариты, объем и вес;Размеры (ДхШ);170х70 см;

Подробнее читайте в примере.

Возможно Вы спросите, а зачем мне это? Ну как же А модная нынче тема сателлитов Вам не знакома? Хотя это не только сателлиты.
Тогда Вы можете спросить – а почему не в формате какой-нибудь базы? Ответ – получаемый Вами текстовый файл с описаниями легко загрузит в базу любой человек знающий, даже основы, того же php. Проблема в том, что форматы баз различных движков разные, и в любом случае Вам придется либо самостоятельно писать скрипт обработки, либо просить/заказывать у кого-либо. А так у Вас уже есть готовый текстовый файл, осталось только написать скрипт загрузки именно в Вашу базу.

В наличии около 300 тысяч товаров, постепенно будут выложены все. Очень большой объем картинок, т.к. товары зачастую имеют несколько фото, да еще и хорошего качества. Пишите какие категории интересны больше других – постараемся выложить в первую очередь.

[Kiz]

а вчера былы по 15хе =)

[Raphael]

Сообщение от Kiz

а вчера былы по 15хе =)

ну да, и то только может у 1-2 категорий Добавил еще несколько категорий, да поставил цены меньше, предварительно спрос есть, а на практике посмотрим например категория "Ванны" - 8 с половиной тысяч товаров, это минимум 8 с половиной тысяч страниц с текстом и картинками...и стоимость этого контента (на данный момент) всего 10 баксов. То бишь, если чисто для сателлитчиков, то 8-9 магазинов

[lexsus]

спарсить каталог товаров маркета

А яша не обидится на сайт с таким контентом?
Есть ли примеры вашей работы живущие в индексе хотя бы месяца 3

[Raphael]

Сообщение от lexsus

А яша не обидится на сайт с таким контентом?
Есть ли примеры вашей работы живущие в индексе хотя бы месяца 3

А Вы пробегитесь по этому форуму и по серчу - люди продают готовые сателлиты на джомле и на бесплатном шоп-скрипте. Наполнение этих сайтов - товары из маркета (либо маркетгид, либо Я.М). И сидят эти сайты в индексе, не у всех конечно.

Я не предлагаю готовые сайты, я предлагаю полуфабрикат - т.е. Вам не надо терять время на парсинг товаров. Главное в сателлите, по сути, это даже не контент, а то как сделан сам сателлит - движок, шаблон. Если это сателлит магазин, то логично, что движок должен быть стандартный для магазинов (а не WP например). Шаблон надо хоть чуть-чуть уникализировать (css, типовые изображения и т.п.). Что касается контента - если есть фото, то можно наложить свое лого, изменить размер, формат, качество (это все можно делать пакетно - какой-нибудь программой просмотра изображений). Текстовка - переименовать названия характеристик например (это даже в блокноте можно сделать - массовая замена).

Хотя, я ради просто спортивного интереса, выгрузил порядка 400 товаров (описания + фото) в формат для textkit (программа такая, которая позволяет быстро наполнять сайты) и залил все на обычный WP. Примерно 150 статей сразу опубликовал, а остальные растянул на 3 месяца (в WP есть отложенная публикация). Картинки при этом были чуть-чуть обрезаны, изменено качество и наложено чуть заметное изображение. Это было где-то неделю назад. Сейчас и Гугль и Яша ходят по сайту. Стараюсь часто не смотреть индексацию, смотрю только логи на сервере. Посмотрю через 2-3 апа выдачи Яши, что там будет. Хотя сразу понимаю, что это все-таки WP и контент для него не свойственный.

[lexsus]

Скидки у вас предусмотрены?

[Raphael]

Сообщение от lexsus

Скидки у вас предусмотрены?

Единовременная покупка от 5-ти категорий, скидка 20%. В этом случае прямая оплата на Вебмани: WMID#121973426841, WMZ-кошелек Z461338226177, WMR-кошелек R863691546231 (курс 31).

[Raphael]

Разместил еще три категории:

Спорт.товары – Велотренажеры. Товаров: 1164; Пунктов описаний: 16030; Картинок: 1249.
Спорт.товары – Беговые дорожки. Товаров: 1213; Пунктов описаний: 18343; Картинок: 1426.
Спорт.товары – Велосипеды. Товаров: 7463; Пунктов описаний: 262843; Картинок: 9530.

Ссылка на раздел.

[Cyj]

Raphael, почем будет вся база целиком? Интересует только цена, обем безразлично какой...

[Raphael]

Сообщение от Cyj

Raphael, почем будет вся база целиком? Интересует только цена, обем безразлично какой...

В текущем формате выгрузки, 300 wmz. Насчет объема зря, картинок просто на 13-15 гигов примерно. Если интересно, то условия и сроки уже в личке обговорим.