Как спарсить товары с сайта поставщика в Excel

Сначала спросите выгрузку у поставщика

Самый простой способ часто упускают: попросить готовый файл. У многих поставщиков есть прайс в Excel, выгрузка в формате YML или XML для интернет-магазинов, ссылка на файл с остатками, который обновляется сам, или доступ к кабинету дилера. Напишите менеджеру, что вы хотите загрузить их товары к себе, и спросите, в каком виде они могут отдать каталог.

Если такой файл есть, он почти всегда лучше любого сбора с сайта: данные точные, поставщик сам их поддерживает, и ваши запросы не создают ему нагрузку. Парсить имеет смысл, когда выгрузки нет, она неполная, например без фото и характеристик, или обновляется реже, чем меняется сайт.

Ручной сбор: когда он оправдан

Если товаров несколько десятков и нужно один раз, проще скопировать их руками или посадить на это помощника. Это быстрее, чем искать исполнителя и объяснять задачу. Но у ручного сбора есть пределы: на сотнях позиций начинаются опечатки и пропуски, характеристики из карточек переносятся неровно, а повторить сбор через неделю, чтобы обновить цены, придётся заново целиком.

Парсер: как это работает простыми словами

Парсер это программа, которая открывает страницы сайта так же, как вы в браузере, находит на них нужные кусочки, например название, цену и артикул, и складывает их в таблицу. Сначала она проходит по разделам каталога и собирает ссылки на все товары, затем заходит в каждую карточку и забирает поля, которые вы указали.

Для владельца бизнеса важно не устройство программы, а результат: таблица, в которой каждая строка это товар, а каждая колонка это поле. Хорошо, если исполнитель перед полным сбором присылает пробную выгрузку на небольшой части каталога. По ней сразу видно, все ли поля на месте и удобно ли с ними работать.

Какие поля собирать

Решите заранее, что вы будете делать с таблицей. Если товары пойдут в ваш интернет-магазин, возьмите его шаблон импорта и собирайте сразу под него. Если нужно сравнить цены, хватит меньшего набора. Обычно собирают:

Характеристики лучше разносить по отдельным колонкам, а не одной строкой текста: так по ним можно фильтровать и загружать их в магазин. Если у товара есть варианты по размеру или цвету, договоритесь, как их показывать: одной строкой на товар или строкой на каждый вариант.

Как обновлять цены и остатки

Разовая выгрузка устаревает в день сбора. Если вы продаёте товары поставщика, цены и наличие нужно обновлять регулярно, и тут есть два пути. Первый: каждый раз собирать каталог заново и заменять таблицу. Второй: настроить сбор по расписанию, который сравнивает свежие данные с прошлыми и отмечает, что изменилось.

• Связывайте товары по артикулу, а не по названию: названия поставщики меняют чаще.
• Отмечайте отдельно новые позиции, пропавшие с сайта и те, у которых изменилась цена.
• Решите, как часто обновлять: раз в день, раз в неделю или перед каждой закупкой.
• Определите, куда присылать свежий файл: на почту, в Telegram или в Google Таблицу.

Учтите, что сайты меняются. Если поставщик переделает дизайн или структуру каталога, скрипт может перестать собирать данные. Для регулярного сбора стоит заранее договориться с исполнителем, как вы действуете в таком случае.

Что может помешать сбору

Большинство открытых каталогов собирается без проблем, но есть вещи, которые усложняют работу или делают её невозможной:

• Товары подгружаются при прокрутке страницы, а не листаются по страницам. Собрать можно, но нужна программа, которая ведёт себя как браузер, и это дольше.
• Цены видны только после входа в кабинет дилера. Такие данные не открыты, и правильный путь здесь попросить выгрузку у самого поставщика.
• Сайт защищён от автоматических запросов, показывает проверку «я не робот». Обходить защиту нечестно по отношению к владельцу сайта, тут разумнее договариваться о выгрузке.
• Цена или наличие зависят от выбранного города или склада. Нужно заранее решить, для какого региона собирать.
• Характеристики в карточках записаны по-разному: где-то таблицей, где-то сплошным текстом. Их придётся приводить к одному виду.

Сколько это стоит и как заказать

Если поставщик не даёт выгрузку, а руками долго, сбор можно заказать у меня. Разовая выгрузка каталога одного сайта стоит от 3 000 ₽, сбор с нескольких сайтов в одну таблицу от 5 000 ₽, сбор по расписанию с отчётом об изменениях от 6 000 ₽. Обычный срок 1–3 дня. Пришлите ссылку на сайт и список нужных колонок: я проверю, открыты ли данные, и назову цену до оплаты.