Парсинг сайтов: законно ли это и сколько стоит

Сначала оговорка

Однозначного ответа «парсинг законен» или «парсинг запрещён» нет. Сам по себе автоматический сбор открытой информации это просто способ сделать быстрее то, что человек мог бы сделать руками в браузере. Вопросы возникают не к способу, а к тому, какие именно данные собираются, как и что с ними потом делают. Ниже общие ориентиры. Если от сбора зависит серьёзный бизнес или данные чувствительные, покажите задачу юристу до начала работы.

Общедоступные данные

Спокойнее всего с информацией, которую сайт показывает любому посетителю без входа в аккаунт и без оплаты: названия и цены товаров, наличие, характеристики, адреса магазинов, описание услуг компаний. Её и так видит каждый, кто зашёл на страницу, а сбор в таблицу лишь избавляет от ручного копирования.

Типичные задачи малого бизнеса как раз такие: собрать каталог поставщика для своего магазина, следить за ценами конкурентов, свести в одну таблицу предложения с нескольких сайтов. Но даже здесь важно, как вы используете результат: сравнить цены для себя и выложить чужой каталог целиком на своём сайте это разные вещи.

Персональные данные: здесь осторожнее

Совсем другая история с информацией о людях: имена, телефоны, почта, профили в соцсетях, фото. В России обработку таких данных регулирует закон «О персональных данных» (152-ФЗ), и то, что сведения о человеке где-то опубликованы, не означает, что их можно свободно собирать в базу и использовать для своих целей, например для рассылок и звонков.

• Контакты компаний из открытых справочников и контакты конкретных людей это разные случаи, со вторыми риск выше.
• Сбор телефонов и почты людей для рекламных звонков и рассылок без их согласия может обернуться жалобами и проверками.
• Профили, отзывы и комментарии людей тоже относятся к их личным данным.
• Если без таких данных задача не решается, это повод сначала поговорить с юристом.

Тексты, фото и базы данных

То, что материал открыт для просмотра, не делает его свободным для копирования. Тексты описаний, фотографии товаров, статьи и обзоры обычно защищены авторским правом, а сама база данных, в которую владелец вложил труд, тоже может охраняться. Поэтому собирать фото и описания для анализа это одно, а выкладывать их у себя от своего имени без разрешения уже рискованно.

Для каталога поставщика вопрос часто решается просто: попросите у поставщика разрешение использовать его фото и описания или готовую выгрузку. Поставщику выгодно, чтобы его товар продавали, но спросить всё равно нужно, и лучше письменно.

Правила сайта и вход в аккаунт

У многих сайтов есть пользовательское соглашение, где прямо сказано, разрешён ли автоматический сбор, и файл robots.txt, в котором владелец указывает, какие разделы роботам лучше не трогать. Это не всегда закон, но это ясно выраженная позиция владельца, и игнорировать её неразумно.

• Данные, которые видны только после входа в аккаунт, владелец сознательно закрыл. Собирать их без его согласия не стоит.
• Обход капчи, блокировок и платного доступа это уже не сбор открытых данных, а попытка пройти туда, куда вас не пускают.
• Если сайт явно запрещает сбор, лучше договориться с владельцем о выгрузке или найти другой источник.

Нагрузка на сайт

Ещё один практический момент, о котором забывают: программа может открывать страницы гораздо быстрее человека. Если запрашивать тысячи страниц за минуту, небольшой сайт начнёт тормозить для обычных посетителей, а владелец увидит это как атаку. Аккуратный сбор идёт с паузами между запросами, в спокойное время и не чаще, чем действительно нужно для задачи. Для сравнения цен обычно хватает обновления раз в день, ежеминутный опрос чужого сайта малому бизнесу почти никогда не нужен.

От чего зависит цена парсинга

Цена определяется не числом строк в таблице, а тем, сколько работы нужно, чтобы данные собрать и привести в порядок:

Сколько стоит заказать сбор данных

Сбор открытых данных в таблицу можно заказать у меня. Разовая выгрузка каталога одного сайта стоит от 3 000 ₽, сбор с нескольких сайтов в одну таблицу от 5 000 ₽, сбор по расписанию с отчётом об изменениях от 6 000 ₽, обычный срок 1–3 дня. Я собираю только то, что видно любому посетителю без входа, не обхожу защиту и не собираю личные данные людей. Если задача упирается в закрытые данные, скажу об этом до оплаты.