Законен ли скрапинг через прокси?

Прокси не меняют того, что разрешено. Сбор публичных страниц допустим во многих странах, но условия сайтов, авторское право и законы о персональных данных по-прежнему действуют. Не собирайте персональные данные без правового основания и соблюдайте наши условия использования.

Сколько трафика понадобится?

Зависит от размера страниц. HTML-страница обычно весит 50–500 КБ, а полная загрузка в браузере с картинками — несколько МБ. Блокируйте ненужные изображения и медиа, чтобы экономить трафик.

Прокси для веб-скрапинга

Собирайте публичные данные в больших объёмах без блокировок и лимитов.

Сайты замедляют и блокируют адреса, которые шлют слишком много запросов. Распределите краулер по ротируемым резидентным IP, выберите нужную страну и платите только за использованные гигабайты.

Начать Смотреть цены

Выходы в 233 странах и территориях

Логин прокси для этой задачи

Таргетинг и сессии задаются в имени пользователя.

YOUR_USER-country-us:YOUR_PASS@prem.crawlproxies.com:3621

YOUR_USERВаш логин прокси из панели
-country-usСтрана выхода: Соединенные Штаты
↻Без ID сессии: новый IP на каждый запрос

Что мешает без них.

Сайты ограничивают, блокируют и локализуют трафик по IP-адресу. Вот во что вы упрётесь первым делом с одного подключения.

Лимиты на один IP

Большинство сайтов ограничивают число запросов с одного адреса. Дальше вас ждут ошибки, капчи или пустые страницы.

Хостинг-диапазоны под подозрением

Антибот-системы знают, какие диапазоны IP принадлежат хостингам, и проверяют их первыми.

Контент зависит от страны

Цены, язык и наличие зависят от того, где находится посетитель, поэтому одна локация даёт неполную картину.

Правильные прокси для задачи.

Начните с первого варианта и переключайтесь, когда цели нужно больше доверия или скорости.

Лучший выбор

Резидентные прокси

Настоящие домашние подключения, которые выглядят как обычные посетители. По умолчанию новый IP на каждый запрос.

От $0.30/ГБОткрыть Резидентные

Серверные прокси

Самый дешёвый и быстрый вариант для сайтов без строгой защиты от ботов.

От $0.36/ГБОткрыть Серверные

Мобильные прокси

Операторские IP для самых сложных целей, когда резидентный трафик всё ещё получает проверки.

От $1.30/ГБОткрыть Мобильные

Подключение примерно за минуту.

Направьте любой HTTP- или SOCKS5-клиент на шлюз. Замените YOUR_USER и YOUR_PASS на логин из панели.

1Создайте аккаунт

2Пополните от $1

3Скопируйте доступы

curl -x http://YOUR_USER-country-us:YOUR_PASS@prem.crawlproxies.com:3621 \
  "https://example.com/products?page=1"

-country-us отправляет каждый запрос через новый резидентный IP в США. Уберите его, чтобы использовать любую страну.

Получайте более чистые результаты.

Ротация для охвата, сессия для цепочек

Для страниц-списков берите новый IP на каждый запрос. Добавьте ID сессии, когда задаче нужно несколько запросов с одного IP, например при листании результатов.

Соблюдайте темп

Держите разумную параллельность на сайт, притормаживайте при ответах 429 и 503 и повторяйте запрос с новым IP, а не долбите тот же.

Выглядите как браузер

Отправляйте реалистичные заголовки и храните cookies в рамках сессии. Чистый IP с ботоподобным отпечатком всё равно заблокируют.

Частые вопросы.

Остались вопросы? Спросите человека в живом чате.

Начните с ротируемых резидентных прокси: они работают на большинстве сайтов. Датацентр-прокси берите для простых целей, где важнее скорость и цена, а мобильные — для сайтов, которые блокируют даже резидентный трафик.