Apakah web scraping dengan proxy legal?

Proxy tidak mengubah apa yang diizinkan. Mengumpulkan halaman publik diperbolehkan di banyak negara, tetapi ketentuan situs, hak cipta, dan undang-undang privasi tetap berlaku. Jangan mengumpulkan data pribadi tanpa dasar hukum, dan patuhi ketentuan penggunaan kami.

Berapa bandwidth yang saya butuhkan?

Tergantung ukuran halaman. Satu halaman HTML biasanya 50 hingga 500 KB, sedangkan pemuatan penuh di browser dengan gambar bisa beberapa MB. Blokir gambar dan media yang tidak perlu untuk menghemat bandwidth.

Proxy untuk web scraping

Kumpulkan data publik dalam skala besar tanpa diblokir atau dibatasi.

Situs memperlambat dan memblokir alamat yang mengirim terlalu banyak permintaan. Sebarkan crawler Anda ke IP residensial berotasi, targetkan negara yang Anda butuhkan, dan bayar hanya untuk gigabyte yang Anda pakai.

Mulai Lihat harga

Exit di 233 negara dan wilayah

Penargetan dan sesi diatur di username.

YOUR_USER-country-us:YOUR_PASS@prem.crawlproxies.com:3621

YOUR_USERLogin proxy Anda dari dasbor
-country-usNegara exit: Amerika Serikat
↻Tanpa ID sesi: IP baru di setiap permintaan

Yang menghalangi Anda tanpa proxy.

Situs membatasi, memblokir, dan melokalkan lalu lintas berdasarkan alamat IP. Inilah hambatan pertama yang Anda temui dengan satu koneksi.

Batas per IP

Kebanyakan situs membatasi jumlah permintaan dari satu alamat. Lewat dari itu, Anda mendapat error, captcha, atau halaman kosong.

Rentang hosting ditandai

Sistem anti-bot tahu rentang IP mana milik perusahaan hosting dan memeriksanya lebih dulu.

Konten berubah per negara

Harga, bahasa, dan ketersediaan bergantung pada lokasi pengunjung, jadi satu lokasi hanya memberi gambaran sebagian.

Proxy yang tepat untuk tugasnya.

Mulai dari pilihan pertama, lalu beralih saat target butuh kepercayaan atau kecepatan lebih.

Paling cocok

Proxy residensial

Koneksi rumah sungguhan yang terlihat seperti pengunjung biasa, dengan IP baru di setiap permintaan secara default.

Mulai $0.30/GBLihat Residensial

Proxy datacenter

Pilihan termurah dan tercepat untuk situs tanpa proteksi bot yang ketat.

Mulai $0.36/GBLihat Datacenter

Proxy seluler

IP operator untuk target tersulit, saat lalu lintas residensial masih ditantang.

Mulai $1.30/GBLihat Seluler 5G

Terhubung dalam sekitar satu menit.

Arahkan klien HTTP atau SOCKS5 apa pun ke gateway. Ganti YOUR_USER dan YOUR_PASS dengan login dari dasbor Anda.

1Buat akun

2Isi saldo mulai $1

3Salin kredensial

curl -x http://YOUR_USER-country-us:YOUR_PASS@prem.crawlproxies.com:3621 \
  "https://example.com/products?page=1"

-country-us mengirim setiap permintaan lewat IP residensial AS yang baru. Hapus bagian ini untuk memakai negara mana pun.

Hasil yang lebih bersih.

Rotasi untuk cakupan, sesi untuk alur

Gunakan IP baru per permintaan untuk halaman daftar. Tambahkan ID sesi saat sebuah tugas butuh beberapa permintaan dari IP yang sama, misalnya saat membuka halaman hasil berikutnya.

Atur kecepatan

Jaga konkurensi per situs tetap wajar, perlambat saat mendapat respons 429 dan 503, dan ulangi dengan IP baru alih-alih terus memaksa IP yang sama.

Terlihat seperti browser

Kirim header yang realistis dan simpan cookie per sesi. IP bersih dengan sidik jari mirip bot tetap akan diblokir.

Pertanyaan umum.

Ada pertanyaan lain? Tanya tim kami lewat live chat.

Mulailah dengan proxy residensial berotasi: proxy ini berfungsi di kebanyakan situs. Gunakan proxy datacenter untuk target mudah yang mengutamakan kecepatan dan harga, dan proxy seluler untuk situs yang masih memblokir lalu lintas residensial.