Proxy untuk data pelatihan AI
Kumpulkan data web publik untuk model, retrieval, dan agen AI, secara andal dan dalam skala besar.
Set pelatihan, indeks retrieval, dan agen penjelajah semuanya butuh halaman publik yang segar. Jalankan pengumpulan lewat IP berotasi, jangkau konten khusus wilayah, dan jaga crawl tetap berjalan saat situs melawan.
YOUR_USERLogin proxy Anda dari dasbor-country-usNegara exit: Amerika Serikat↻Tanpa ID sesi: IP baru di setiap permintaan
Yang menghalangi Anda tanpa proxy.
Situs membatasi, memblokir, dan melokalkan lalu lintas berdasarkan alamat IP. Inilah hambatan pertama yang Anda temui dengan satu koneksi.
Volumenya sangat besar
Dataset AI berarti jutaan halaman. Satu IP, atau rentang server kecil, akan diblokir jauh sebelum itu.
Agen ditantang
Agen AI yang menjelajahi situs langsung dari IP datacenter terbentur captcha dan blokir.
Kontennya regional
Dataset multibahasa dan regional butuh halaman seperti yang tampil di setiap negara.
Proxy yang tepat untuk tugasnya.
Mulai dari pilihan pertama, lalu beralih saat target butuh kepercayaan atau kecepatan lebih.
Terhubung dalam sekitar satu menit.
Arahkan klien HTTP atau SOCKS5 apa pun ke gateway. Ganti YOUR_USER dan YOUR_PASS dengan login dari dasbor Anda.
curl -x http://YOUR_USER-country-us:YOUR_PASS@prem.crawlproxies.com:3621 \
"https://docs.example.com/page/1"-country-us berotasi di antara IP residensial AS: setiap permintaan mendapat IP baru, jadi Anda bisa menjalankan banyak permintaan secara paralel.
Hasil yang lebih bersih.
Hormati robots dan ketentuan
Patuhi robots.txt dan permintaan opt-out, dan lewati konten yang tidak berhak Anda pakai. Itu membuat dataset Anda bisa dipertanggungjawabkan.
Buang yang tidak perlu
Blokir gambar, font, dan video saat Anda hanya butuh teks; biaya bandwidth turun drastis.
Hapus duplikat sejak awal
Buat hash halaman saat mengumpulkannya agar tidak membayar dua kali untuk konten yang sama.
Pertanyaan umum.
Ada pertanyaan lain? Tanya tim kami lewat live chat.
Pekerjaan lain yang dijalankan proxy kami.
Permintaan pertama Anda dalam sekitar satu menit.
Buat akun, isi saldo dengan kripto mulai $1, dan bayar hanya yang Anda pakai. Saldo tidak pernah kedaluwarsa.