Yapay zekâ eğitim verisi için proxy'ler
Modeller, arama ve yapay zekâ ajanları için herkese açık web verisini güvenilir şekilde ve büyük ölçekte toplayın.
Eğitim setleri, arama dizinleri ve tarama yapan ajanlar güncel herkese açık sayfalara ihtiyaç duyar. Toplamayı dönen IP'ler üzerinden yapın, bölgeye özel içeriğe ulaşın ve siteler direndiğinde de taramanızı sürdürün.
YOUR_USERPaneldeki proxy girişiniz-country-usÇıkış ülkesi: Amerika Birleşik Devletleri↻Oturum kimliği yok: her istekte yeni bir IP
Proxy olmadan önünüze çıkanlar.
Siteler trafiği IP adresine göre sınırlar, engeller ve yerelleştirir. Tek bir bağlantıyla ilk karşılaşacağınız engeller bunlardır.
Hacim çok büyük
Yapay zekâ veri setleri milyonlarca sayfa demektir. Tek bir IP ya da küçük bir sunucu aralığı bundan çok önce engellenir.
Ajanlar sınanır
Canlı siteleri veri merkezi IP'lerinden gezen yapay zekâ ajanları captcha'lara ve engellere takılır.
İçerik bölgeseldir
Çok dilli ve bölgesel veri setleri, sayfaları her ülkede göründükleri şekliyle gerektirir.
Bu iş için doğru proxy'ler.
İlk seçenekle başlayın; hedef daha fazla güven veya hız istediğinde geçiş yapın.
Yaklaşık bir dakikada bağlanın.
Herhangi bir HTTP veya SOCKS5 istemcisini ağ geçidine yönlendirin. YOUR_USER ve YOUR_PASS yerine paneldeki girişinizi yazın.
curl -x http://YOUR_USER-country-us:YOUR_PASS@prem.crawlproxies.com:3621 \
"https://docs.example.com/page/1"-country-us ABD residential IP'leri arasında döner: her istek yeni bir IP alır, böylece birçok isteği paralel çalıştırabilirsiniz.
Daha temiz sonuçlar alın.
Robots'a ve koşullara saygı gösterin
robots.txt'ye ve hariç tutma taleplerine uyun, kullanma hakkınız olmayan içeriği atlayın. Bu, veri setinizi savunulabilir kılar.
Gereksizi ayıklayın
Yalnızca metne ihtiyacınız varsa görselleri, fontları ve videoları engelleyin; trafik maliyeti ciddi şekilde düşer.
Kopyaları erken ayıklayın
Sayfaları toplarken hash'leyin; aynı içerik için iki kez ödemeyin.
Sık sorulan sorular.
Başka bir sorunuz mu var? Canlı sohbette bir insana sorun.
Proxy'lerimizin yaptığı diğer işler.
İlk isteğiniz yaklaşık bir dakikada.
Hesap oluşturun, $1'den itibaren kriptoyla bakiye yükleyin ve yalnızca kullandığınız kadar ödeyin. Bakiyenin süresi dolmaz.