Proxy cho dữ liệu huấn luyện AI

Thu thập dữ liệu web công khai cho mô hình, truy xuất và AI agent, ổn định và ở quy mô lớn.

Tập huấn luyện, chỉ mục truy xuất và các agent duyệt web đều cần trang công khai mới. Thu thập qua IP xoay vòng, tiếp cận nội dung theo khu vực và giữ cho tiến trình thu thập chạy tiếp khi các trang chống lại.

Bắt đầuXem bảng giá
Điểm ra tại 233 quốc gia và vùng lãnh thổ
Thông tin đăng nhập proxy cho việc này
Nhắm mục tiêu và phiên được đặt ngay trong tên người dùng.
YOUR_USER-country-us:YOUR_PASS@prem.crawlproxies.com:3621
  • YOUR_USERThông tin đăng nhập proxy trong bảng điều khiển
  • -country-usQuốc gia điểm ra: Hoa Kỳ
  • ↻Không có ID phiên: mỗi yêu cầu một IP mới

Những gì cản trở bạn khi không có proxy.

Các trang web giới hạn, chặn và bản địa hóa lưu lượng theo địa chỉ IP. Đây là những rào cản đầu tiên khi chỉ dùng một kết nối.

Khối lượng khổng lồ

Bộ dữ liệu AI nghĩa là hàng triệu trang. Một IP, hay một dải máy chủ nhỏ, sẽ bị chặn từ rất lâu trước đó.

Agent bị kiểm tra

AI agent duyệt các trang trực tiếp từ IP datacenter sẽ gặp captcha và bị chặn.

Nội dung mang tính khu vực

Bộ dữ liệu đa ngôn ngữ và theo khu vực cần các trang đúng như chúng hiển thị ở từng quốc gia.

Proxy phù hợp cho công việc.

Bắt đầu với lựa chọn đầu tiên, rồi chuyển khi trang đích cần độ tin cậy hoặc tốc độ cao hơn.

Kết nối trong khoảng một phút.

Trỏ bất kỳ client HTTP hoặc SOCKS5 nào vào gateway. Thay YOUR_USER và YOUR_PASS bằng thông tin đăng nhập trong bảng điều khiển.

1Tạo tài khoản
2Nạp tiền từ $1
3Sao chép thông tin
curl -x http://YOUR_USER-country-us:YOUR_PASS@prem.crawlproxies.com:3621 \
  "https://docs.example.com/page/1"

-country-us xoay vòng qua các IP dân cư Mỹ: mỗi yêu cầu nhận một IP mới, nên bạn có thể chạy nhiều yêu cầu song song.

Có kết quả sạch hơn.

Tôn trọng robots và điều khoản

Tuân thủ robots.txt và yêu cầu từ chối thu thập, bỏ qua nội dung bạn không có quyền sử dụng. Như vậy bộ dữ liệu của bạn mới đứng vững.

Lược bỏ thứ không cần

Chặn hình ảnh, phông chữ và video khi chỉ cần văn bản; chi phí băng thông sẽ giảm mạnh.

Loại trùng lặp sớm

Băm các trang khi thu thập để không phải trả tiền hai lần cho cùng một nội dung.

Câu hỏi thường gặp.

Còn câu hỏi khác? Hỏi nhân viên qua chat trực tiếp.

Dân cư cho hầu hết các trang, datacenter để thu thập hàng loạt ở các trang cho phép, và ISP cho agent cần một IP ổn định.

Những việc khác proxy của chúng tôi đảm nhận.

Yêu cầu đầu tiên sau khoảng một phút.

Tạo tài khoản, nạp tiền bằng crypto từ $1 và chỉ trả cho phần bạn dùng. Số dư không bao giờ hết hạn.

Bắt đầuXem bảng giá