Thu thập dữ liệu web bằng proxy có hợp pháp không?

Proxy không thay đổi điều gì được phép. Việc thu thập các trang công khai được cho phép ở nhiều quốc gia, nhưng điều khoản của trang, bản quyền và luật về quyền riêng tư vẫn được áp dụng. Không thu thập dữ liệu cá nhân khi không có cơ sở pháp lý và tuân thủ điều khoản sử dụng của chúng tôi.

Tôi cần bao nhiêu băng thông?

Tùy vào kích thước trang. Một trang HTML thường từ 50 đến 500 KB, còn một lần tải đầy đủ trên trình duyệt kèm hình ảnh có thể lên tới vài MB. Chặn hình ảnh và media không cần thiết để tiết kiệm băng thông.

Proxy cho thu thập dữ liệu web

Thu thập dữ liệu công khai quy mô lớn mà không bị chặn hay giới hạn tốc độ.

Các trang web làm chậm và chặn những địa chỉ gửi quá nhiều yêu cầu. Phân tán trình thu thập qua các IP dân cư xoay vòng, nhắm đúng quốc gia bạn cần và chỉ trả cho số gigabyte đã dùng.

Bắt đầu Xem bảng giá

Điểm ra tại 233 quốc gia và vùng lãnh thổ

Thông tin đăng nhập proxy cho việc này

Nhắm mục tiêu và phiên được đặt ngay trong tên người dùng.

YOUR_USER-country-us:YOUR_PASS@prem.crawlproxies.com:3621

YOUR_USERThông tin đăng nhập proxy trong bảng điều khiển
-country-usQuốc gia điểm ra: Hoa Kỳ
↻Không có ID phiên: mỗi yêu cầu một IP mới

Những gì cản trở bạn khi không có proxy.

Các trang web giới hạn, chặn và bản địa hóa lưu lượng theo địa chỉ IP. Đây là những rào cản đầu tiên khi chỉ dùng một kết nối.

Giới hạn theo IP

Hầu hết trang web giới hạn số yêu cầu từ một địa chỉ. Vượt quá mức đó, bạn sẽ gặp lỗi, captcha hoặc trang trống.

Dải IP hosting bị gắn cờ

Hệ thống chống bot biết dải IP nào thuộc các công ty hosting và kiểm tra chúng trước tiên.

Nội dung thay đổi theo quốc gia

Giá, ngôn ngữ và tình trạng hàng phụ thuộc vào vị trí của người truy cập, nên một địa điểm chỉ cho bạn bức tranh chưa đầy đủ.

Proxy phù hợp cho công việc.

Bắt đầu với lựa chọn đầu tiên, rồi chuyển khi trang đích cần độ tin cậy hoặc tốc độ cao hơn.

Phù hợp nhất

Proxy dân cư

Kết nối gia đình thật, trông như khách truy cập bình thường; mặc định mỗi yêu cầu một IP mới.

Từ $0.30/GBXem Dân cư

Proxy datacenter

Lựa chọn rẻ và nhanh nhất cho các trang không có lớp chống bot nghiêm ngặt.

Từ $0.36/GBXem Datacenter

Proxy di động

IP nhà mạng cho những mục tiêu khó nhất, khi lưu lượng dân cư vẫn bị kiểm tra.

Từ $1.30/GBXem Di động 5G

Kết nối trong khoảng một phút.

Trỏ bất kỳ client HTTP hoặc SOCKS5 nào vào gateway. Thay YOUR_USER và YOUR_PASS bằng thông tin đăng nhập trong bảng điều khiển.

1Tạo tài khoản

2Nạp tiền từ $1

3Sao chép thông tin

curl -x http://YOUR_USER-country-us:YOUR_PASS@prem.crawlproxies.com:3621 \
  "https://example.com/products?page=1"

-country-us gửi mỗi yêu cầu qua một IP dân cư Mỹ mới. Bỏ phần này để dùng bất kỳ quốc gia nào.

Có kết quả sạch hơn.

Xoay để mở rộng, giữ phiên cho chuỗi thao tác

Dùng IP mới cho mỗi yêu cầu với các trang danh sách. Thêm ID phiên khi một tác vụ cần nhiều yêu cầu từ cùng một IP, ví dụ khi lật trang kết quả.

Điều chỉnh nhịp độ

Giữ số luồng đồng thời trên mỗi trang ở mức hợp lý, giảm tốc khi gặp phản hồi 429 và 503, và thử lại bằng IP mới thay vì dồn vào IP cũ.

Trông giống trình duyệt

Gửi header chân thực và giữ cookie theo từng phiên. Một IP sạch nhưng có dấu vân tay giống bot vẫn sẽ bị chặn.

Câu hỏi thường gặp.

Còn câu hỏi khác? Hỏi nhân viên qua chat trực tiếp.

Hãy bắt đầu với proxy dân cư xoay vòng: chúng hoạt động trên hầu hết các trang. Dùng proxy datacenter cho mục tiêu dễ, nơi tốc độ và giá quan trọng nhất, và proxy di động cho các trang vẫn chặn lưu lượng dân cư.