Tự động giải CAPTCHA để hạn chế gián đoạn khi cào dữ liệu

Vượt qua các bước kiểm tra Google reCAPTCHA, hCaptcha và Cloudflare Turnstile khi cào dữ liệu bằng A-Parser. Kết nối dịch vụ nhận dạng CAPTCHA với công cụ cào dữ liệu có sẵn hoặc JS parser tự viết.

Dành cho mọi trang web

Tính năng vượt Cloudflare tích hợp trong Net::HTTP

Parser Net::HTTP tích hợp trong A-Parser thu thập dữ liệu từ các trang web và hỗ trợ tự động vượt qua các bước kiểm tra của Cloudflare bằng Chrome.

Dấu vân tay JA3, JA3N, JA4, JA4H và Akamai

Một số trang web phân tích các tham số kết nối và yêu cầu để phân biệt parser với trình duyệt thông thường. HTTP client tích hợp của A-Parser tái tạo dấu vân tay TLS và HTTP/2 của Chrome trên Windows và Android.

JA3, JA3N và JA4. Phản ánh các tham số của TLS client khi thiết lập kết nối.
JA4H. Mô tả yêu cầu HTTP: phương thức, phiên bản giao thức và các header.
Akamai. Phản ánh cấu hình kết nối HTTP/2 và thứ tự các pseudo-header.

Nhờ đó, các yêu cầu của A-Parser có tham số kết nối giống yêu cầu từ Chrome, giúp hạn chế bị chặn khi thu thập dữ liệu.

Tài liệu parser Net::HTTP

Cách hoạt động

Chọn cách xử lý CAPTCHA

Kết nối dịch vụ nhận dạng hoặc sử dụng phương thức tự động nếu parser của bạn hỗ trợ.

Kết nối dịch vụ nhận dạng

Chọn dịch vụ tương thích, nhập khóa và lưu cấu hình vào preset. Sau đó kết nối preset trong parser tích hợp hoặc JS parser tự viết.

Sử dụng phương thức tự động

Có thể giải Cloudflare Turnstile mà không cần dịch vụ nhận dạng: ở chế độ Auto, A-Parser sử dụng trình duyệt. Phương thức này khả dụng trong các parser hỗ trợ Util::Turnstile. Các parser Wordstat cũng hỗ trợ tự động vượt Yandex SmartCaptcha.

Parser hỗ trợ

Các parser nhận dạng CAPTCHA

A-Parser có các parser hỗ trợ cho nhiều loại CAPTCHA. Hãy kết nối chúng trong các parser có sẵn hỗ trợ xử lý CAPTCHA hoặc sử dụng trong JS parser tự viết. Khả năng tương thích của dịch vụ phụ thuộc vào loại CAPTCHA.

Util::Turnstile

Vượt Cloudflare Turnstile qua dịch vụ nhận dạng CAPTCHA hoặc tự động bằng trình duyệt.

+ Xem thêm

Util::ReCaptcha2

Gửi Google reCAPTCHA v2 đến dịch vụ nhận dạng và nhận token để parser sử dụng.

+ Xem thêm

Util::ReCaptcha3

Tự động giải Google reCAPTCHA v3 khi cào dữ liệu qua các dịch vụ nhận dạng. Parser nhận lại token.

+ Xem thêm

Util::hCaptcha

Giải hCaptcha qua dịch vụ nhận dạng: parser gửi dữ liệu CAPTCHA và nhận token.

+ Xem thêm

Util::AntiGate

Nhận dạng CAPTCHA chữ trong hình ảnh qua các dịch vụ và phần mềm tương thích với AntiGate.

+ Xem thêm

Util::RotateCaptcha

Nhận góc xoay của hình ảnh từ RuCaptcha hoặc 2Captcha. Phù hợp với JS parser tự viết.

+ Xem thêm

Util::YandexRecognize

Nhận dạng CAPTCHA hình ảnh đơn giản miễn phí bằng Yandex Translate, nhưng độ chính xác không cao.

+ Xem thêm

Dịch vụ và phần mềm

Dịch vụ và phần mềm giải CAPTCHA

Chọn dịch vụ hoặc phần mềm phù hợp và nhập cấu hình vào preset. Khả năng hỗ trợ phụ thuộc vào loại CAPTCHA, parser được chọn và tính năng của dịch vụ — hãy kiểm tra tính tương thích trong tài liệu.

Dịch vụ trực tuyến

Các dịch vụ nhận dạng CAPTCHA. Với Util::AntiGate, bạn cũng có thể kết nối các dịch vụ khác tương thích với AntiGate.

BotLab

Phần mềm

Bạn cũng có thể kết nối phần mềm XEvil và CapMonster để nhận dạng CAPTCHA.

Dành cho JS parser tự viết

Tích hợp nhận dạng CAPTCHA vào parser của bạn

Gọi parser hỗ trợ từ mã của bạn. Ví dụ, với reCAPTCHA v2, bạn có thể truyền cho Util::ReCaptcha2 preset đã cấu hình, khóa trang web và địa chỉ trang.

Xử lý CAPTCHA trong JS parser

await this.parser.request(
  'Util::ReCaptcha2',
  this.conf.Util_ReCaptcha2_preset,
  {},
  siteKey + ' ' + endPoint
);

Parser có sẵn

Những parser nào hỗ trợ xử lý CAPTCHA

Các parser tích hợp của A-Parser sử dụng nhiều phương thức khác nhau để xử lý bước kiểm tra của trang web. Tùy parser, bạn có thể kết nối parser nhận dạng CAPTCHA hoặc sử dụng phương thức vượt tự động được hỗ trợ.

Google

Kết nối Util::ReCaptcha2 để giải reCAPTCHA v2. SE::Google cũng hỗ trợ CAPTCHA hình ảnh qua AntiGate.

Các công cụ tìm kiếm khác

Dogpile sử dụng phương thức vượt bước kiểm tra của Cloudflare, còn parser tìm kiếm hình ảnh sử dụng Util::ReCaptcha2. Bing hỗ trợ xử lý CAPTCHA, còn Rambler chờ bước kiểm tra soft CAPTCHA hoàn tất.