Possibilità illimitate con A-Parser

Usa fino a 20 scraper in un singolo task, distribuendo i thread in modo uniforme per ridurre i ban dei proxy e aumentare la velocità di scraping.

Numerose impostazioni per ogni scraper possono essere salvate in preset separati e riutilizzate in vari task.

Dividere i dati di input ti permette di modificare il formato della query e di scrivere nei risultati dati aggiuntivi correlati.

Un formato di query separato per ogni scraper all'interno di un singolo task, con controllo sull'ordine di esecuzione della formattazione.

Se non sei sicuro dei dati di input, A-Parser garantisce che non venga svolto alcun lavoro ridondante.

Espansione automatica delle query, sostituzione di sottoquery da file e iterazione attraverso combinazioni alfanumeriche ed elenchi.

Il potente Template Toolkit ti permette di applicare ulteriore logica ai risultati e ai dati di output in vari formati, inclusi JSON, SQL e CSV.

Le funzionalità avanzate di deduplicazione garantiscono l'unicità delle stringhe, dei link e dei domini che ricevi.

Salva solo i dati che soddisfano i tuoi criteri: corrispondenze di sottostringa, confronti numerici o espressioni regolari.

Usa formati diversi per file diversi e applica condizioni e filtri aggiuntivi, tutto all'interno di un singolo task per risparmiare risorse di scraping.

Un log dettagliato per ogni thread e ogni query consente un debugging del task rapido e comodo.

Estendi la logica di A-Parser facendo eseguire automaticamente task diversi in sequenza, passando i risultati di un task come query per il successivo.

Devi costruire database a partire da più task? Il salvataggio dei database di deduplicazione garantisce che tu ottenga sempre solo nuovi risultati.

Eseguendo ogni task con un numero specifico di thread, puoi essere certo che A-Parser non supererà il tuo piano proxy o le risorse del server.

Usa il debugger per verificare rapidamente il funzionamento di un task durante la creazione, con esecuzione veloce e una visualizzazione chiara del log.

La coda dei task ti evita di dover attendere la fine di un task. Aggiungi un numero illimitato di task indipendenti.

Controlla il numero di task in esecuzione contemporaneamente, riducendo in modo significativo il tempo totale per ottenere i risultati.

Avvia, metti in pausa, modifica o elimina i task. Riprendi i task da dove si sono fermati; A-Parser continuerà a raccogliere informazioni.

Con una coda di task grande, è fondamentale controllare quali task partono prima degli altri.

Imposta un limite globale di thread per tutti i task e A-Parser distribuirà automaticamente i thread tra i task attivi.

Accedi alla cronologia completa dei task completati, visualizza le statistiche e aggiungi di nuovo i task per un'altra esecuzione.

Esegui task ricorrenti usando il pianificatore dei task con impostazioni flessibili per gli intervalli di ripetizione.

A-Parser funziona con tutti i protocolli proxy e il proxy checker può testare tutti i tipi di proxy contemporaneamente.

Aggiungi proxy checker separati per diverse origini di proxy, ognuno con le proprie impostazioni di verifica.

Gestisci separatamente il numero di thread di verifica e di download per ogni proxy checker.

Specifica le credenziali di accesso al proxy nelle impostazioni del proxy checker o negli elenchi proxy con dati di autorizzazione separati.

A-Parser verifica i proxy per il supporto al metodo POST, l'anonimato, il tempo di risposta e altri parametri.

Se sei certo che i tuoi proxy funzionino, puoi disattivare la verifica per risparmiare risorse.

Per ogni task puoi selezionare origini di proxy specifiche, consentendo un'assegnazione flessibile delle risorse.

Per una flessibilità ancora maggiore, usa proxy diversi all'interno di un singolo task, come proxy separati per gli scraper Google e Yandex.

Se un servizio banna un proxy, A-Parser smetterà di usarlo per un certo periodo di tempo, riducendo le richieste fallite.

Puoi limitare il numero massimo di thread per proxy per evitare di sovraccaricarne le risorse.

Per impostazione predefinita, A-Parser usa un proxy unico per ogni tentativo di download dei dati, ma questo comportamento può essere modificato.

Questa funzione ti consente di escludere alcuni proxy dall'uso generale e assegnarli solo a task specifici.

Salva gruppi di impostazioni in preset diversi e riutilizzali in vari task.

Per esempio, lo scraper Google consente di specificare numero di pagine, risultati per pagina, impostazioni della lingua, geolocalizzazione e molto altro.

Esporta le tue impostazioni e gli scraper per condividerli con altri, oppure importa task già pronti dal nostro catalogo.

A-Parser è costruito su un'architettura completamente asincrona, in grado di eseguire fino a 3.000 thread asincroni concorrenti.

A-Parser utilizza molte ottimizzazioni per migliorare le prestazioni e miglioriamo costantemente il nostro codice.

Non ci sono limiti al numero di query, alla dimensione dei file di query o al numero di risultati.

La maggior parte dei task funziona senza problemi su qualsiasi normale computer da ufficio o domestico, così come su qualsiasi VDS entry-level.

Attualmente, A-Parser può utilizzare in modo efficiente fino a 4 core del processore. Una licenza con supporto illimitato ai core arriverà presto.

Il software di riconoscimento CAPTCHA più diffuso supporta molti tipi di CAPTCHA, incluso reCAPTCHA v2.

Supportiamo l'integrazione con la stragrande maggioranza dei servizi, inclusi Anti-Captcha, RuCaptcha, CapMonster.cloud, 2Captcha e altri.

Il supporto al riconoscimento CAPTCHA è integrato in tutti gli scraper più diffusi. Puoi usarlo anche nei tuoi scraper JavaScript personalizzati.

Applica espressioni regolari ai dati ottenuti dallo scraper Net::HTTP o dallo spider HTML::LinkExtractor.

Raccogli singoli punti dati in variabili o blocchi ripetuti (elenchi, tabelle) in array. Esporta i dati in un formato comodo usando il motore di templating.

Puoi applicare un'elaborazione aggiuntiva ai dati sorgente di tutti gli scraper integrati (ad esempio, i risultati di ricerca di Google).

Usa espressioni regolari per trovare i link alla pagina successiva della paginazione e A-Parser navigherà automaticamente attraverso tutte le pagine.

Usa espressioni regolari per convalidare i contenuti, controllare eventuali ban dei proxy o rilevare i captcha. A-Parser riproverà automaticamente con un altro proxy in caso di errore.

Con il costruttore dei risultati puoi eseguire operazioni di ricerca e sostituzione con espressioni regolari su qualsiasi risultato di scraping.

Codice lineare in stile sincrono con async/await, che A-Parser eseguirà in un ambiente multithread.

A-Parser ti permette di concentrarti sulla scrittura del codice di estrazione e trasformazione dati, gestendo automaticamente tutti i proxy e i retry.

Scrivi in JavaScript moderno (ES2020+) oppure usa TypeScript per il tipaggio forte e l'evidenziazione della sintassi.

Il vasto catalogo di moduli NPMJS ti permette di estendere senza limiti le capacità di estrazione e di elaborazione dati di A-Parser.

A-Parser aggiunge il supporto proxy alla popolare libreria Puppeteer, consentendo l'uso automatico di proxy diversi per tab diverse.

Puoi inviare richieste a qualsiasi scraper JavaScript integrato o ad altri scraper JavaScript, consentendo di creare logiche arbitrariamente complesse.

Invia richieste HTTP dai tuoi programmi e script, oppure usa le nostre librerie già pronte per NodeJS, Python, PHP e Perl.

Aggiungi task tramite nome del preset o fornendo una struttura JSON completa con impostazioni dettagliate.

Ottieni il pieno controllo sulla coda dei task, monitora lo stato dei task e scarica i risultati.

Invia una richiesta HTTP e ricevi i risultati immediatamente al termine della raccolta dati.

La nostra soluzione per progetti ad alto carico. Collega un numero illimitato di istanze A-Parser per elaborare le richieste API in una coda Redis con latenza minima.

Per un'automazione completa, è disponibile un aggiornamento remoto di A-Parser tramite una chiamata API.

L'evoluzione costante di A-Parser offre ai nostri utenti nuove funzionalità anno dopo anno.

Testiamo tutti gli scraper integrati ogni giorno e automaticamente, il che ci consente di rilasciare rapidamente gli aggiornamenti in risposta a eventuali cambiamenti di layout o dei risultati.

Il supporto tecnico gratuito è disponibile per tutti i nostri utenti ed è ampiamente considerato dagli utenti il migliore tra i prodotti comparabili.

Rilasciamo regolarmente materiali didattici, preset e scraper di esempio, oltre a video tutorial sul nostro canale YouTube.

La maggior parte delle nuove funzionalità e degli scraper viene sviluppata in base alle richieste dei nostri utenti.

Possiamo farti risparmiare tempo offrendo lo sviluppo di scraper personalizzati sulla nostra piattaforma, oltre all'integrazione con la tua logica aziendale e i tuoi database.