Onbegrensde mogelijkheden in A-Parser

Gebruik tot 20 scrapers in één taak en verdeel threads gelijkmatig om proxyblokkades te verminderen en de scrapesnelheid te verhogen.

Talrijke instellingen voor elke scraper kunnen worden opgeslagen in afzonderlijke presets en opnieuw worden gebruikt in verschillende taken.

Door de invoergegevens op te splitsen kun je de queryopmaak wijzigen en extra gerelateerde gegevens naar de resultaten schrijven.

Een afzonderlijke query-opmaak voor elke scraper binnen één taak, met controle over de volgorde van de opmaakuitvoering.

Als je niet zeker bent over de invoergegevens, zorgt A-Parser ervoor dat er geen overbodig werk wordt gedaan.

Automatische query-uitbreiding, substitutie van subqueries uit bestanden en iteratie door alfanumerieke combinaties en lijsten.

De krachtige Template Toolkit laat je extra logica toepassen op resultaten en uitvoergegevens in verschillende formaten, waaronder JSON, SQL en CSV.

Geavanceerde deduplicatiemogelijkheden garanderen de uniekheid van de strings, links en domeinen die je ontvangt.

Sla alleen de data op die aan je criteria voldoet: substring-matches, numerieke vergelijkingen of reguliere expressies.

Gebruik verschillende formaten voor verschillende bestanden en pas extra voorwaarden en filters toe, allemaal binnen één taak om scrapingbronnen te besparen.

Een gedetailleerd logboek voor elke thread en elke query maakt snelle en handige debugging van taken mogelijk.

Breid de logica van A-Parser uit door automatisch verschillende taken na elkaar uit te voeren en de resultaten van de ene taak als query's voor de volgende te gebruiken.

Databases opbouwen uit meerdere taken? Door deduplicatiedatabases op te slaan krijg je altijd alleen nieuwe resultaten.

Door elke taak met een opgegeven aantal threads uit te voeren, zorg je ervoor dat A-Parser je proxy-abonnement of serverbronnen niet overschrijdt.

Gebruik de debugger om tijdens het maken snel te controleren hoe een taak werkt, met snelle uitvoering en een duidelijke logweergave.

De taakwachtrij voorkomt dat je moet wachten tot één taak klaar is. Voeg een onbeperkt aantal onafhankelijke taken toe.

Bepaal het aantal gelijktijdig draaiende taken, waardoor de totale tijd om resultaten te krijgen aanzienlijk wordt verkort.

Start, pauzeer, bewerk of verwijder taken. Hervat taken vanaf het punt waar ze waren gebleven; A-Parser blijft informatie verzamelen.

Bij een grote taakwachtrij is het cruciaal om te bepalen welke taken eerder starten dan andere.

Stel een globale threadlimiet in voor alle taken, en A-Parser verdeelt threads automatisch over actieve taken.

Krijg toegang tot een complete geschiedenis van voltooide taken, bekijk statistieken en voeg taken opnieuw toe voor een nieuwe run.

Voer terugkerende taken uit met de taakscheduler met flexibele instellingen voor herhalingsintervallen.

A-Parser werkt met alle proxyprotocollen, en de proxychecker kan alle typen tegelijk testen.

Voeg aparte proxycheckers toe voor verschillende proxybronnen, elk met eigen verificatie-instellingen.

Beheer het aantal controle- en downloadthreads apart voor elke proxychecker.

Geef proxytoegangsinloggegevens op in de proxychecker-instellingen of in proxylijsten met afzonderlijke autorisatiegegevens.

A-Parser controleert proxies op ondersteuning voor de POST-methode, anonimiteit, responstijd en andere parameters.

Als je zeker weet dat je proxies werken, kun je de controle uitschakelen om bronnen te besparen.

Voor elke taak kun je specifieke proxybronnen selecteren, waardoor flexibele toewijzing van bronnen mogelijk is.

Voor nog meer flexibiliteit kun je verschillende proxies gebruiken binnen één taak, zoals aparte proxies voor Google- en Yandex-scrapers.

Als een service een proxy blokkeert, stopt A-Parser het gebruik ervan voor een bepaalde tijd, waardoor mislukte verzoeken afnemen.

Je kunt het maximale aantal threads per proxy beperken om overmatig gebruik van de bronnen te voorkomen.

Standaard gebruikt A-Parser een unieke proxy voor elke poging tot datadownload, maar dit gedrag kan worden gewijzigd.

Met deze functie kun je bepaalde proxies uitsluiten van algemeen gebruik en ze alleen aan specifieke taken toewijzen.

Sla groepen instellingen op in verschillende presets en gebruik ze opnieuw in diverse taken.

De Google scraper laat bijvoorbeeld het aantal pagina's, resultaten per pagina, taalinstellingen, geolocatie en nog veel meer instellen.

Exporteer je instellingen en scrapers om ze met anderen te delen, of importeer kant-en-klare taken uit onze catalogus.

A-Parser is gebouwd op een volledig asynchrone architectuur, die tot 3.000 gelijktijdige asynchrone threads kan uitvoeren.

A-Parser gebruikt veel optimalisaties voor betere prestaties, en we profileren en verbeteren onze code voortdurend.

Er zijn geen limieten aan het aantal query's, de grootte van querybestanden of het aantal resultaten.

De meeste taken draaien probleemloos op elke standaard kantoor- of thuiscomputer, evenals op elke instap-VDS.

Momenteel kan A-Parser efficiënt tot 4 processorkernen gebruiken. Een licentie met ondersteuning voor onbeperkt aantal cores komt binnenkort.

De populairste software voor CAPTCHA-herkenning ondersteunt veel soorten CAPTCHA's, waaronder reCAPTCHA v2.

We ondersteunen integratie met de overgrote meerderheid van de diensten, waaronder Anti-Captcha, RuCaptcha, CapMonster.cloud, 2Captcha en andere.

Ondersteuning voor CAPTCHA-herkenning is ingebouwd in alle populaire scrapers. Je kunt het ook gebruiken vanuit je eigen aangepaste JavaScript-scrapers.

Pas reguliere expressies toe op data verkregen uit de Net::HTTP-scraper of de HTML::LinkExtractor-spider.

Verzamel losse datapunten in variabelen of herhalende blokken (lijsten, tabellen) in arrays. Voer de data in een handig formaat uit met de templating-engine.

Je kunt extra verwerking toepassen op de brondata van alle ingebouwde scrapers (bijv. Google-zoekresultaten).

Gebruik reguliere expressies om links naar de volgende pagina van de paginering te vinden, en A-Parser navigeert automatisch door alle pagina's.

Gebruik reguliere expressies om content te valideren, te controleren op proxyblokkades of captcha's te detecteren. A-Parser probeert bij een fout automatisch opnieuw met een andere proxy.

Met de resultaatconstructor kun je zoek-en-vervangbewerkingen uitvoeren met reguliere expressies op elk scrapingresultaat.

Lineaire code in synchroon-stijl met async/await, die A-Parser uitvoert in een multithreaded omgeving.

A-Parser laat je focussen op het schrijven van code voor dataverzameling en -transformatie, terwijl het proxybeheer en retries automatisch afhandelt.

Schrijf in moderne JavaScript (ES2020+) of gebruik TypeScript voor sterke types en syntaxis-highlighting.

De enorme NPMJS-modulecatalogus stelt je in staat om de mogelijkheden van A-Parser voor dataverzameling en -verwerking grenzeloos uit te breiden.

A-Parser voegt proxyondersteuning toe aan de populaire Puppeteer-bibliotheek, waardoor automatisch verschillende proxies voor verschillende tabbladen kunnen worden gebruikt.

Je kunt verzoeken sturen naar elke ingebouwde of andere JavaScript-scraper, waardoor uiterst complexe logica kan worden gemaakt.

Stuur HTTP-verzoeken vanuit je eigen programma's en scripts, of gebruik onze kant-en-klare bibliotheken voor NodeJS, Python, PHP en Perl.

Voeg taken toe op basis van een presetnaam of door een volledige JSON-structuur met gedetailleerde instellingen op te geven.

Krijg volledige controle over de taakwachtrij, volg taakstatussen en download resultaten.

Stuur een HTTP-verzoek en ontvang de resultaten direct na afronding van de dataverzameling.

Onze oplossing voor projecten met hoge belasting. Verbind een onbeperkt aantal A-Parser-instanties om API-verzoeken te verwerken in een Redis-wachtrij met minimale latentie.

Voor volledige automatisering is een externe update van A-Parser beschikbaar via een API-aanroep.

De voortdurende evolutie van A-Parser biedt onze gebruikers jaar na jaar nieuwe mogelijkheden.

We testen alle ingebouwde scrapers dagelijks en automatisch, zodat we snel updates kunnen uitbrengen bij wijzigingen in lay-out of resultaten.

Gratis technische ondersteuning is beschikbaar voor al onze gebruikers en wordt door gebruikers algemeen beschouwd als de beste onder vergelijkbare producten.

We brengen regelmatig educatief materiaal, voorbeeldpresets en scrapers uit, evenals instructievideo's op ons YouTube-kanaal.

De meeste nieuwe functies en scrapers worden ontwikkeld op basis van verzoeken van onze gebruikers.

We kunnen je tijd besparen door aangepaste scraperontwikkeling op ons platform aan te bieden, evenals integratie met je bedrijfslogica en databases.