Oändliga möjligheter i A-Parser

Använd upp till 20 parsers i en enda uppgift och fördela trådarna jämnt för att minska proxyspärrar och öka parsinghastigheten.

Många inställningar för varje scraper kan sparas i separata förinställningar och återanvändas i olika uppgifter.

Genom att dela upp indata kan du ändra frågeformatet och skriva ytterligare relaterad data till resultaten.

Ett separat frågeformat för varje scraper inom en uppgift, med kontroll över ordningen för formateringsstegen.

Om du är osäker på indata ser A-Parser till att inget redundant arbete utförs.

Automatisk utökning av frågor, ersättning av underfrågor från filer och iteration genom alfanumeriska kombinationer och listor.

Det kraftfulla Template Toolkit låter dig tillämpa extra logik på resultat och utdata i olika format, inklusive JSON, SQL och CSV.

Avancerade funktioner för dubblettkontroll garanterar unikheten hos de strängar, länkar och domäner du får.

Spara bara den data som uppfyller dina kriterier: matchningar av delsträngar, numeriska jämförelser eller reguljära uttryck.

Använd olika format för olika filer och tillämpa extra villkor och filter, allt inom en enda uppgift för att spara skrapresurser.

En detaljerad logg för varje tråd och varje fråga gör felsökning av uppgifter snabb och smidig.

Utöka A-Parsers logik genom att automatiskt köra olika uppgifter i sekvens och skicka resultaten från en uppgift som frågor till nästa.

Bygger du databaser från flera uppgifter? Genom att spara dubblettkontrollsdatabaser får du alltid bara nya resultat.

Genom att köra varje uppgift med ett angivet antal trådar kan du säkerställa att A-Parser inte överskrider ditt proxyabonnemang eller serverresurserna.

Använd felsökaren för att snabbt verifiera en uppgifts funktion under skapandet, med snabb körning och tydlig loggvisning.

Uppgiftskön befriar dig från att vänta på att en uppgift ska bli klar. Lägg till ett obegränsat antal oberoende uppgifter.

Kontrollera antalet uppgifter som körs samtidigt och minska därmed den totala tiden till resultat avsevärt.

Starta, pausa, redigera eller ta bort uppgifter. Återuppta uppgifter där de slutade; A-Parser fortsätter samla in information.

Med en stor uppgiftskö är det avgörande att styra vilka uppgifter som startar tidigare än andra.

Ställ in en global trådgräns för alla uppgifter, så fördelar A-Parser automatiskt trådar mellan aktiva uppgifter.

Få tillgång till en komplett historik över slutförda uppgifter, se statistik och lägg till uppgifter igen för en ny körning.

Kör återkommande uppgifter med schemaläggaren och flexibla inställningar för repetitionsintervall.

A-Parser fungerar med alla proxyprotokoll, och proxykontrollen kan testa alla typer samtidigt.

Lägg till separata proxykontroller för olika proxyskällor, var och en med egna verifieringsinställningar.

Hantera antalet kontroll- och nedladdningstrådar separat för varje proxykontroll.

Ange proxyåtkomstuppgifter i inställningarna för proxykontrollen eller i proxylistor med separata auktoriseringsdata.

A-Parser kontrollerar proxyer för stöd för POST-metoden, anonymitet, svarstid och andra parametrar.

Om du är säker på att dina proxyer fungerar kan du inaktivera kontrollen för att spara resurser.

För varje uppgift kan du välja specifika proxyskällor, vilket ger flexibel resursfördelning.

För ännu mer flexibilitet kan du använda olika proxyer inom samma uppgift, till exempel separata proxyer för Google- och Yandex-scrapers.

Om en tjänst blockerar en proxy slutar A-Parser använda den under en angiven tid, vilket minskar misslyckade förfrågningar.

Du kan begränsa det maximala antalet trådar per proxy för att undvika att överanvända dess resurser.

Som standard använder A-Parser en unik proxy för varje nedladdningsförsök, men detta beteende kan ändras.

Den här funktionen låter dig exkludera vissa proxyer från allmän användning och tilldela dem endast specifika uppgifter.

Spara grupper av inställningar i olika förinställningar och återanvänd dem i olika uppgifter.

Till exempel låter Google scraper dig ange sidantal, resultat per sida, språkinställningar, geolokalisering och mycket mer.

Exportera dina inställningar och scrapers för att dela med andra, eller importera färdiga uppgifter från vår katalog.

A-Parser bygger på en helt asynkron arkitektur och kan köra upp till 3 000 samtidiga asynkrona trådar.

A-Parser använder många optimeringar för bättre prestanda, och vi profilerar och förbättrar ständigt vår kod.

Det finns inga begränsningar för antalet frågor, storleken på frågefiler eller antalet resultat.

De flesta uppgifter fungerar smidigt på vilken vanlig kontors- eller hemdator som helst, liksom på vilken instegs-VDS som helst.

För närvarande kan A-Parser effektivt använda upp till 4 processorkärnor. En licens med stöd för obegränsat antal kärnor kommer snart.

Den mest populära programvaran för CAPTCHA-igenkänning stöder många typer av CAPTCHA, inklusive reCAPTCHA v2.

Vi stöder integration med en stor majoritet av tjänster, inklusive Anti-Captcha, RuCaptcha, CapMonster.cloud, 2Captcha och andra.

Stöd för captchaigenkänning finns inbyggt i alla populära scrapers. Du kan också använda det i dina egna anpassade JavaScript-scrapers.

Använd reguljära uttryck på data som hämtats från Net::HTTP-scrapern eller HTML::LinkExtractor-spidern.

Samla enskilda datapunkter i variabler eller upprepade block (listor, tabeller) i arrayer. Exportera data i ett smidigt format med mallmotorn.

Du kan tillämpa ytterligare bearbetning på källdata från alla inbyggda scrapers (till exempel Google-sökresultat).

Använd reguljära uttryck för att hitta länkar till nästa sida i pagineringen, och A-Parser navigerar automatiskt genom alla sidor.

Använd reguljära uttryck för att validera innehåll, kontrollera proxyblockeringar eller upptäcka captchas. A-Parser försöker automatiskt igen med en annan proxy vid fel.

Med resultatskaparen kan du utföra sök-och-ersätt-operationer med reguljära uttryck på alla skrapningsresultat.

Linjär kod i synkron stil med async/await, som A-Parser kör i en flertrådad miljö.

A-Parser låter dig fokusera på att skriva kod för dataskrapning och transformation, medan all proxihantering och alla omförsök sköts automatiskt.

Skriv i modern JavaScript (ES2020+) eller använd TypeScript för stark typning och syntaxmarkering.

Det enorma katalogen av NPMJS-moduler låter dig utöka A-Parsers möjligheter för dataskrapning och bearbetning obegränsat.

A-Parser lägger till proxystöd till det populära biblioteket Puppeteer och låter olika proxyer användas automatiskt för olika flikar.

Du kan skicka förfrågningar till alla inbyggda eller andra JavaScript-scrapers, vilket möjliggör arbiträrt komplex logik.

Skicka HTTP-förfrågningar från dina egna program och skript, eller använd våra färdiga bibliotek för NodeJS, Python, PHP och Perl.

Lägg till uppgifter med förinställningsnamn eller genom att ange en fullständig JSON-struktur med detaljerade inställningar.

Få full kontroll över uppgiftskön, följ uppgiftsstatus och ladda ner resultat.

Skicka en HTTP-förfrågan och få resultaten omedelbart när datainsamlingen är klar.

Vår lösning för högbelastningsprojekt. Anslut ett obegränsat antal A-Parser-instanser för att behandla API-förfrågningar i en Redis-kö med minimal latens.

För fullständig automation finns fjärruppdatering av A-Parser tillgänglig via ett API-anrop.

A-Parsers ständiga utveckling ger våra användare nya möjligheter år efter år.

Vi testar alla inbyggda scrapers dagligen och automatiskt, vilket gör att vi snabbt kan släppa uppdateringar när layouten eller resultaten ändras.

Gratis teknisk support finns för alla våra användare och anses av många vara den bästa bland jämförbara produkter.

Vi publicerar regelbundet utbildningsmaterial, exempel-förinställningar och scrapers, samt instruktionsvideor på vår YouTube-kanal.

De flesta nya funktioner och scrapers utvecklas utifrån önskemål från våra användare.

Vi kan spara tid åt dig genom att erbjuda utveckling av anpassade scrapers på vår plattform, samt integration med din affärslogik och dina databaser.