Allmän information
A-Parser - scraper för proffs
A-Parser - en flertrådad scraper för sökmotorer, tjänster för webbplatsutvärdering, sökord, innehåll (text, länkar, godtyckliga data) och andra olika tjänster (YouTube, bilder, översättare...), A-Parser innehåller mer än 90 inbyggda scrapers.
Viktiga funktioner i A-Parser inkluderar stöd för plattformarna Windows/Linux, ett webbgränssnitt med möjlighet till fjärråtkomst, möjligheten att skapa egna scrapers utan att skriva kod, samt möjligheten att skapa scrapers med komplex logik på språken JavaScript / TypeScript med stöd för NodeJS-moduler.
Prestanda, arbete med proxy, kringgående av CloudFlare-skydd, en snabb HTTP-motor, stöd för styrning av Chrome via puppeteer, styrning av scrapern via API och mycket mer gör A-Parser till en unik lösning. I denna dokumentation försöker vi belysa alla fördelar med A-Parser och hur den används.
Användningsområden
A-Parser kan lösa många uppgifter. För enkelhetens skull har vi delat in dem i kategorier efter användningsområde, klicka på länkarna nedan för mer information
AI-integrationer
SEO-specialister och byråer
Företag och frilansare
Utvecklare
Marknadsförare
E-handel och marknadsplatser
För affiliate-marknadsförare
Funktioner och fördelar
I det här avsnittet har vi kortfattat listat de främsta fördelarna med A-Parser, mer detaljerad information finns via länken nedan
Översikt över alla funktioner
⏩ Webbseminarium om A-Parser: översikt och svar på frågor
Flertrådning och prestanda
- A-Parser körs på de senaste versionerna av NodeJS och JavaScript-motorn V8
- AsyncHTTPX - egen implementering av HTTP-motor med stöd för HTTP/1.1 och HTTP/2, HTTPS/TLS, stöd för proxy HTTP/SOCKS4/SOCKS5 med valfri auktorisering
- Scrapern kan utföra HTTP-förfrågningar i nästan obegränsat antal samtidiga trådar beroende på datorns konfiguration och den aktuella uppgiften
- Varje uppgift (en uppsättning frågor) skrapas i det angivna antalet trådar
- Vid användning av flera scrapers i en uppgift utförs varje förfrågan till olika scrapers i olika trådar samtidigt
- Scrapern kan köra flera uppgifter parallellt
- Kontroll och laddning av proxyer från källor sker också i flertrådat läge
Utveckling av anpassade scrapers
- Möjlighet att skapa scrapers utan att skriva kod
- Användning av reguljära uttryck
- Stöd för dataskrapning över flera sidor
- Kontroll av innehåll och förekomst av nästa sida
- Byte av user-agent och möjlighet att slumpmässigt ändra den vid varje förfrågan
- Inbäddad dataskrapning - möjlighet att använda erhållna resultat som frågor
- Fullfjädrat arbete med JSON: analys och formatering
- Möjlighet att lägga till egna JS-funktioner och använda dem för att bearbeta erhållna resultat direkt i scrapern
Skapa scrapers på språket JavaScript
- Rikt inbyggt API baserat på async/await
- Stöd för TypeScript
- Möjlighet att ansluta valfria NodeJS-moduler
- Styrning av Chrome/Chromium via puppeteer med stöd för separata proxyer för varje flik
Kraftfulla verktyg för utformning av frågor och resultat
- Frågebyggare och resultatbyggare - gör det möjligt att ändra data (sök och ersätt, extrahera domän från länk, omvandlingar via reguljära uttryck, XPath...)
- Ersättningar för frågor - från fil; iterering av ord, tecken och siffror, inklusive med angivet steg
- Filtrering av resultat - efter förekomst av delsträng, likhet, större/mindre än
- Resultatens dubblettkontroll - per rad, per domän, per huvuddomän (A-Parser känner till alla toppdomäner, inkl. sådana som co.uk, msk.ru)
- Kraftfull mallmotor för resultat baserad på Template Toolkit - gör det möjligt att exportera resultat i valfritt format (text, csv, html, xml, anpassat format)
- Scrapern använder ett system med förinställningar - för varje scraper kan man skapa många förinställda inställningar för olika situationer
- Allt kan konfigureras - inga ramar eller begränsningar
- Export och import av inställningar gör det enkelt att dela erfarenheter med andra användare