Ga naar de hoofdinhoud

Algemene informatie

A-Parser - scraper voor professionals​

Voorbeeld van configuratie van de Taak-editor

A-Parser - multithreading scraper voor zoekmachines, website-analysediensten, trefwoorden, content (tekst, links, willekeurige gegevens) en diverse andere diensten (YouTube, afbeeldingen, vertaler...), A-Parser bevat meer dan 90 ingebouwde scrapers.

img

De belangrijkste kenmerken van A-Parser zijn de ondersteuning voor Windows/Linux platforms, een webinterface met de mogelijkheid voor toegang op afstand, de optie om eigen scrapers te maken zonder code te schrijven, evenals de mogelijkheid om scrapers met complexe logica te maken in de taal JavaScript / TypeScript met ondersteuning voor NodeJS modules.

Prestaties, werken met proxy's, het omzeilen van CloudFlare beveiliging, een snelle HTTP-engine, ondersteuning voor het aansturen van Chrome via puppeteer, beheer van de scraper via API en nog veel meer maken A-Parser tot een unieke oplossing. In deze documentatie proberen we alle voordelen van A-Parser en de manieren om het te gebruiken te belichten.


Toepassingen​

A-Parser is in staat om vele taken op te lossen. Voor het gemak hebben we deze onderverdeeld in categorieën per toepassingsgebied; volg de onderstaande links voor details.

AI-integraties​

SEO-specialisten en bureaus​

Voor bedrijven en freelancers​

Voor ontwikkelaars​

Voor marketeers​

Voor e-commerce en marktplaatsen​

Voor affiliate marketeers​

Functies en voordelen​

In deze sectie hebben we kort de belangrijkste voordelen van A-Parser opgesomd. Meer gedetailleerde informatie is te vinden via de onderstaande link.

Overzicht van alle functies​

⏩ Webinar over A-Parser: overzicht en antwoorden op vragen​

Multithreading en prestaties​

  • A-Parser werkt op basis van de laatste versies van NodeJS en de JavaScript engine V8
  • AsyncHTTPX - eigen implementatie van de HTTP-engine met ondersteuning voor HTTP/1.1 en HTTP/2, HTTPS/TLS, ondersteuning voor HTTP/SOCKS4/SOCKS5 proxy's met optionele autorisatie
  • De scraper is in staat om HTTP-verzoeken uit te voeren in bijna onbeperkte aantallen gelijktijdige threads, afhankelijk van de configuratie van de computer en de uit te voeren taak
  • Elke taak (set verzoeken) wordt gescraped in het opgegeven aantal threads
  • Bij gebruik van meerdere scrapers in één taak wordt elk verzoek naar verschillende scrapers gelijktijdig in verschillende threads uitgevoerd
  • De scraper kan meerdere taken parallel uitvoeren
  • Controle en laden van proxy's vanuit bronnen gebeurt ook in multithreading-modus

Ontwikkeling van maatwerk-scrapers​

Scrapers maken in JavaScript​

Krachtige tools voor het vormen van verzoeken en resultaten​

  • Query Builder en Results Builder - hiermee kunnen gegevens worden gewijzigd (zoeken en vervangen, domein uit link extraheren, transformaties via reguliere expressies, XPath...)
  • Substituties voor verzoeken - uit bestand; doorlopen van woorden, tekens en cijfers, inclusief met een opgegeven stap
  • Filteren van resultaten - op basis van voorkomen van substring, gelijkheid, groter/kleiner dan
  • Resultaatdeduplicatie - per regel, per domein, per hoofddomein (A-Parser kent alle top-level domeinen, inclusief co.uk, msk.ru)
  • Krachtige resultaat-sjabloon-engine op basis van Template Toolkit - hiermee kunnen resultaten in elke gewenste vorm worden uitgevoerd (tekst, csv, html, xml, willekeurig formaat)
  • De scraper maakt gebruik van een systeem van presets - voor elke scraper kunnen vele vooraf ingestelde instellingen voor verschillende situaties worden gemaakt
  • Alles is configureerbaar - geen beperkingen of kaders
  • Export en import van instellingen maakt het eenvoudig om ervaringen uit te wisselen met andere gebruikers

API​

  • Mogelijkheid om de scraper te integreren en aan te sturen vanuit eigen programma's en scripts
  • Volledige automatisering van bedrijfsprocessen
  • Clients voor PHP, NodeJs, Perl en Python