Informacje ogólne
A-Parser - scraper dla profesjonalistów
A-Parser - wielowątkowy scraper wyszukiwarek, serwisów oceny stron, słów kluczowych, treści (tekst, linki, dowolne dane) oraz innych różnorodnych serwisów (YouTube, obrazy, tłumacz...), A-Parser zawiera ponad 90 wbudowanych scraperów.
Kluczowymi cechami A-Parser jest wsparcie dla platform Windows/Linux, interfejs webowy z możliwością zdalnego dostępu, możliwość tworzenia własnych scraperów bez pisania kodu, a także możliwość tworzenia scraperów ze złożoną logiką w języku JavaScript / TypeScript ze wsparciem dla modułów NodeJS.
Wydajność, praca z proxy, obchodzenie zabezpieczeń CloudFlare, szybki silnik HTTP, wsparcie dla sterowania Chrome poprzez puppeteer, sterowanie scraperem przez API i wiele więcej sprawiają, że A-Parser jest unikalnym rozwiązaniem. W niniejszej dokumentacji postaramy się przedstawić wszystkie zalety A-Parser oraz sposoby jego wykorzystania.
Obszary zastosowania
A-Parser jest w stanie rozwiązać wiele zadań, dla wygody podzieliliśmy je na kategorie według obszarów zastosowań, przejdź do poniższych linków po szczegóły
Integracje AI
Specjaliści SEO i studia
Dla biznesu i freelancerów
Dla programistów
Marketerzy i analitycy
E-commerce i marketplace
Dla marketerów afiliacyjnych
Funkcje i korzyści
W tej sekcji krótko wymieniliśmy główne zalety A-Parser, bardziej szczegółowe informacje można znaleźć pod poniższym linkiem
Przegląd wszystkich możliwości
⏩ Webinar o A-Parser: przegląd i odpowiedzi na pytania
Wielowątkowość i wydajność
- A-Parser działa w oparciu o najnowsze wersje NodeJS i silnika JavaScript V8
- AsyncHTTPX - własna implementacja silnika HTTP ze wsparciem dla HTTP/1.1 i HTTP/2, HTTPS/TLS, wsparcie dla proxy HTTP/SOCKS4/SOCKS5 z opcjonalną autoryzacją
- Scraper jest w stanie wykonywać zapytania HTTP w niemal nieograniczonej liczbie jednoczesnych wątków w zależności od konfiguracji komputera i realizowanego zadania
- Każde zadanie (zbiór zapytań) jest scrapowane w określonej liczbie wątków
- Przy użyciu kilku scraperów w jednym zadaniu, każde zapytanie do różnych scraperów jest wykonywane w różnych wątkach jednocześnie
- Scraper potrafi uruchamiać kilka zadań równolegle
- Sprawdzanie i ładowanie proxy ze źródeł również odbywa się w trybie wielowątkowym
Tworzenie własnych scraperów
- Możliwość tworzenia scraperów bez pisania kodu
- Wykorzystanie wyrażeń regularnych
- Wsparcie dla scrapowania wielostronicowego
- Sprawdzanie treści i obecności następnej strony
- Zmiana User-Agenta i możliwość jego losowej zmiany przy każdym zapytaniu
- Scrapowanie zagnieżdżone - możliwość podstawiania otrzymanych wyników do zapytań
- Pełnowartościowa praca z JSON: analizowanie i tworzenie
- Możliwość dodawania własnych funkcji JS i używania ich do przetwarzania otrzymanych wyników bezpośrednio w scraperze
Tworzenie scraperów w języku JavaScript
- Bogate wbudowane API oparte na async/await
- Wsparcie dla TypeScript
- Możliwość podłączenia dowolnych modułów NodeJS
- Sterowanie Chrome/Chromium przez puppeteer ze wsparciem dla oddzielnych proxy dla każdej karty
Potężne narzędzia do tworzenia zapytań i wyników
- Konstruktor zapytań i wyników - pozwala modyfikować dane (znajdź i zamień, wyodrębnianie domeny z linku, przekształcenia za pomocą wyrażeń regularnych, XPath...)
- Podstawienia dla zapytań - z pliku; iteracja słów, znaków i cyfr, w tym z określonym krokiem
- Filtrowanie wyników - według wystąpienia podciągu, równości, większe\mniejsze
- Usuwanie duplikatów wyników - według wiersza, domeny, domeny głównej (A-Parser zna wszystkie domeny najwyższego poziomu, w tym takie jak co.uk, msk.ru)
- Potężny system szablonów wyników oparty na Template Toolkit - pozwala na wyprowadzanie wyników w dowolnej wygodnej formie (tekst, csv, html, xml, format niestandardowy)
- W scraperze używany jest system presetów - dla każdego scrapera można utworzyć wiele predefiniowanych ustawień dla różnych sytuacji
- Można skonfigurować wszystko - brak ram i ograniczeń
- Eksport i import ustawień pozwala na łatwą wymianę doświadczeń z innymi użytkownikami