Kilka scraperów w jednym zadaniu
Możliwości
A-Parser obsługuje przetwarzanie zapytań przez kilka scraperów jednocześnie, co pozwala:
- Scrapować wyniki kilku wyszukiwarek jednocześnie
- Analizować domeny według wielu parametrów
- Jednocześnie zbierać słowa kluczowe z podpowiedzi różnych wyszukiwarek i Yandex.Wordstat
- Zbierać informacje Whois i DNS dla domen
- Wiele innych zastosowań
Dodawanie scrapera
Aby dodać nowego scrapera, wystarczy kliknąć przycisk Add Parser (Dodaj scraper) w edytorze zadań:
Każdy scraper jest ponumerowany, a wyniki dla każdego scrapera w konstruktorze wyników i podczas formatowania wyników są dostępne poprzez skróty:
$p1, $p2... - gdzie liczba oznacza numer scrapera.
W ogólnym formacie wyniku domyślnie wyświetlane są kolejno wyniki dla każdego scrapera, w formacie określonym w ustawieniach każdego scrapera
Użycie kilku scraperów w jednym zadaniu zwiększa ogólną szybkość scrapowania, ponieważ zmniejsza się liczba jednoczesnych zapytań do jednego scrapera, a więc rzadziej dochodzi do blokady proxy lub pojawia się captcha
Każdy scraper przetwarza oryginalne zapytanie lub jego wariację przy użyciu konstruktora zapytań, ma w ustawieniach własny format zapytania, jednak nie można przekazywać jako zapytań jednemu scraperowi wyników pracy poprzedniego scrapera (ta możliwość jest planowana na przyszłość)
Przykład analizy domen
W tym przykładzie jako zapytania wykorzystujemy listę domen, których rejestracja wkrótce wygaśnie (ponownie staną się dostępne do rejestracji), interesuje nas wybór domen o dobrych parametrach, dlatego skorzystaliśmy z sześciu różnych scraperów:
SE::Google - zapytanie w Google w formacie site:$query, sprawdzamy liczbę zindeksowanych stron
Rank::BingAnalytics - sprawdzamy globalny ranking domeny- SE::Google - zapytanie w Google w formacie "$query", sprawdzamy liczbę wzmianek o domenie
SE::Google::TrustCheck - sprawdzamy, na ile Google ufa witrynie
SE::Google::SafeBrowsing - sprawdzamy, czy witryna nie jest oznaczona jako niebezpieczna
Rank::Ahrefs - sprawdzamy liczbę backlinków prowadzących do domeny przez usługę Ahrefs
W formacie wyników wyświetlamy oryginalne zapytanie (domenę) i wyniki od każdego scrapera, w potrzebnej nam kolejności:
$query, $p1.totalcount, $p2.globalRank, $p3.totalcount, $p4.trustrank, $p5.exists, $p6.bl\n
Pobierz przykład
Jak zaimportować przykład do A-Parser
eJy1Vd1v2zYQ/1cMIg/bYKhxuvZBb47X7ANZ7dnOU1wEjHSSWVMkS1J2PCP/++5I
yrLTFOiADXrR8b5+v7vj8cA8dxs3s+DAO5bfH5gJ/yxnY8Xl/m8Y/KIbLpQbXGWX
bMgMtw4smd6zxYc8/1XrWgIqZrwGN5joVvlB62Aws/ppz4YH5vcGMJzegrWiJFNR
ovylBbuvtG24x6Mtly1ZOeEhvwg69vxpeM/mXG3y/FqoOuDxonBoXkLFW+kZWfwP
KFYsQlixCKJPkedL2zo/WUOxOcHxbxOsvTf5mzenRE9zLHgF11bvHNL+b7PEco7X
Fir3XZHvvJAPy9Yqhz/wkKajzzFW2BJufLHmmOHTkKEBRnQ3EUyeKjkcXJhR5rXn
sqDmkHyV1VI/ckmYSH77Qv9z5qnWNqnfZfAknHf0/z57lKuVYsd0C76FpcZ0lQhz
0KFA6SNvCOhFyT2QNot1+uHHzD8RE16WwguN0xUx02z3PO6U+BKIKo22xEWAu7G6
wSMPIUAg2PG9T4RxNFkbfP+KPiyvuHQwZA6h3nAEUr7U4Oxb7rWdGsKD5wem1VjK
W9iC7M1C/OtWyBIv4rhCp9+T4+sm069iPB/pnabCzu8sYjhGCdL19M/eq9S3uu6K
IUUjPMouXDc8pf2wATDHmn0ks0ZbOKZJkVN23DsGFI1Z37Kx6Y/OaJy15fyw0KoS
9TSNbmfZqiUut6ma6MZIIF6qlRLb4mDej8fYpTaQ0AN86TwJKRDW8cowr7V0fywi
VGMFjt87AthgJU+zppAFl/JufnuqIUfntZmqD9a+aF8YDMblVjjdZIVuVoo3Da9l
/C/WAmsT/7EQvNzFf5Ca21KrJDnP7b7mUfrcqoIWaJSkrrGBLukaTphsFJCLg1Ik
lRO1Es6kZG6jpeEqSbu1qCVXZZT2equtXycojDh7qDXeBuwI7p/u9Ti+N4fT7Y3S
6+sbFacLrtsp3WuktK/QA2dmROWfxG00Rzahhm+HrJapSRi+SMM6Ck3D8GGXAxaf
/YRHazIFwl6Gdw+l3W6X1QEi8aLGiwZ0i0HeXw7jgpx3Wa8eju9nPyjIxEQiCFBV
BnOhIy4PyyOROAhgDUWOktRYO7wzUcII+Ll4h0aETfkl38AiHoZ4uNs80RjRzVQb
ZzAe8iWql3HN/QY83pkuXTe6iM125YrWFhCZ8yVIvg/RS9iKAgItt8GR7fweuVJQ
FhK4ag1VhJCEPsWbeuxWPrjo13u3u1PVZty51Gp0l9QL9ozr5rXHPz+g4hsP8le6
s4c0aM8eQDzBo89uFseSNkBKgKskFnb0/A8Hayy4
⏩ Przykład wideo tworzenia presetu z kilku scraperów
W tym samouczku wideo omówiono sposób tworzenia presetu do scrapowania tematycznych domen na podstawie frazy kluczowej z wyników wyszukiwania Google oraz uzyskiwania dla domen różnych parametrów.
W lekcji omówiono:
- Scrapowanie wyników wyszukiwania Google
- Wyświetlanie unikalnych wyników jako główne domeny
- Uzyskiwanie takich parametrów jak:
- czy domena jest zarejestrowana
- data rejestracji i data wygaśnięcia rejestracji domeny
- język strony
- title i description
- wskaźnik jakości strony
- pozycję w globalnym rankingu Alexa
- kraj z największym ruchem według Alexa
- pozycję w rankingu tego kraju według Alexa